Cloudflare đã giới thiệu một công cụ mới nhằm chặn các bot thu thập dữ liệu (crawler) truy cập nội dung mà không được phép hoặc bồi thường. Mục đích là để hỗ trợ các trang web và các nhà xuất bản nội dung tạo ra doanh thu từ các công ty AI đang cố gắng truy cập và sử dụng nội dung của họ để huấn luyện mô hình.

Công cụ này cho phép chủ sở hữu trang web lựa chọn xem có cho phép các bot thu thập dữ liệu trí tuệ nhân tạo (AI) truy cập vào tài liệu của mình hay không, đồng thời đặt giá cho việc truy cập thông qua mô hình "thanh toán theo lượt thu thập" ("pay per crawl"). Điều này sẽ giúp họ kiểm soát cách tác phẩm và nội dung của họ được sử dụng và đền bù một cách xứng đáng, Cloudflare cho biết.

Stephanie Cohen, Giám đốc Chiến lược của Cloudflare, cho biết mục tiêu của những công cụ như vậy là trao quyền kiểm soát nội dung cho các nhà xuất bản và đảm bảo một hệ sinh thái bền vững cho cả người sáng tạo nội dung trực tuyến và các công ty AI.

"Sự thay đổi trong lưu lượng truy cập diễn ra rất nhanh chóng, và điều gì đó cần phải thay đổi," bà Cohen nói trong một cuộc phỏng vấn. "Đây chỉ là khởi đầu của một mô hình mới cho internet."

Ví dụ, Google đã thấy tỷ lệ thu thập dữ liệu so với số lượng người dùng được chuyển hướng trở lại các trang web giảm xuống còn 18:1 từ mức 6:1 chỉ cách đây 6 tháng, theo dữ liệu của Cloudflare, cho thấy gã khổng lồ tìm kiếm đang duy trì hoạt động thu thập dữ liệu nhưng giảm bớt việc chuyển hướng.

Sự suy giảm này có thể là do người dùng tìm thấy câu trả lời trực tiếp trong kết quả tìm kiếm của Google, chẳng hạn như AI Overviews. Tuy nhiên, tỷ lệ của Google vẫn cao hơn nhiều so với các công ty AI khác, chẳng hạn như OpenAI với tỷ lệ 1.500:1, tức là gần như chẳng có ai click vào link nguồn mà ChatGPT dẫn trong kết quả.