Cloudflare siết chặt chính sách: Buộc các công ty AI phải trả phí cho nội dung của nhà xuất bản

Cloudflare vừa đưa ra một tối hậu thư mới cho ngành công nghiệp AI: các đơn vị vận hành phải tách biệt rõ ràng giữa web crawler dùng cho mục đích tìm kiếm truyền thống (như Google Search) và crawler dùng cho các tác vụ AI agent hoặc huấn luyện mô hình. Bắt đầu từ ngày 15/9/2026, các thiết lập mặc định của Cloudflare sẽ tự động chặn các crawler “đa mục đích” (mixed-use) truy cập vào những trang web có chứa quảng cáo.

Thay đổi này áp dụng cho khách hàng mới, các trang web mới thiết lập và tất cả người dùng gói miễn phí hiện tại. Điều này đồng nghĩa với việc nếu các crawler không tách biệt chức năng, chúng sẽ bị chặn mặc định trừ khi chủ sở hữu trang web tự điều chỉnh cấu hình.

Thúc đẩy sự minh bạch và quyền lợi cho nhà xuất bản

Cloudflare cho biết, dù hầu hết chủ sở hữu trang web muốn nội dung của họ xuất hiện trên công cụ tìm kiếm, họ lại không muốn sở hữu trí tuệ của mình bị các công ty AI khai thác miễn phí. Cloudflare cũng chỉ trích cách vận hành của các công cụ tìm kiếm lớn, nơi các crawler thường gộp chung mục đích tìm kiếm với việc thu thập dữ liệu cho AI, khiến người dùng khó lòng kiểm soát.

Matthew Prince, CEO và đồng sáng lập Cloudflare, nhấn mạnh: “Hiện nay, phần lớn lưu lượng truy cập Internet không còn đến từ con người. Chúng ta cần hành động nhanh hơn để tạo ra một hệ sinh thái bền vững”.

Mô hình “Pay Per Use”

Bên cạnh việc chặn các bot không rõ ràng, Cloudflare đang nâng cấp công cụ “Pay Per Crawl” thành “Pay Per Use”. Mô hình này cho phép các nhà xuất bản thu phí các công ty AI khi nội dung của họ thực sự tạo ra giá trị, thay vì chỉ đơn thuần là việc bot ghé thăm trang web. Theo dữ liệu từ Cloudflare, hơn 50% lưu lượng truy cập từ các AI crawler hiện nay là để tải lại các trang không có thay đổi, gây lãng phí băng thông và tài nguyên tính toán của nhà xuất bản.

Hiện tại, Cloudflare đang hợp tác với Ceramic.ai và You.com để triển khai mô hình này. Khi chủ sở hữu trang web kích hoạt tính năng, họ sẽ được thanh toán khi nội dung xuất hiện trong kết quả tìm kiếm AI của Ceramic hoặc khi You.com truy cập vào các nội dung cao cấp.

Động thái này được kỳ vọng sẽ tạo ra một tiêu chuẩn mới, buộc các công ty AI phải minh bạch hơn về mục đích thu thập dữ liệu và tôn trọng quyền lợi thương mại của các nhà sáng tạo nội dung trên Internet.

Nguồn tham khảo: TechCrunch