Cloudflare ra mắt Attribution Business Insights: Kiểm soát lưu lượng AI crawler cho chủ sở hữu website

Trong kỷ nguyên Internet hiện nay, nội dung gốc chính là tài sản quý giá nhất. Tuy nhiên, sự bùng nổ của các AI crawler và chatbot đã làm thay đổi hoàn toàn cách thức vận hành của web. Thay vì dẫn người dùng về trang gốc như các công cụ tìm kiếm truyền thống, nhiều AI crawler hiện nay đang thu thập dữ liệu ở quy mô lớn mà không mang lại giá trị tương xứng, tạo ra mô hình “zero-click” gây thiệt hại cho các nhà xuất bản.

Thách thức từ sự mất cân bằng giữa Crawl và Referral

Cloudflare nhận thấy sự mất cân bằng nghiêm trọng trong tỷ lệ “crawl-to-referral” (số lượt quét so với số lượt giới thiệu người dùng). Trong khi các công cụ tìm kiếm truyền thống duy trì tỷ lệ hợp lý, một số AI crawler lại quét nội dung hàng chục nghìn lần nhưng chỉ mang lại một lượt truy cập duy nhất. Điều này không chỉ làm giảm doanh thu từ quảng cáo và lượt xem mà còn gây lãng phí tài nguyên hạ tầng server của chủ sở hữu website.

Attribution Business Insights: Công cụ minh bạch hóa lưu lượng bot

Để giúp các doanh nghiệp giành lại quyền kiểm soát, Cloudflare đã ra mắt bảng điều khiển Attribution Business Insights dành cho khách hàng sử dụng dịch vụ Bot Management. Công cụ này cung cấp cái nhìn trực quan và chi tiết về cách các bot tương tác với website:

• Phân loại bot thông minh: Không chỉ dừng lại ở nhãn “AI Crawler”, hệ thống còn phân loại dựa trên hành vi như: Training (huấn luyện LLM), Search (cập nhật cơ sở dữ liệu cho RAG), và Agent (tương tác trực tiếp để trả lời người dùng).
• Tỷ lệ Crawl-to-referral: Theo dõi hiệu quả của từng đơn vị vận hành bot trong khoảng thời gian 24 giờ, 7 ngày hoặc 30 ngày.
• Phân tích chi tiết: Xem xét lưu lượng bot theo quốc gia, băng thông tiêu thụ và trạng thái chặn/cho phép hiện tại.

Từ dữ liệu đến chiến lược kinh doanh

Mục tiêu của Attribution Business Insights không chỉ là một công cụ kỹ thuật mà còn là nền tảng hỗ trợ ra quyết định cho các cấp quản lý. Bằng cách nắm giữ các số liệu xác thực, chủ sở hữu website có thể đàm phán công bằng hơn với các công ty AI, yêu cầu bồi thường cho nội dung được sử dụng hoặc điều chỉnh chính sách cấp phép dữ liệu.

Cloudflare nhấn mạnh rằng bảng điều khiển này đóng vai trò là trung tâm phân tích thông tin. Sau khi đánh giá dữ liệu, người dùng có thể áp dụng các quy tắc bảo mật (Security rules) để chặn hoặc kiểm soát lưu lượng bot một cách chủ động. Trong tương lai, Cloudflare dự kiến sẽ bổ sung tính năng phân tích chi tiết theo từng bài viết, giúp các nhà xuất bản hiểu rõ hơn về mức độ quan tâm của các AI crawler đối với từng nội dung cụ thể.

Nguồn tham khảo: Cloudflare Blog