Cloudflare cập nhật tính năng quản lý lưu lượng AI: Trao quyền kiểm soát nội dung cho chủ sở hữu website

Sau một năm kể từ khi ra mắt sáng kiến “Content Independence Day”, Cloudflare tiếp tục nâng cấp khả năng kiểm soát nội dung cho người dùng trước sự bùng nổ của các bot AI. Thay vì chỉ áp dụng cơ chế chặn đơn giản, Cloudflare giới thiệu một hệ thống phân loại (taxonomy) thực dụng hơn, tập trung vào hành vi thực tế của bot thay vì chỉ dựa trên nhãn dán “AI”.

Phân loại bot theo mục đích sử dụng

Cloudflare hiện chia lưu lượng bot thành ba nhóm chính để chủ sở hữu website dễ dàng quản lý:

• Search (Tìm kiếm): Các bot thu thập và lập chỉ mục nội dung để phản hồi truy vấn. Đây là nhóm thường mang lại lưu lượng truy cập giới thiệu (referral traffic).
• Agent (Tác vụ đại lý): Các bot thực hiện hành động thay mặt người dùng trong thời gian thực, ví dụ như các chatbot hoặc trình duyệt tự động (như Gemini hay Claude).
• Training (Huấn luyện): Các crawler thu thập dữ liệu để huấn luyện hoặc tinh chỉnh các mô hình AI, nơi dữ liệu được hấp thụ vĩnh viễn vào kiến trúc mô hình.

Cloudflare khuyến khích các đơn vị vận hành bot nên tách biệt các tiến trình tự động hóa của họ theo từng mục đích cụ thể để tăng tính minh bạch.

Thay đổi về thiết lập mặc định

Từ ngày 15/9/2026, Cloudflare sẽ áp dụng các thiết lập mặc định mới cho các tên miền mới. Cụ thể, các bot thuộc nhóm Training và Agent sẽ bị chặn mặc định trên các trang có hiển thị quảng cáo, trong khi nhóm Search vẫn được cho phép. Thay đổi này nhằm bảo vệ quyền lợi của chủ sở hữu website, ưu tiên lưu lượng truy cập từ con người trên các trang kiếm tiền.

Đối với các crawler đa mục đích (ví dụ: vừa tìm kiếm vừa huấn luyện), Cloudflare sẽ áp dụng quy tắc nghiêm ngặt nhất. Nếu khách hàng chọn chặn nhóm Training, các bot như Googlebot hay BingBot cũng sẽ bị chặn nếu chúng thực hiện cả hành vi huấn luyện.

BotBase: Công cụ quản trị mới cho khách hàng Enterprise

Cloudflare cũng giới thiệu BotBase, một cơ sở dữ liệu tập trung cho phép khách hàng Enterprise tra cứu và quản lý toàn bộ các bot đã được xác thực (Verified bots). Người dùng có thể lọc lưu lượng truy cập theo từng bot cụ thể và áp dụng các quy tắc bảo mật (Security rules) một cách chính xác hơn.

Kiểm soát mức độ sử dụng nội dung

Ngoài việc chặn, Cloudflare đang thử nghiệm tín hiệu use trong robots.txt để chủ sở hữu website thiết lập mức độ cho phép sử dụng nội dung:

• immediate: Chỉ tương tác, không lưu trữ.
• reference: Cho phép lập chỉ mục, trích dẫn và dẫn link (mặc định).
• full: Cho phép tóm tắt và sao chép toàn bộ nội dung.

Cloudflare khẳng định sẽ giám sát chặt chẽ các bot. Nếu phát hiện bot lạm dụng các tín hiệu này, chúng sẽ bị tước trạng thái “Verified” và bị chặn quyền truy cập.

Nguồn tham khảo: Cloudflare Blog