Cloudflare ra mắt Bot Preference Sync: Đồng bộ hóa tùy chọn quản lý bot AI trên robots.txt

Việc quản lý lưu lượng truy cập từ bot trên website thường gây nhiều khó khăn cho quản trị viên, đặc biệt là khi các thiết lập bảo mật tại lớp biên (edge) và nội dung trong file robots.txt không đồng nhất. Để giải quyết vấn đề này, Cloudflare vừa chính thức công bố tính năng Bot Preference Sync, hỗ trợ tất cả khách hàng từ gói Free đến Enterprise.

Đồng bộ hóa chính sách quản lý bot

Trước đây, sự khác biệt giữa các quy tắc chặn tại Cloudflare và chỉ dẫn trong robots.txt thường khiến các crawler bỏ qua tùy chọn của chủ sở hữu website. Với Bot Preference Sync, Cloudflare sẽ tự động cập nhật file robots.txt dựa trên cấu hình mà bạn đã thiết lập cho các danh mục bot: Tìm kiếm (Search), Trợ lý (Agent) và Đào tạo AI (Training).

Khi tính năng này được kích hoạt, Cloudflare sẽ tự động thêm các chỉ dẫn vào đầu file robots.txt hiện tại của bạn. Điều này giúp đảm bảo rằng những gì bạn tuyên bố với thế giới (thông qua robots.txt) luôn khớp với các quy tắc thực thi tại lớp biên của Cloudflare.

Thúc đẩy tính minh bạch cho AI

Cloudflare nhấn mạnh tầm quan trọng của tính minh bạch đối với các bot đa năng (vừa tìm kiếm, vừa đào tạo AI). Để không bị chặn khi tùy chọn “Disallow Training” được kích hoạt, các nhà vận hành bot phải đáp ứng các yêu cầu khắt khe như:

• Tuân thủ chỉ dẫn “no training” trong robots.txt.
• Cung cấp tùy chọn để chủ sở hữu website từ chối (opt-out) việc tóm tắt nội dung bằng AI.
• Cung cấp khả năng hiển thị ở cấp độ URL về việc trang nào được sử dụng để đào tạo.
• Chứng minh rằng việc từ chối đào tạo không làm ảnh hưởng tiêu cực đến kết quả tìm kiếm truyền thống.

Các bot đáp ứng được những tiêu chí này sẽ được theo dõi công khai trong phần minh bạch bot AI trên Cloudflare Radar.

Cấu hình linh hoạt cho từng nhu cầu

Người dùng có thể tùy chỉnh chính sách cho từng loại bot. Đối với tùy chọn Training, khi thiết lập Disallow, các crawler hợp tác (tuân thủ quy tắc minh bạch) vẫn có thể truy cập để lập chỉ mục tìm kiếm, giúp duy trì khả năng hiển thị của website mà không cần lo ngại dữ liệu bị sử dụng để huấn luyện mô hình AI trái phép.

Đối với các trang web thương mại điện tử hoặc trang tin tức, Cloudflare cũng cung cấp các tùy chọn mặc định thông minh hơn trong quá trình thiết lập ban đầu. Người dùng hoàn toàn có quyền tắt tính năng đồng bộ này nếu muốn tự tay quản lý file robots.txt cho các trường hợp đặc biệt.

Tính năng Bot Preference Sync sẽ được triển khai tới toàn bộ người dùng trong tuần tới. Quản trị viên nên theo dõi bảng điều khiển Cloudflare để xác nhận các tùy chọn ưu tiên của mình ngay khi tính năng khả dụng.

Nguồn tham khảo: Cloudflare Blog