Thiết lập cơ chế trách nhiệm liên tục cho các Verified Bots

Việc xác thực danh tính của một bot cũng giống như bằng lái xe: nó cho biết danh tính của người lái và việc họ đã vượt qua kỳ thi sát hạch, nhưng không đảm bảo họ sẽ lái xe an toàn trong tương lai. Tương tự, một bot đã được xác thực (Verified Bot) vẫn có thể gây ra rủi ro nếu nó phớt lờ các tùy chọn của website, gây quá tải cho server hoặc tìm cách bypass các biện pháp kiểm soát. Đôi khi, những hành vi này không xuất phát từ ý đồ xấu mà do cấu hình sai hoặc lỗi kỹ thuật.

Để trở thành một Verified Bot trên mạng lưới của Cloudflare, các bot cần đáp ứng ba tiêu chí cốt lõi: xác thực danh tính chính xác và an toàn, thực hiện đúng các cam kết hoạt động, và không có hành vi gây hại. Trong khi việc xác thực danh tính đã được giải quyết thông qua Web Bot Auth và BotBase, trọng tâm hiện nay của Cloudflare là đảm bảo quy tắc thứ hai: không gây hại.

Đánh giá dựa trên sự tin tưởng

Cloudflare vừa giới thiệu hệ thống mới nhằm đánh giá và báo cáo khi hành vi của các Verified Bot bắt đầu đi chệch khỏi các tiêu chuẩn an toàn. Hệ thống này phân biệt rõ ràng giữa rủi ro (khả năng gây hại tại một thời điểm cụ thể) và sự tin tưởng (được xây dựng thông qua hành vi nhất quán theo thời gian).

Một ví dụ điển hình là việc Cloudflare từng gỡ bỏ trạng thái Verified Bot của Perplexity vào năm 2025, khi bot này cố gắng truy cập vào các tài nguyên đã chặn thu thập dữ liệu (scraping) và tìm cách bypass các lớp bảo vệ sau khi bị từ chối.

Đo lường sự tuân thủ

Khi các trình thu thập dữ liệu (crawler) không tôn trọng tùy chọn của website—ví dụ như yêu cầu không crawl hoặc yêu cầu giảm tốc độ—sự tin tưởng sẽ bị suy giảm. Cloudflare đã phát triển một hệ thống đo lường mức độ tuân thủ của các crawler đối với các thiết lập này.

Kết quả đánh giá sẽ được hiển thị dưới dạng một “dải tin tưởng” (trust band). Đây không phải là một phán quyết vĩnh viễn, mà là một phạm vi thể hiện mức độ nhất quán của bot trong việc tôn trọng các tùy chọn của website, dựa trên các tín hiệu quan sát được. Các tín hiệu ban đầu bao gồm việc kiểm tra xem bot có tuân thủ các chỉ dẫn (như file robots.txt hoặc các header điều hướng) hay không.

Nguồn tham khảo: Cloudflare Blog