Cloudflare ra mắt tính năng Disallow AI Training: Kiểm soát nội dung website trước AI mà không ảnh hưởng SEO

Từ lâu, các chủ sở hữu website đã phải đối mặt với một sự đánh đổi khó khăn: cho phép AI sử dụng dữ liệu để huấn luyện hoặc chấp nhận rủi ro bị giảm khả năng hiển thị trên các công cụ tìm kiếm. Nguyên nhân nằm ở các mixed-use crawler (trình thu thập dữ liệu hỗn hợp) – những bot vừa thực hiện nhiệm vụ lập chỉ mục tìm kiếm, vừa thu thập dữ liệu để huấn luyện AI. Việc chặn các bot này thường đồng nghĩa với việc website của bạn sẽ biến mất khỏi kết quả tìm kiếm.

Giải pháp mới từ Cloudflare

Cloudflare vừa công bố thiết lập Disallow AI Training, cho phép bạn từ chối việc huấn luyện AI mà vẫn duy trì khả năng index cho tìm kiếm. Các ông lớn công nghệ như Apple, Google và Microsoft đã cam kết tuân thủ thiết lập này.

Cloudflare phân loại bot dựa trên hành vi: Search (lập chỉ mục tìm kiếm), Training (huấn luyện mô hình) và Agent (các tác nhân hỗ trợ người dùng). Với tính năng mới, người dùng có thể kiểm soát chi tiết hơn thay vì chỉ có lựa chọn ‘Block’ (chặn) thô sơ như trước đây.

Các thay đổi quan trọng trong cấu hình

Kể từ ngày 15/09, các thiết lập cũ đã được cập nhật để phù hợp với cơ chế mới:

• Disallow AI Training: Tự động xuất bản chỉ thị trong robots.txt để từ chối huấn luyện AI. Các mixed-use crawler ‘Accountable’ (có trách nhiệm) vẫn được phép thực hiện nhiệm vụ tìm kiếm.
• Block: Chặn hoàn toàn mọi hoạt động của bot, bao gồm cả tìm kiếm.
• Block on pages with ads: Chặn bot trên các trang có hiển thị quảng cáo, bảo vệ doanh thu từ lưu lượng truy cập thực tế.

Cloudflare cũng giới thiệu khái niệm Accountable (đơn vị có trách nhiệm) dành cho các nhà vận hành bot cam kết minh bạch về cách sử dụng dữ liệu, cung cấp cơ chế opt-out rõ ràng và đảm bảo việc từ chối huấn luyện AI không ảnh hưởng đến thứ hạng tìm kiếm.

Lưu ý cho quản trị viên website

Trong hầu hết các trường hợp, các thiết lập hiện tại của bạn sẽ được tự động chuyển đổi sang hệ thống mới. Nếu bạn muốn ngăn chặn hoàn toàn các mixed-use crawler (như Applebot, Bingbot, Googlebot), bạn cần chủ động chọn tùy chọn Block. Tuy nhiên, hãy lưu ý rằng điều này sẽ khiến website của bạn không còn xuất hiện trên các công cụ tìm kiếm tương ứng.

Cloudflare cũng đang lên kế hoạch mở rộng khả năng kiểm soát đối với các AI Summaries (tóm tắt nội dung bằng AI) vào đầu năm tới, giúp chủ sở hữu website quản lý tốt hơn cách nội dung của họ được hiển thị và trích dẫn bởi các hệ thống AI.

Việc phân tách giữa quyền truy cập tìm kiếm và quyền sử dụng dữ liệu huấn luyện là một bước tiến lớn, giúp cân bằng giữa nhu cầu hiển thị trên Internet và quyền kiểm soát tài sản trí tuệ của người sáng tạo nội dung.

Nguồn tham khảo: Cloudflare Blog