Cloudflare ra mắt Web Search API thông qua AI Gateway: Đưa dữ liệu thực tế vào mô hình AI

Trong quá trình phát triển các tác nhân AI (AI agents), một vấn đề phổ biến là khả năng truy xuất thông tin thực tế. Thông thường, các agent phải dự đoán URL và thực hiện lệnh curl để lấy dữ liệu, dẫn đến tỷ lệ lỗi 404 cao và thiếu hiệu quả. Để giải quyết bài toán này, Cloudflare vừa chính thức giới thiệu Web Search API thông qua AI Gateway.

Tại sao Web Search API lại quan trọng?

Các mô hình ngôn ngữ lớn (LLM) thường bị giới hạn bởi thời điểm kết thúc dữ liệu huấn luyện (knowledge cutoff). Điều này khiến chúng gặp khó khăn khi xử lý các sự kiện mới, thay đổi về API hoặc thông tin cập nhật theo thời gian thực. Bằng cách tích hợp Web Search API trực tiếp vào pipeline suy luận, các ứng dụng có thể lấy được các đoạn dữ liệu có cấu trúc từ internet và đưa trực tiếp vào ngữ cảnh (context) của mô hình.

Ví dụ, nếu bạn đang xây dựng ứng dụng dựa trên các công cụ của Cloudflare, agent của bạn có thể truy xuất tài liệu mới nhất hoặc các tính năng vừa được công bố mà không cần chờ đợi cập nhật mô hình.

Cam kết về tính minh bạch và tiêu chuẩn bot

Cloudflare nhấn mạnh tầm quan trọng của việc thu thập dữ liệu có trách nhiệm. Trong lần ra mắt này, Cloudflare hợp tác với các đối tác như Ceramic.ai, Exa và Linkup. Điểm đáng chú ý là tất cả các đối tác này đều cam kết tuân thủ các tiêu chuẩn nghiêm ngặt của Cloudflare về bot thu thập dữ liệu (crawling). Các crawler này phải đáp ứng các yêu cầu dành cho “Verified bots”, đảm bảo tính minh bạch và tôn trọng quyền kiểm soát của chủ sở hữu website đối với nội dung của họ.

Việc tích hợp này không chỉ giúp tăng độ chính xác cho các phản hồi của AI mà còn thiết lập một tiêu chuẩn mới cho việc truy cập thông tin trên web một cách an toàn và có kiểm soát.

Nguồn tham khảo: Cloudflare Blog