Cloudflare AI Search: Tối ưu hóa công cụ tìm kiếm cho các tác nhân AI

Cloudflare vừa công bố những cải tiến quan trọng cho AI Search, giúp các nhà phát triển xây dựng giải pháp tìm kiếm dữ liệu nội bộ một cách tự động và hiệu quả hơn. Thay vì phải kết hợp thủ công các thành phần như Workers AI, AI Gateway, Vectorize hay R2, giờ đây AI Search đã tích hợp sẵn mọi thứ để cung cấp cho các tác nhân AI (AI agents) một công cụ tìm kiếm mạnh mẽ.

Những cập nhật đáng chú ý

• Tự động hóa lập chỉ mục (Indexing): Người dùng có thể dễ dàng đưa dữ liệu có cấu trúc và phi cấu trúc vào hệ thống, từ các tệp tin đơn lẻ đến toàn bộ website.
• Không cần Sitemap: Tính năng “Discover” mới cho phép AI Search tự động quét và phân tích website mà không yêu cầu tệp sitemap.
• Endpoint công khai: Cung cấp các endpoint /search và /mcp để truy vấn dữ liệu từ nhiều nguồn cùng lúc mà không cần xác thực phức tạp.
• Tùy biến tên miền: Hỗ trợ gắn tên miền riêng cho các endpoint tìm kiếm và tích hợp Cloudflare Access để kiểm soát quyền truy cập riêng tư.
• Tích hợp EmDash: Plugin AI Search hiện đã hỗ trợ CMS mã nguồn mở EmDash, giúp thêm tính năng tìm kiếm ngữ nghĩa (semantic search) vào website chỉ với vài thao tác.

Ứng dụng thực tế: Cloudflare Dev Stack MCP

Cloudflare đã ứng dụng chính công nghệ này để xây dựng Cloudflare Dev Stack MCP. Công cụ này cho phép các tác nhân lập trình truy cập vào tài liệu kỹ thuật mới nhất, thay vì dựa vào dữ liệu huấn luyện cũ. Bằng cách kết hợp nhiều instance (Docs, Blog, API Docs, Community…), hệ thống có thể thực hiện truy vấn đồng thời trên toàn bộ hệ sinh thái tài liệu của Cloudflare.

Chính sách bot và mô hình giá mới

AI Search tuân thủ nghiêm ngặt các quy tắc robots.txt và sử dụng định danh bot riêng là Cloudflare-AI-Search. Về chi phí, Cloudflare hướng tới mô hình dự đoán được: các tác vụ embedding và reranking sẽ được miễn phí khi sử dụng các model mặc định từ Workers AI. Điều này giúp nhà phát triển tránh được nỗi lo về chi phí token tăng đột biến khi quy mô dữ liệu mở rộng.

Hiện tại, AI Search đang trong giai đoạn beta và hoàn toàn miễn phí. Người dùng có thể bắt đầu trải nghiệm ngay bằng cách cấu hình các instance thông qua dòng lệnh và tích hợp vào các tác nhân AI của mình.

Nguồn tham khảo: Cloudflare Blog