Cloudflare ra mắt Auto Router: Tối ưu hóa chi phí sử dụng AI cho doanh nghiệp

Trong quá trình triển khai AI tại doanh nghiệp, một bài toán phổ biến thường gặp là sự lãng phí tài nguyên khi người dùng liên tục sử dụng các mô hình ngôn ngữ lớn (LLM) cao cấp cho những tác vụ đơn giản. Để giải quyết vấn đề này, Cloudflare vừa chính thức ra mắt Auto Router dưới dạng public beta thông qua AI Gateway.

Cơ chế hoạt động thông minh

Thay vì để người dùng tự chọn mô hình, hệ thống sẽ sử dụng định danh cloudflare/auto. Khi một yêu cầu được gửi đến, AI Gateway sẽ thực hiện quy trình xử lý thông minh:

• Lọc mô hình: Loại bỏ các mô hình không phù hợp dựa trên cấu hình bảo mật, quyền truy cập, giới hạn ngân sách và tình trạng hoạt động của server.
• Phân loại tác vụ: Sử dụng một mô hình phân loại đa tầng chạy trên mạng lưới Workers AI để đánh giá yêu cầu dựa trên 14 danh mục (như lập trình, nghiên cứu, phân tích dữ liệu) và 4 tiêu chí: độ phức tạp, tính mơ hồ, mức độ quan trọng và ngữ cảnh.
• Tính toán tối ưu: Hệ thống áp dụng công thức utility = expected quality - adaptive cost penalty để chọn ra mô hình có sự cân bằng tốt nhất giữa chất lượng phản hồi và chi phí token.

Hiệu quả thực tế

Kết quả thử nghiệm nội bộ của Cloudflare cho thấy Auto Router mang lại hiệu suất tương đương với các mô hình hàng đầu (frontier models) nhưng với chi phí tối ưu hơn đáng kể. Cụ thể, Auto Router giúp tiết kiệm tới 30% chi phí so với việc chỉ sử dụng các mô hình cao cấp như OpenAI Sol hay Anthropic Claude Opus. Đặc biệt, hệ thống còn tính toán cả chi phí liên quan đến bộ nhớ đệm (cache) khi chuyển đổi giữa các mô hình, giúp tránh việc lãng phí token khi phải nạp lại ngữ cảnh.

Tại sao doanh nghiệp cần Auto Router?

Cloudflare định vị AI Gateway như một “trung tâm điều khiển” (control plane) cho các tổ chức. Việc tích hợp Auto Router giúp doanh nghiệp:

• Tự động hóa tiết kiệm: Giảm chi phí mà không cần người dùng phải thay đổi thói quen hay kiến thức kỹ thuật.
• Duy trì quyền truy cập: Người dùng vẫn có thể tiếp cận các mô hình mạnh mẽ nhất khi công việc thực sự yêu cầu.
• Tính minh bạch: Kiến trúc hai giai đoạn của bộ định tuyến cho phép quản trị viên kiểm tra lý do tại sao một mô hình cụ thể được chọn cho từng tác vụ.

Trong tương lai, Cloudflare dự định mở rộng khả năng của Auto Router bằng cách thêm các tùy chọn như cloudflare/auto-best (ưu tiên chất lượng tối đa thay vì chi phí), hỗ trợ các yêu cầu bảo mật nghiêm ngặt hơn và tích hợp sâu hơn với các API phản hồi.

Hiện tại, Auto Router đang được cung cấp miễn phí trong giai đoạn beta cho tất cả người dùng AI Gateway.

Nguồn tham khảo: Cloudflare Blog