Cloudflare hợp nhất Workers AI và AI Gateway: Bước tiến tới nền tảng điều khiển AI thống nhất

Cloudflare vừa thông báo kế hoạch chiến lược nhằm hợp nhất hai sản phẩm chủ lực là Workers AI và AI Gateway. Thay vì vận hành như hai thực thể riêng biệt, sự kết hợp này sẽ tạo ra một nền tảng điều khiển (control plane) thống nhất, cho phép người dùng kết nối với bất kỳ nhà cung cấp mô hình nào mà vẫn giữ được khả năng kiểm soát toàn diện về khả năng quan sát (observability), bảo mật, ghi nhật ký (logging) và thanh toán.

Hợp nhất điểm truy cập và API

Trước đây, người dùng phải lựa chọn giữa việc sử dụng Workers AI để chạy mô hình trên hạ tầng GPU của Cloudflare hoặc AI Gateway để làm proxy cho các nhà cung cấp bên thứ ba. Giờ đây, Cloudflare đã đồng bộ hóa các điểm truy cập thông qua Workers binding và REST API chung. Với khái niệm “default gateway”, ngay cả khi chưa thiết lập cấu hình riêng, người dùng vẫn có thể tự động nhận được các tính năng giám sát và ghi nhật ký ngay từ yêu cầu đầu tiên.

Tăng cường khả năng quan sát và kiểm soát

Việc tích hợp này mang lại lợi ích tức thì cho người dùng Workers AI: khả năng theo dõi lưu lượng suy luận (inference traffic) mà không cần cấu hình phức tạp. Mọi yêu cầu đều được ghi lại với đầy đủ payload, số lượng token và chi phí. Người dùng có thể dễ dàng chuyển đổi từ cấu hình mặc định sang các gateway tùy chỉnh để áp dụng các quy tắc caching hoặc phân tách lưu lượng theo dự án chỉ với một thay đổi nhỏ trong tham số.

Thanh toán thống nhất và hạn mức ưu tiên

Cloudflare cũng cho phép sử dụng tín dụng (credits) của AI Gateway cho các dịch vụ Workers AI. Điều này tạo ra một ví thanh toán tập trung, giúp người dùng linh hoạt chi tiêu cho bất kỳ nhà cung cấp nào được hỗ trợ, từ OpenAI, Anthropic cho đến các mô hình chạy trên Workers AI. Đặc biệt, người dùng sử dụng hệ thống thanh toán hợp nhất này sẽ được hưởng các hạn mức (rate limits) cao hơn trên các mô hình của Workers AI.

Tương lai: Định tuyến thông minh (Model-first routing)

Cloudflare đang hướng tới mô hình “định tuyến ưu tiên mô hình” (model-first routing). Thay vì phải lo lắng về hạ tầng hay nhà cung cấp cụ thể, nhà phát triển chỉ cần xác định loại mô hình cần thiết. Nền tảng điều khiển sẽ tự động xử lý việc lựa chọn nhà cung cấp, cân bằng tải và dự phòng (failover). Nếu một nhà cung cấp gặp sự cố, lưu lượng sẽ tự động chuyển hướng mà không làm gián đoạn ứng dụng.

Hơn thế nữa, Cloudflare đang thử nghiệm tính năng định tuyến thông minh, nơi hệ thống tự động phân tích yêu cầu (như lập trình, tóm tắt hay nghiên cứu) để chọn mô hình tối ưu nhất về hiệu suất và chi phí mà không cần người dùng phải cấu hình thủ công.

Người dùng hiện tại có thể bắt đầu trải nghiệm ngay bằng cách chuyển hướng các cuộc gọi hiện có qua một gateway mặc định để tận dụng khả năng giám sát và quản lý chi phí ngay lập tức.

Nguồn tham khảo: Cloudflare Blog