Kiểm soát chi phí AI: Cloudflare ra mắt tính năng giới hạn ngân sách trong AI Gateway

Hiện nay, bài toán chi phí cho các ứng dụng AI đang trở thành nỗi lo lớn đối với các CIO và CFO. Trong nỗ lực thúc đẩy đổi mới, nhiều doanh nghiệp đã cho phép nhân viên sử dụng AI một cách tự do mà thiếu đi các cơ chế kiểm soát ngân sách, dẫn đến những hóa đơn “khủng” ngoài tầm kiểm soát vào cuối tháng.

Giải pháp từ Cloudflare AI Gateway

Cloudflare AI Gateway đóng vai trò như một lớp trung gian giữa ứng dụng của bạn và các nhà cung cấp mô hình AI (như OpenAI, Anthropic, Google). Thay vì gọi trực tiếp tới API của nhà cung cấp, các yêu cầu sẽ đi qua AI Gateway, giúp doanh nghiệp có cái nhìn tổng quan về chi phí, nhật ký truy vấn (logging), bộ nhớ đệm (caching) và các biện pháp bảo mật như chặn PII.

Điểm mới quan trọng là tính năng Spend Limits (giới hạn chi tiêu) vừa được ra mắt. Thay vì chỉ giới hạn số lượng token, người dùng giờ đây có thể thiết lập ngân sách bằng đơn vị tiền tệ thực tế. Các giới hạn này có thể được tùy chỉnh dựa trên mô hình, nhà cung cấp, hoặc các thuộc tính tùy chỉnh như người dùng, nhóm hoặc ứng dụng cụ thể.

Kiểm soát dựa trên định danh (Identity-driven)

Cloudflare cũng đang triển khai bản closed beta cho tính năng quản lý ngân sách dựa trên định danh, kết hợp với Cloudflare Access. Điều này cho phép doanh nghiệp:

• Phân bổ chi phí chính xác: Biết rõ nhân viên hoặc nhóm nào đang tiêu tốn bao nhiêu ngân sách thông qua xác thực JWT.
• Chính sách theo nhóm: Thiết lập hạn mức chi tiêu khác nhau cho từng nhóm (ví dụ: đội ngũ kỹ sư có hạn mức cao hơn thực tập sinh).
• Tự động hóa quy trình: Khi đạt ngưỡng ngân sách, hệ thống có thể tự động chặn yêu cầu hoặc chuyển hướng sang các mô hình AI tiết kiệm hơn để duy trì quy trình làm việc.

Việc tích hợp với Cloudflare Access giúp loại bỏ nhu cầu phải tự xây dựng các cơ chế kiểm tra định danh phức tạp. Khi một yêu cầu được gửi đi, AI Gateway sẽ xác thực thông tin từ IdP (Identity Provider) và áp dụng chính sách tương ứng.

Hướng tới tối ưu hóa chi phí

Trong tương lai, Cloudflare dự định phát triển tính năng định tuyến thông minh (intelligent routing), tự động phân tích yêu cầu để chọn mô hình AI phù hợp nhất với chi phí thấp nhất mà vẫn đảm bảo chất lượng công việc. Hiện tại, tính năng Spend Limits đã có sẵn cho tất cả người dùng AI Gateway, trong khi các chính sách dựa trên định danh đang được mở cho người dùng đăng ký tham gia bản closed beta.

Nguồn tham khảo: Cloudflare Blog