Cloudflare ra mắt Identity-aware AI Gateway: Kiểm soát hành vi AI bất thường và chi phí

Việc quản lý chi phí và bảo mật khi triển khai AI trong doanh nghiệp đang trở thành thách thức lớn. Khi các tác nhân AI (AI agents) hoặc nhân viên sử dụng vượt mức cho phép, các tổ chức thường gặp khó khăn trong việc xác định nguyên nhân do thiếu cơ sở dữ liệu hành vi (behavioral baseline). Cloudflare vừa công bố giải pháp giải quyết vấn đề này thông qua Identity-aware AI Gateway (đang ở giai đoạn open beta) và tính năng User Insights.

Kiểm soát tập trung với Identity-aware AI Gateway

AI Gateway đóng vai trò là lớp điều khiển trung tâm cho mọi hoạt động sử dụng AI. Thay vì các ứng dụng gọi trực tiếp tới các mô hình từ OpenAI, Anthropic hay Google, mọi yêu cầu sẽ đi qua AI Gateway. Điều này giúp doanh nghiệp quan sát, bảo mật và quản trị toàn bộ lưu lượng AI.

Khi kết hợp với Cloudflare Access, AI Gateway cho phép:

• Xác thực người dùng qua các nhà cung cấp danh tính (IdP) hỗ trợ SAML như Okta hoặc Entra, loại bỏ rủi ro khi chia sẻ API key.
• Thiết lập chính sách truy cập chi tiết cho từng người dùng hoặc nhóm.
• Gán định danh người dùng (cf.user_id) vào metadata của mỗi yêu cầu, giúp lọc log và quản lý chi phí theo từng cá nhân cụ thể.

Nhờ đó, quản trị viên có thể thiết lập hạn mức chi tiêu (spend limits) cho từng người dùng, ngăn chặn tình trạng hóa đơn tăng đột biến do sử dụng quá mức hoặc lạm dụng API key dùng chung.

Phát hiện hành vi bất thường với User Insights

Tính năng User Insights tự động phân tích lưu lượng truy cập để xây dựng hồ sơ hành vi cho từng tài khoản. Thay vì chỉ dựa vào các ngưỡng tĩnh, hệ thống so sánh các phiên làm việc (session) với lịch sử hoạt động của chính tài khoản đó trong 30 ngày qua (dựa trên chỉ số p95).

Hệ thống sẽ gắn cờ các hành vi bất thường khi:

• Chi phí phiên làm việc vượt quá 2 lần mức p95 của người dùng đó.
• Phiên làm việc nằm trong nhóm 1% chi phí cao nhất của toàn tổ chức (p99).

Cách tiếp cận này giúp phân biệt rõ giữa một kỹ sư đang thực hiện công việc nặng và một tác nhân AI (agent) đang gặp lỗi hoặc tài khoản bị chiếm đoạt. Điều này giúp quản trị viên tập trung vào các rủi ro thực sự thay vì bị nhiễu bởi các cảnh báo sai.

Hướng tới tối ưu hóa và phân loại tác vụ

Trong tương lai, Cloudflare dự kiến sẽ triển khai tính năng Task-based smart routing, tự động điều hướng các yêu cầu đến mô hình AI tối ưu nhất về chi phí mà vẫn đảm bảo chất lượng. Ngoài ra, tính năng phân loại prompt (prompt classification) cũng đang được phát triển để giúp doanh nghiệp hiểu rõ AI đang được sử dụng cho mục đích gì (lập trình, viết lách, hay các tác vụ cá nhân), từ đó phát hiện sớm các rủi ro nội bộ (insider risk).

Hiện tại, User Insights đã khả dụng cho tất cả khách hàng sử dụng AI Gateway mà không phát sinh thêm chi phí. Người dùng được khuyến nghị kết hợp với Cloudflare Access để đạt hiệu quả tối đa trong việc định danh và kiểm soát truy cập.

Nguồn tham khảo: Cloudflare Blog