XRanges for AI: Giải pháp đo lường hiệu năng thực tế của các tác nhân bảo mật tự động

Trong lĩnh vực an ninh mạng, các tác nhân bảo mật tự động (autonomous security agents) đang dần trở nên thành thạo trong việc phát hiện lỗ hổng. Tuy nhiên, vấn đề lớn nhất hiện nay là thiếu một phương pháp đo lường khách quan về hiệu quả của chúng. Thông thường, sau khi chạy thử nghiệm, các agent này sẽ tự tạo ra một bản báo cáo với những khẳng định đầy tự tin, nhưng lại thiếu bằng chứng xác thực về những gì chúng thực sự đã làm được.

Việc kiểm chứng thủ công từng phát hiện là công việc tốn kém thời gian và không khả thi khi phải thử nghiệm trên nhiều mô hình AI, các biến thể prompt và hàng chục lần lặp lại. XRanges for AI, được phát triển bởi CTF.ae, được thiết kế để giải quyết vòng lặp phản hồi này.

Cách XRanges for AI vận hành

Nền tảng này cung cấp một môi trường thử nghiệm toàn diện với hai thành phần chính:

• Thư viện mục tiêu (Benchmark targets): Thay vì các bài tập CTF đơn giản, XRanges cung cấp các ứng dụng thực tế với logic kinh doanh phức tạp, dữ liệu giả lập và lưu lượng người dùng thật. Mỗi mục tiêu chứa hơn 20 lỗ hổng được cài cắm sẵn, bao gồm cả các lỗ hổng zero-day chưa từng xuất hiện trong dữ liệu huấn luyện công khai.
• Lớp đo lường (Instrumentation layer): Mọi dịch vụ trong môi trường thử nghiệm đều được tích hợp OpenTelemetry thủ công. Điều này cho phép hệ thống ghi lại chính xác hành vi của agent từ bên trong ứng dụng, thay vì chỉ dựa vào log HTTP thông thường.

Bốn tín hiệu đánh giá độc lập

XRanges chấm điểm dựa trên bốn chỉ số độc lập để đảm bảo tính khách quan:

1. Coverage (Độ bao phủ): Đo lường mức độ khám phá các tính năng hợp lệ của ứng dụng. Các điểm mù (unhit points) sẽ được liệt kê cụ thể để đội ngũ phát triển biết agent đã bỏ lỡ những gì.
2. Boundaries (Ranh giới): Kiểm tra xem agent có tuân thủ các quy tắc tham gia (rules of engagement) hay không, ví dụ như không được xóa dữ liệu hoặc thu hồi API key.
3. Exploited (Khai thác): Xác định chính xác lỗ hổng nào đã bị khai thác thành công thông qua các chuỗi tấn công (kill chain) được định nghĩa sẵn, thay vì chỉ tin vào báo cáo của agent.
4. Integrity (Tính toàn vẹn): Đảm bảo ứng dụng vẫn hoạt động bình thường sau khi agent thực hiện các thao tác. Điều này giúp phát hiện các agent gây hỏng hóc môi trường trong quá trình tìm kiếm lỗ hổng.

Kiểm chứng thực tế tại DEF CON 34

Nền tảng này đã được thử nghiệm thực tế tại sự kiện DEF CON 34 vào tháng 8/2026 với mục tiêu mang tên Xenoptic. Hơn 545 người tham gia đã được cung cấp các môi trường cô lập, và XRanges đã theo dõi hơn 850 lượt triển khai để đánh giá chính xác cách thức người chơi (và các agent của họ) di chuyển trong hệ thống. Kết quả này khẳng định tính hiệu quả của việc đo lường từ bên trong thay vì chỉ dựa vào kết quả đầu ra của người thực hiện.

XRanges for AI hiện cung cấp dưới dạng dịch vụ cloud được quản lý hoặc tự lưu trữ (self-hosted) trên hạ tầng riêng của khách hàng, đảm bảo tính bảo mật và quyền riêng tư cho dữ liệu thử nghiệm.

Nguồn tham khảo: The Hacker News