Microsoft ra mắt RAMPART và Clarity: Bộ công cụ mã nguồn mở giúp bảo mật AI Agent
Microsoft vừa công bố hai công cụ mã nguồn mở mới là RAMPART và Clarity, được thiết kế để hỗ trợ các kỹ sư kiểm thử và bảo mật hệ thống AI Agent ngay từ giai đoạn phát...
Nhằm tăng cường tính an toàn cho các hệ thống trí tuệ nhân tạo, Microsoft vừa giới thiệu hai công cụ mã nguồn mở mới mang tên RAMPART và Clarity. Đây là những giải pháp hỗ trợ các nhà phát triển trong việc kiểm thử và đánh giá bảo mật cho các AI Agent ngay từ những bước đầu tiên của vòng đời phát triển phần mềm.
Table Of Content
RAMPART: Khung kiểm thử bảo mật cho AI Agent
RAMPART (viết tắt của Risk Assessment and Measurement Platform for Agentic Red Teaming) là một framework kiểm thử bảo mật dựa trên Pytest. Công cụ này cho phép các kỹ sư xây dựng và thực thi các bài kiểm tra an toàn cho AI Agent, bao gồm cả các kịch bản tấn công chủ động và các vấn đề hành vi không mong muốn.
Với RAMPART, người dùng có thể thiết lập các test case để dò tìm lỗ hổng như cross-prompt injection (khi dữ liệu không tin cậy từ email, tệp tin hoặc trang web xâm nhập vào hệ thống AI), các hành vi sai lệch hoặc nguy cơ rò rỉ dữ liệu. Công cụ này hoạt động dựa trên việc kết nối với AI Agent thông qua một adapter và được xây dựng dựa trên nền tảng PyRIT – công cụ nhận diện rủi ro Python mà Microsoft đã phát hành trước đó.
Clarity: Tư duy thiết kế an toàn
Trái ngược với RAMPART tập trung vào kiểm thử kỹ thuật, Clarity được Microsoft mô tả như một “bảng tư duy có cấu trúc”. Công cụ này đóng vai trò là đối tác phản biện, hỗ trợ các nhà phát triển làm rõ mục đích thiết kế, phân tích các rủi ro tiềm ẩn và theo dõi các quyết định quan trọng ngay cả trước khi bắt đầu viết mã nguồn.
Thay đổi tư duy từ “phản ứng” sang “chủ động”
Theo Ram Shankar Siva Kumar, người sáng lập đội ngũ AI Red Team của Microsoft, mục tiêu của việc ra mắt các công cụ này là giúp các kỹ sư và quản lý sản phẩm kiểm chứng các giả định ngay từ đầu dự án. Điều này giúp giảm thiểu chi phí sửa lỗi và tránh việc phải thiết kế lại hệ thống sau này.
Sự khác biệt chính nằm ở giai đoạn áp dụng: Trong khi PyRIT tối ưu cho việc khám phá lỗ hổng theo cơ chế black-box sau khi hệ thống đã hoàn thiện, thì RAMPART được thiết kế dành riêng cho các kỹ sư trong quá trình xây dựng hệ thống. Kết hợp với Clarity, Microsoft kỳ vọng sẽ chuyển đổi quy trình bảo mật AI từ các đợt kiểm tra đơn lẻ thành một quy trình liên tục, giúp các biện pháp giảm thiểu rủi ro trở nên có thể kiểm chứng và mở rộng hơn.
Nguồn tham khảo: The Hacker News
No Comment! Be the first one.