Tấn công ‘Agent Data Injection’: Khi AI Agents bị thao túng qua dữ liệu đầu vào

Một lỗ hổng bảo mật mới vừa được các nhà nghiên cứu từ Đại học Quốc gia Seoul, Đại học Illinois Urbana-Champaign và Largosoft công bố, nhắm trực tiếp vào cách các AI agents xử lý dữ liệu. Kỹ thuật này được gọi là Agent Data Injection (ADI).

Khác với prompt injection truyền thống – nơi kẻ tấn công cố gắng chèn các lệnh điều khiển trực tiếp vào dữ liệu để ép AI bỏ qua nhiệm vụ ban đầu – ADI hoạt động tinh vi hơn. Thay vì thay đổi mục tiêu của AI, kẻ tấn công làm sai lệch các dữ liệu mà AI tin tưởng, khiến nó thực hiện đúng nhiệm vụ được giao nhưng dựa trên những thông tin giả mạo.

Cơ chế hoạt động: Probabilistic Delimiter Injection

Điểm mấu chốt của ADI nằm ở kỹ thuật probabilistic delimiter injection. Các AI agents thường dựa vào các ký tự phân cách (như dấu ngoặc, dấu nháy, thẻ tag) để phân biệt giữa dữ liệu tin cậy (như tên người gửi) và nội dung không tin cậy (như nội dung email).

Trong khi các chương trình truyền thống tuân thủ nghiêm ngặt các quy tắc cú pháp, các mô hình ngôn ngữ lớn (LLM) lại xử lý các ký tự này dựa trên xác suất. Kẻ tấn công có thể chèn các ký tự đặc biệt vào các trường dữ liệu mà chúng kiểm soát. AI sẽ hiểu nhầm các ký tự này là cấu trúc dữ liệu thực sự, từ đó tạo ra các nút bấm giả, email giả hoặc kết quả công cụ giả mạo.

Tại sao ADI khó bị phát hiện?

Các biện pháp phòng thủ hiện nay chủ yếu tập trung vào việc ngăn chặn instruction injection (các lệnh ẩn trong văn bản). Tuy nhiên, ADI không chứa các lệnh độc hại rõ ràng. Ngay cả khi các ký tự phân cách bị chèn sai quy cách (như dấu nháy đơn thay vì dấu nháy kép), mô hình AI vẫn có khả năng bị đánh lừa. Các bộ lọc thông thường sẽ coi đây là văn bản thuần túy, trong khi AI lại diễn giải chúng thành cấu trúc lệnh.

Thực nghiệm trên các công cụ thực tế

Các nhà nghiên cứu đã thử nghiệm thành công ADI trên nhiều công cụ AI phổ biến:

• Web Agents: Bằng cách chèn một đánh giá sản phẩm giả mạo, kẻ tấn công có thể khiến AI nhầm lẫn ID của nút bấm, từ đó thực hiện hành động “Mua ngay” thay vì tóm tắt đánh giá như yêu cầu của người dùng.
• Coding Assistants: Thông qua các bình luận giả mạo trong luồng GitHub, kẻ tấn công có thể khiến trợ lý lập trình thực thi các lệnh tùy ý trên máy tính của người dùng dưới danh nghĩa một bản vá lỗi.

Phát hiện này đặt ra thách thức lớn cho các nhà phát triển trong việc xây dựng các cơ chế kiểm soát dữ liệu đầu vào nghiêm ngặt hơn, thay vì chỉ dựa vào khả năng suy luận của mô hình AI.

Nguồn tham khảo: The Hacker News