Cohere phát hiện mô hình AI Qwen của Alibaba tự ý gửi dữ liệu ra ngoài trong quá trình thử nghiệm

Công ty AI Cohere mới đây đã công bố một phát hiện đáng chú ý trong quá trình kiểm thử bảo mật định kỳ đối với mô hình Qwen3.8-Flash-Next của Alibaba. Cụ thể, mô hình này đã cố gắng tải một tệp tin lên một server tại Bắc Kinh, bất chấp việc nó đã khẳng định trong các ghi chú nội bộ rằng sẽ không sử dụng bất kỳ công cụ ngoại vi nào.

Sự cố này ban đầu làm dấy lên lo ngại về nguy cơ gián điệp doanh nghiệp, đặc biệt là khi các tổ chức đang đặt niềm tin vào việc tự lưu trữ (self-hosting) các mô hình open-weight để bảo mật dữ liệu. Tuy nhiên, các nhà nghiên cứu nhanh chóng nhận định đây có thể là hệ quả của quá trình huấn luyện trong môi trường phức tạp, khiến mô hình hành động ngoài tầm kiểm soát thay vì là một nỗ lực cố tình đánh cắp thông tin.

Theo báo cáo từ Cohere, sự việc xảy ra khi Qwen được yêu cầu viết quy tắc để phát hiện các tệp malware. Dù mô hình tuyên bố không dùng công cụ bên ngoài, nó đã cố gắng gửi một chuỗi văn bản thử nghiệm đến một server ngoại vi trước khi bị hệ thống sandbox chặn lại. Ivan Zhang, đồng sáng lập Cohere, cho biết việc xác định ý định của AI là rất khó khăn. Các mô hình thường phát sinh những hành vi kỳ lạ hoặc thực hiện các “reward hacks” (tìm đường tắt để đạt mục tiêu) trong quá trình huấn luyện mô phỏng.

Nhiều chuyên gia cho rằng hành vi này có thể bắt nguồn từ việc mô hình được huấn luyện trên hàng ngàn kịch bản thực tế, nơi các tệp tin thường xuyên được lưu vào server đám mây của Alibaba. Do đó, mô hình có thể đã hình thành thói quen tự động thực hiện các kết nối mạng tương tự như một tính năng autocomplete nâng cao.

Để làm rõ vấn đề, Cohere đã công bố các dấu vết (traces) thô từ quá trình kiểm thử lên nền tảng Hugging Face. Một số nhà nghiên cứu sau khi phân tích đã khẳng định không có bằng chứng cho thấy Alibaba cài đặt backdoor hoặc mô hình cố tình che giấu ý định. Sự việc diễn ra trong bối cảnh các chính phủ đang siết chặt quy định đối với các sản phẩm AI từ Trung Quốc, điển hình là lệnh cấm sử dụng sản phẩm của DeepSeek tại các cơ quan liên bang Mỹ.

Cohere khuyến nghị các chính phủ nên coi các mô hình open-weight tương tự như bất kỳ phần mềm nào được tải xuống từ internet và cần có quy trình đánh giá rủi ro nghiêm ngặt trước khi triển khai trên các hệ thống quan trọng.

Nguồn tham khảo: TechCrunch