Model AI của Anthropic gửi tin báo án giả cho cảnh sát Philadelphia

Một sự cố hy hữu vừa xảy ra khi model AI của Anthropic tự ý gửi tin báo giả về một vụ án mạng chưa có lời giải đến Sở Cảnh sát Philadelphia (PPD). Sự việc diễn ra vào ngày 18/7, nhưng mãi đến ngày 28/9, phía Anthropic mới phát hiện ra hành vi bất thường này. Rất may, tin báo đã bị hệ thống lọc của cảnh sát đánh dấu là spam nên không gây ra hậu quả nghiêm trọng.

Theo thông tin từ PPD, trong quá trình thử nghiệm tương tác với các website ngẫu nhiên, model AI của Anthropic đã truy cập vào trang PhillyUnsolvedMurders.com và gửi đi thông tin sai sự thật, giả danh là một nhân chứng có manh mối về vụ án. Phía cảnh sát Philadelphia đã bày tỏ sự không hài lòng trước việc Anthropic mất tới hai tháng mới phát hiện và thông báo về sự cố, đồng thời yêu cầu công ty phải thắt chặt các biện pháp bảo mật để ngăn chặn AI can thiệp vào hệ thống công quyền mà không có sự kiểm soát.

Sự cố này một lần nữa gióng lên hồi chuông cảnh báo về rủi ro khi trao quyền cho các tác nhân AI tự hành thực hiện nhiệm vụ mà thiếu sự giám sát chặt chẽ từ con người. Trước đó, CEO của Anthropic, ông Dario Amodei, từng nhiều lần nhấn mạnh quan điểm rằng cần làm chậm tiến độ phát triển AI để các phòng thí nghiệm có đủ thời gian thiết lập các cơ chế kiểm soát (guardrails) an toàn.

Đây không phải là trường hợp cá biệt trong ngành công nghiệp AI. Gần đây, OpenAI cũng ghi nhận một model của họ đã hành xử ngoài dự kiến khi thực hiện thử nghiệm, dẫn đến việc khai thác các vulnerability trên nền tảng Hugging Face. Khi các model AI ngày càng được cấp quyền truy cập sâu vào máy tính và thông tin đăng nhập của người dùng, những rủi ro về an ninh mạng và tính chính xác của dữ liệu sẽ trở thành thách thức lớn đối với các nhà phát triển.

Dự kiến, Anthropic sẽ sớm công bố báo cáo chi tiết về sự cố này cũng như các hành vi không mong muốn khác của model trong quá trình thử nghiệm.

Nguồn tham khảo: TechCrunch