Discord thừa nhận lỗi AI kiểm duyệt khiến hơn 8.000 người dùng bị khóa tài khoản oan

Discord vừa chính thức xác nhận một sự cố kỹ thuật nghiêm trọng trong hệ thống kiểm duyệt tự động dựa trên AI, dẫn đến việc hơn 8.000 tài khoản người dùng bị khóa oan trong vòng hai tháng qua. Các hình ảnh hoàn toàn vô hại như bảng tính, bàn cờ, kết cấu game (game textures) hay các nền trong suốt màu trắng/xám đã bị hệ thống gắn cờ nhầm là nội dung độc hại.

Theo thông tin từ Discord, vấn đề này bắt đầu xuất hiện từ tháng 5. Chỉ riêng trong dịp cuối tuần vừa qua, đã có thêm 200 tài khoản bị ảnh hưởng trước khi đội ngũ kỹ thuật phát hiện và khắc phục lỗi. Hiện tại, Discord đang trong quá trình khôi phục quyền truy cập cho tất cả các tài khoản bị khóa nhầm.

Giải thích về cơ chế hoạt động, Discord cho biết hệ thống an toàn tự động của họ đối chiếu nội dung tải lên với cơ sở dữ liệu về các tài liệu độc hại đã biết. Mặc dù quy trình chuẩn yêu cầu sự can thiệp của kiểm duyệt viên con người, một lỗi hệ thống đã khiến các tài khoản bị khóa ngay lập tức mà không qua kiểm chứng. Phía công ty khẳng định đang xây dựng các biện pháp bảo vệ bổ sung để ngăn chặn tình trạng này tái diễn.

Trên các nền tảng mạng xã hội như X và Reddit, nhiều người dùng suy đoán rằng AI của Discord đã trở nên quá nhạy cảm với các hình ảnh có họa tiết dạng lưới (grid patterns). Nguyên nhân được cho là do các họa tiết này trước đây thường bị kẻ xấu lợi dụng để che giấu nội dung NSFW hoặc tài liệu bóc lột trẻ em nhằm qua mặt các hệ thống phát hiện tự động.

Sự cố này một lần nữa gióng lên hồi chuông cảnh báo về những thách thức trong việc ứng dụng AI vào kiểm duyệt nội dung ở quy mô lớn. Việc dựa hoàn toàn vào tự động hóa mà thiếu sự giám sát chặt chẽ có thể gây ra những hậu quả nghiêm trọng cho người dùng, đặc biệt là những người sử dụng Discord cho công việc hoặc duy trì các mối quan hệ xã hội quan trọng.

Discord không phải là nền tảng duy nhất gặp rắc rối với kiểm duyệt AI. Trước đó, người dùng Facebook và Instagram cũng từng báo cáo về tình trạng khóa tài khoản hàng loạt không rõ lý do, tương tự như những gì đã xảy ra tại Tumblr vào năm ngoái. Hiện tại, các tổ chức giám sát độc lập đang ngày càng thúc đẩy yêu cầu về sự minh bạch hơn trong các thuật toán kiểm duyệt của các nền tảng công nghệ lớn.

Nguồn tham khảo: TechCrunch