Khi tính năng ‘ghi nhớ’ khiến các mô hình AI trở nên kém thông minh hơn

Khả năng tùy biến theo phong cách và sở thích cá nhân là một trong những điểm bán hàng quan trọng nhất của các hệ thống AI hiện đại. Về lý thuyết, mỗi tương tác của người dùng sẽ cung cấp thêm ngữ cảnh, giúp mô hình AI ngày càng hiểu rõ và phục vụ tốt hơn. Tuy nhiên, một nghiên cứu mới từ công ty AI Writer đã chỉ ra rằng, cơ chế này có thể là một ‘con dao hai lưỡi’.

Các nhà nghiên cứu đã công bố hai báo cáo cho thấy các hệ thống bộ nhớ phổ biến có thể khiến mô hình AI suy giảm hiệu suất, đẩy chúng vào các hiểu lầm hoặc quan niệm sai lệch từ phía người dùng. Khi dữ liệu đầu vào của người dùng chiếm quá nhiều không gian trong cửa sổ ngữ cảnh (context window), mô hình có xu hướng trở nên ‘nịnh hót’ (sycophantic) hơn là tập trung vào tính chính xác của thông tin.

Dan Bikel, người đứng đầu bộ phận AI tại Writer, chia sẻ: ‘Với mỗi lần lưu trữ và truy xuất sở thích người dùng, rủi ro sai lệch lại tăng lên’. Trong một thử nghiệm, khi mô hình được ghi nhớ cuốn sách yêu thích của người dùng là ‘Station Eleven’, nó có xu hướng ưu tiên gọi tên cuốn sách này ngay cả khi câu hỏi không liên quan. Hiện tượng này càng trở nên rõ rệt khi sử dụng các công cụ nén bộ nhớ như Mem0 và Zep.

Nghiên cứu nhấn mạnh rằng các hệ thống bộ nhớ hiện nay gặp khó khăn trong việc phân biệt giữa ngữ cảnh liên quan và các ‘neo’ thông tin không cần thiết. Điều này không chỉ hạn chế tính sáng tạo mà còn vô tình tạo ra các thiên kiến (bias) làm giảm tiện ích của hệ thống. Trong một thử nghiệm khác về phân tích tài chính, khi được cung cấp các quan niệm sai lầm từ người dùng, mô hình có bật tính năng bộ nhớ đã thay đổi câu trả lời để đồng tình với sai lầm đó, thay vì đưa ra đánh giá khách quan như khi không có bộ nhớ.

Mặc dù nghiên cứu không bao gồm mô hình Opus 4.8 của Anthropic – vốn được huấn luyện để phản bác các lỗi đầu vào – nhưng các mô hình khác đều cho thấy mô hình hành vi tương tự. Điều này là minh chứng cho thấy sự cân bằng tinh tế trong ngữ cảnh AI, nơi các công cụ hỗ trợ hữu ích có thể mang lại những hệ quả không mong muốn nếu làm mất đi sự khách quan của mô hình.

Nguồn tham khảo: TechCrunch