Nghiên cứu từ Anthropic hé lộ tiềm năng của AI tự cải thiện

Việc huấn luyện các mô hình AI bằng chính các mô hình AI khác đang trở thành mục tiêu trọng tâm của nhiều phòng thí nghiệm công nghệ. Mới đây, một nghiên cứu từ chương trình Fellows của Anthropic đã mang đến cái nhìn thực tế về khả năng này.

Trong báo cáo có tiêu đề “Automated Researchers Can Reliably Mitigate Alignment Failures”, các nhà nghiên cứu đã trình bày cách thức hệ thống AI có thể tự động cải thiện hiệu suất của một mô hình dựa trên các tiêu chuẩn căn chỉnh (alignment benchmarks). Kết quả thử nghiệm cho thấy, khi đối mặt với 10 tiêu chuẩn về các hành vi lệch lạc (misaligned behaviors), hệ thống tự động đã cải thiện thành công hiệu suất trên tất cả các tiêu chí mà không làm ảnh hưởng đến khả năng vận hành tổng thể.

Dưới sự dẫn dắt của Chen Yueh-Han, hệ thống này mô phỏng quy trình nghiên cứu truyền thống: tự tìm kiếm tài liệu, đề xuất phương pháp, huấn luyện mô hình trong 30 phút và lặp lại quy trình để nâng cao dần tiêu chuẩn. Các phương pháp hiệu quả được giữ lại, trong khi các phương pháp kém hiệu quả bị loại bỏ, giúp hệ thống vận hành với tốc độ và quy mô lớn.

Báo cáo nhấn mạnh đây là bước tiến quan trọng hướng tới khả năng recursive self-improvement (tự cải thiện đệ quy). Đáng chú ý, hệ thống Automated Alignment Researcher (AAR) được so sánh trực tiếp với các nhà nghiên cứu con người. Theo dữ liệu từ Anthropic, phương pháp của AAR trung bình vượt trội hơn so với các đề xuất từ chuyên gia con người chỉ sau 6 giờ làm việc. Về chi phí, AAR tiêu tốn khoảng 4 USD mỗi giờ cho API inference, so với mức 150 USD mỗi giờ cho chi phí nhân sự.

Tuy nhiên, các tác giả cũng thừa nhận những hạn chế. Hệ thống tự động chỉ hiệu quả khi các benchmark phản ánh chính xác mục tiêu căn chỉnh. Ngoài ra, việc duy trì, mở rộng cơ sở dữ liệu và các tiêu chuẩn đánh giá vẫn đòi hỏi sự đầu tư lớn về mặt kỹ thuật và quản trị từ phía con người.

Nguồn tham khảo: TechCrunch