Underdog: Trợ lý AI tập trung vào quyền riêng tư tuyệt đối, chạy hoàn toàn trên thiết bị

Sigil Wen, một lập trình viên trẻ từng có thời gian làm việc cùng những tên tuổi lớn trong ngành AI như Andrej Karpathy hay Aravind Srinivas, vừa chính thức giới thiệu Underdog. Đây là một trợ lý AI được thiết kế với mục tiêu cốt lõi là quyền riêng tư, hoạt động hoàn toàn trên thiết bị của người dùng thay vì gửi dữ liệu lên các server đám mây.

Điểm khác biệt lớn nhất của Underdog nằm ở công cụ suy luận (inference engine) có tên là Husky. Theo Wen, Husky được tối ưu hóa để giảm thiểu việc truyền tải dữ liệu giữa chip xử lý chính và chip đồ họa, giúp các mô hình AI chạy nhanh và mượt mà ngay trên phần cứng cá nhân. Hiện tại, ứng dụng hỗ trợ macOS và Windows, với kế hoạch mở rộng sang Linux, iOS và Android trong tương lai gần.

Về mặt kỹ thuật, Underdog sử dụng mô hình 27 tỷ tham số được tinh chỉnh từ Qwen3.8-27B. Dù quy mô nhỏ hơn so với các mô hình khổng lồ trong các trung tâm dữ liệu, Wen khẳng định khả năng xử lý của nó vẫn đáp ứng tốt các tác vụ hàng ngày như nghiên cứu thông tin hoặc giải toán, đồng thời đảm bảo an toàn cho các thông tin nhạy cảm như dữ liệu tài chính hay sức khỏe.

Một điểm đáng chú ý khác là mô hình kinh doanh của Underdog. Thay vì thu phí thuê bao hay hiển thị quảng cáo, dự án này chọn cách thu một khoản phí nhỏ từ các giao dịch thanh toán mà AI thực hiện thông qua hệ thống của Stripe. Cách tiếp cận này giúp nhà phát triển duy trì chi phí thấp mà không cần phải khai thác dữ liệu người dùng để kiếm lợi nhuận.

Dự án được hậu thuẫn bởi nhiều tên tuổi lớn trong giới công nghệ và đầu tư mạo hiểm như Andreessen Horowitz, Khosla Ventures và sự tham gia của các cá nhân như Patrick Collison (Stripe). Với Underdog, Sigil Wen hy vọng sẽ thay đổi cách người dùng tương tác với AI, nơi quyền riêng tư không còn là thứ phải đánh đổi để có được sự tiện lợi.

Nguồn tham khảo: TechCrunch