Startup AIUC gọi vốn 40 triệu USD: Giải pháp kiểm soát ‘AI nổi loạn’ trong doanh nghiệp

Trong bối cảnh lo ngại về các AI agent mất kiểm soát ngày càng gia tăng, một startup mới có tên Artificial Intelligence Underwriting Company (AIUC) đã xuất hiện với mục tiêu cung cấp giải pháp an toàn cho các doanh nghiệp đang triển khai AI. Được sáng lập bởi Rune Kvist (cựu nhân viên Anthropic) và Rajiv Dattani (cựu COO của tổ chức nghiên cứu an toàn AI METR), công ty vừa huy động thành công 40 triệu USD trong vòng gọi vốn Series A.

Tiêu chuẩn hóa an toàn AI

Theo Kvist, thách thức lớn nhất của các tổ chức hiện nay không nằm ở năng lực của AI, mà ở khả năng kiểm soát và cam kết bảo mật. Các ngân hàng, chính phủ hay bệnh viện thường ngần ngại triển khai AI vì thiếu sự đảm bảo về hành vi của hệ thống.

Lấy cảm hứng từ tiêu chuẩn an ninh mạng SOC 2, AIUC đã xây dựng bộ tiêu chuẩn riêng mang tên AIUC-1. Startup này đã tập hợp một liên minh gồm khoảng 250 chuyên gia an ninh và quản trị rủi ro để xác định các tiêu chí cần thiết khi đánh giá một AI agent trước khi đưa vào sử dụng.

Quy trình kiểm định 5.000 bài test

AIUC thực hiện quy trình kiểm tra nghiêm ngặt thông qua bộ 5.000 bài test khác nhau, tập trung vào các rủi ro trọng yếu như:

• Jailbreak: Khả năng vượt rào bảo mật của AI.
• Hallucinations: Hiện tượng AI tự tạo ra thông tin sai lệch.
• Data leaks: Rò rỉ dữ liệu nhạy cảm.

Đáng chú ý, AIUC sử dụng chính các AI agent để thực hiện các bài kiểm tra và phân tích dữ liệu, sau đó con người sẽ là bên cuối cùng xác thực kết quả. Sản phẩm đầu ra là một bản báo cáo chi tiết khoảng 100 trang, giúp doanh nghiệp nắm rõ đâu là điểm an toàn và đâu là rủi ro tiềm ẩn của hệ thống trước khi quyết định mua hoặc tích hợp.

Tầm nhìn về sự minh bạch

Mặc dù mô hình này có nhiều nét tương đồng với cách làm của METR – tổ chức từng hỗ trợ các phòng thí nghiệm AI lớn như OpenAI trong việc đánh giá hiệu suất – AIUC tập trung vào việc cung cấp đánh giá độc lập cho các doanh nghiệp mua giải pháp. Điều này phù hợp với xu hướng mà CEO Anthropic, Dario Amodei, từng đề cập: yêu cầu các đơn vị phát triển AI phải có bên thứ ba giám sát và xác thực tính an toàn.

Với tổng số vốn huy động đạt 55 triệu USD, AIUC hiện đang phục vụ các khách hàng tên tuổi trong ngành như Cursor, Lovable, Harvey và ElevenLabs, khẳng định nhu cầu cấp thiết về một lớp bảo mật độc lập cho kỷ nguyên AI agent.

Nguồn tham khảo: TechCrunch