Kog: Startup Pháp tối ưu hóa phần cứng để tăng tốc độ suy luận AI trên GPU

Trong cuộc đua tăng tốc suy luận AI, trong khi nhiều đơn vị tập trung vào các loại chip chuyên dụng, startup Kog đến từ Pháp lại chọn hướng đi khác: khai thác tối đa sức mạnh từ các GPU truyền thống. Thay vì thay thế phần cứng, Kog tập trung vào việc tối ưu hóa phần mềm để giúp các doanh nghiệp tận dụng hiệu quả hơn hạ tầng GPU hiện có như AMD MI300X hay Nvidia H200.

CEO Gaël Delalleau cho biết, Kog đã nhận được sự quan tâm lớn từ thị trường nhờ khả năng giải quyết nút thắt về tốc độ và chi phí suy luận. Công nghệ cốt lõi của họ, mang tên Kog Inference Engine (KIE), hướng tới việc cải thiện hiệu suất cho các quy trình làm việc chuyên nghiệp, nơi độ trễ của AI là yếu tố then chốt ảnh hưởng đến doanh thu và trải nghiệm người dùng.

Điểm khác biệt của Kog nằm ở tư duy kỹ thuật của đội ngũ sáng lập. Với nền tảng từ vật lý chất rắn và kinh nghiệm trong lĩnh vực an ninh mạng (white hat hacking), Delalleau áp dụng cách tiếp cận reverse-engineering ở cấp độ thấp — xuống tới ngôn ngữ assembly và mã nhị phân — để hiểu rõ cách GPU vận hành và ép xung hiệu năng vượt xa các thông số mặc định của nhà sản xuất.

Tuy nhiên, thách thức lớn nhất của Kog hiện nay là quy mô. Do phương pháp nghiên cứu đòi hỏi sự can thiệp sâu vào từng dòng chip cụ thể, mất nhiều tuần hoặc tháng cho mỗi loại phần cứng, đội ngũ 11 người của Kog đang phải tập trung nguồn lực để chứng minh công nghệ này có thể áp dụng hiệu quả trên các mô hình ngôn ngữ lớn (LLM) thay vì chỉ dừng lại ở các mô hình nhỏ như Laneformer 2B.

Theo kế hoạch, Kog dự kiến sẽ triển khai thành công trên một mô hình lớn vào tháng 9 tới với mục tiêu tăng tốc độ lên gấp 10 lần. Đây được xem là cột mốc quan trọng để startup này khẳng định năng lực và tiến tới gọi vốn Series A, đồng thời củng cố vị thế trong hệ sinh thái công nghệ châu Âu với sự hỗ trợ từ các đối tác như Scaleway và Bpifrance.

Nguồn tham khảo: TechCrunch