Startup Pháp ZML ra mắt giải pháp miễn phí giúp tăng tốc độ inference trên đa dạng chip AI

Trong bối cảnh thị trường chip AI đang dần trở nên đa dạng hơn, startup ZML đến từ Pháp vừa công bố một bước tiến quan trọng trong việc tối ưu hóa hiệu suất inference. Được sự ủng hộ từ chuyên gia Yann LeCun, ZML đã phát hành ZML/LLMD, một server inference cho phép các mô hình ngôn ngữ lớn (LLM) mã nguồn mở vận hành trên nhiều kiến trúc chip khác nhau.

Theo Steeve Morin, nhà sáng lập ZML, mục tiêu của công ty là phá vỡ các rào cản về hạ tầng, giúp doanh nghiệp tận dụng tối đa sức mạnh của các loại chip như Nvidia, AMD, Google TPU, Apple Metal và Intel Arc. Việc tối ưu hóa quá trình xử lý prompt (inference) đang trở thành ưu tiên hàng đầu, thậm chí vượt qua cả quá trình huấn luyện mô hình (training), nhằm giảm thiểu tình trạng phụ thuộc vào một nhà cung cấp duy nhất (vendor lock-in).

Giải pháp này không chỉ hứa hẹn cải thiện hiệu suất mà còn mang lại lợi ích kinh tế. Doanh nghiệp có thể linh hoạt kết hợp các loại chip khác nhau để tối ưu chi phí và năng lượng. Điều này đặc biệt có ý nghĩa với các nhà sản xuất chip AI mới nổi tại châu Âu như Axelera, Fractile hay SiPearl, khi họ có thể hợp tác với ZML để hiện thực hóa những kiến trúc phần cứng chưa từng có trước đây.

Mặc dù thị trường inference đang chứng kiến sự cạnh tranh gay gắt từ các đối thủ như Baseten, Inferact hay RadixArk, ZML chọn hướng đi khác biệt bằng cách tập trung vào việc đồng thiết kế (co-design) phần cứng và phần mềm. Hiện tại, ZML/LLMD được cung cấp miễn phí để thu thập dữ liệu sử dụng thực tế trước khi cân nhắc các mô hình thương mại hóa trong tương lai.

Với đội ngũ tinh gọn gồm 20 nhân sự và nguồn vốn 20 triệu USD từ các quỹ đầu tư uy tín, ZML đang khẳng định vị thế của mình như một nhân tố quan trọng trong hệ sinh thái AI châu Âu, chứng minh rằng các startup tại Paris hoàn toàn có khả năng tạo ra những đột phá công nghệ mang tầm vóc toàn cầu.

Nguồn tham khảo: TechCrunch