OpenAI công bố hiệu năng chip Jalapeño: Tối ưu hóa cho inference AI quy mô lớn

Tại hội nghị Hot Chips vừa diễn ra, OpenAI đã cung cấp cái nhìn chi tiết hơn về Jalapeño, dòng chip chuyên dụng cho AI của hãng, kèm theo những kết quả benchmark đầu tiên. Dựa trên bài kiểm tra InferenceX của SemiAnalysis, Jalapeño cho thấy khả năng cung cấp số lượng token trên mỗi người dùng cao hơn và throughput (lưu lượng xử lý) trên mỗi kilowatt tốt hơn đáng kể so với các bộ vi xử lý inference hàng đầu hiện nay.

Richard Ho, Giám đốc phần cứng của OpenAI, khẳng định kết quả này đánh dấu một bước tiến lớn về hiệu năng so với các tiêu chuẩn công nghiệp hiện tại. Theo ông, Jalapeño không chỉ giúp xử lý khối lượng công việc AI lớn hơn trên mỗi đơn vị điện năng tiêu thụ mà còn giảm thiểu độ trễ, mang lại phản hồi nhanh chóng cho người dùng.

Mặc dù kết quả so sánh được thực hiện với hệ thống Nvidia Blackwell, OpenAI cũng thừa nhận rằng thị trường phần cứng sẽ tiếp tục thay đổi khi Jalapeño chính thức đi vào triển khai. Dự kiến, chip này sẽ bắt đầu xuất hiện với số lượng hạn chế vào cuối năm 2026 và mở rộng quy mô lớn hơn trong năm 2027.

Được phát triển với sự hợp tác chặt chẽ cùng Broadcom, Jalapeño là thành quả của chiến lược phát triển toàn diện (full-stack) từ OpenAI, nơi các mô hình AI của hãng trực tiếp tham gia vào quá trình thiết kế chip. Cách tiếp cận này cho phép OpenAI giải quyết các điểm nghẽn thường gặp trong quá trình inference, đặc biệt là ở giai đoạn prefill và truyền tải dữ liệu.

OpenAI cho biết Jalapeño được tối ưu hóa để giảm thiểu việc di chuyển dữ liệu và độ trễ giao tiếp. Hệ thống cho phép lưu trữ trạng thái mô hình, bao gồm cả KV cache, tại chỗ (local) trong khi vẫn điều phối linh hoạt giữa tính toán, bộ nhớ và mạng lưới cho từng giai đoạn inference cụ thể.

Nguồn tham khảo: TechCrunch