Writer ra mắt mô hình AI Palmyra X6 và nâng cấp hạ tầng nhằm cắt giảm chi phí token

Trong bối cảnh chi phí triển khai AI ngày càng trở thành gánh nặng, các doanh nghiệp đang tìm kiếm những giải pháp hiệu quả hơn để tối ưu hóa ngân sách mà không làm giảm hiệu suất. Nắm bắt nhu cầu này, Writer – nền tảng cung cấp công cụ AI cho marketing – vừa chính thức ra mắt mô hình chủ lực mới mang tên Palmyra X6.

Được phát triển dựa trên mô hình nguồn mở GLM-5.2 của Z.ai, Palmyra X6 được tối ưu hóa để cung cấp khả năng triển khai thực tế với mức giá cạnh tranh hơn. Theo ước tính từ Writer, việc kết hợp mô hình này với các nâng cấp trong hạ tầng harness có thể giúp khách hàng tiết kiệm tới 50% chi phí cho các tác vụ cơ bản.

CEO May Habib của Writer chia sẻ rằng các doanh nghiệp hiện nay đã không còn quá mặn mà với việc chạy đua theo các chỉ số benchmark. Thay vào đó, họ ưu tiên sự ổn định về chi phí. Cách tiếp cận mới của Writer tập trung vào việc xử lý các tác vụ phức tạp, đa bước với tốc độ nhanh hơn và tiêu tốn ít token hơn.

Một nghiên cứu từ đội ngũ kỹ thuật của Writer cũng chỉ ra rằng việc tối ưu hóa harness thường mang lại hiệu quả cắt giảm chi phí đáng tin cậy hơn so với việc chỉ thay đổi mô hình. Cụ thể, các thử nghiệm cho thấy chi phí có thể giảm trung bình 40% thông qua việc cải thiện hiệu suất hạ tầng. Các nhà nghiên cứu nhấn mạnh: “Harness là thành phần có hiệu suất nhân rộng trên mọi mô hình mà một tổ chức vận hành, cả ở hiện tại và tương lai”.

Đối với khách hàng của Writer, hệ thống vẫn duy trì tính linh hoạt (model-agnostic). Palmyra X6 có thể hoạt động song song với các mô hình khác của Writer hoặc các mô hình bên thứ ba được nhập qua Azure hoặc Amazon Bedrock. CEO May Habib cũng nhận định rằng xu hướng cắt giảm chi phí đang thúc đẩy sự hoài nghi của các CIO đối với các phòng thí nghiệm AI lớn, vốn có động lực tài chính để thúc đẩy mức tiêu thụ token cao hơn.

Nguồn tham khảo: TechCrunch