Cách Cloudflare cắt giảm 68% chi phí inference cho AI nhờ tối ưu hóa triệt để

Vào tháng 4, Cloudflare từng chia sẻ về hệ thống AI code reviewer với chi phí trung bình là 1,19 USD mỗi lượt. Tuy nhiên, đến cuối tháng 8, con số này đã tăng vọt lên 2,46 USD. Dù không có thay đổi lớn về kiến trúc, chi phí vẫn tăng do sự phức tạp của các thay đổi mã nguồn và việc chuyển đổi sang các mô hình AI mới.

Chiến lược tối ưu hóa quyết liệt

Đội ngũ kỹ thuật đã thực hiện một chiến dịch tối ưu hóa mạnh mẽ nhằm cắt giảm lượng token dư thừa. Kết quả là chi phí trung bình cho mỗi lượt review đã giảm xuống còn 0,77 USD, giảm 68% so với mức đỉnh trước đó. Bên cạnh đó, thời gian xử lý trung bình (median) cũng được rút ngắn từ 4 phút 09 giây xuống còn 1 phút 32 giây.

Khoảng 40% mức tiết kiệm đến từ việc tối ưu hóa mã nguồn của chính hệ thống reviewer, phần còn lại đến từ việc tinh chỉnh mô hình và điều chỉnh mức độ nỗ lực (effort) của AI.

Giải quyết bài toán Token và Cache

Phân tích cho thấy phần lớn chi phí nằm ở ngữ cảnh (context) mà mô hình phải xử lý nhiều lần. Cloudflare đã tập trung vào hai giải pháp chính:

• Chia sẻ tiền tố (prefix) cache: Trước đây, mỗi repository hoạt động độc lập khiến việc tận dụng cache không hiệu quả. Bằng cách tách biệt các phần chung (như định nghĩa công cụ, prompt hệ thống) thành các prefix có thể chia sẻ, hệ thống đã tăng tỷ lệ cache hit đáng kể.
• Tối ưu hóa số lượng cuộc gọi LLM: Hệ thống đã loại bỏ các công cụ không cần thiết, cho phép đọc file song song và dừng các quy trình không cần thiết sau khi đã đăng kết quả review.

Thay đổi mô hình và hiệu năng

Việc chuyển sang các phiên bản mô hình mới như Sonnet 5.5 đã mang lại hiệu quả vượt trội. Dù chi phí trên mỗi token không thay đổi nhiều, nhưng khả năng xử lý thông minh hơn giúp hệ thống sử dụng ít token hơn đáng kể. Đặc biệt, việc tinh chỉnh giữa các mức độ “medium” và “high” effort giúp cân bằng giữa chi phí và độ chính xác trong việc phát hiện các lỗ hổng hoặc vấn đề về code.

Kết luận về độ trễ và chất lượng

Việc tối ưu hóa không chỉ giúp tiết kiệm ngân sách mà còn cải thiện trải nghiệm cho kỹ sư. Tỷ lệ các lượt review kéo dài trên 5 phút đã giảm từ 37,9% xuống chỉ còn 0,7%. Dù số lượng các cảnh báo (findings) có giảm nhẹ, Cloudflare khẳng định việc tập trung vào các vấn đề quan trọng hơn giúp duy trì chất lượng kiểm duyệt mã nguồn ở mức cao.

Nguồn tham khảo: Cloudflare Blog