Cách GitHub tối ưu hóa chi phí cho AI coding mà không làm giảm chất lượng công việc

Trong lĩnh vực AI coding, hiệu suất thực sự không chỉ nằm ở việc cắt giảm số lượng token trong mỗi tương tác. Mục tiêu cốt lõi là cung cấp đủ ngữ cảnh để tác nhân (agent) hoàn thành công việc một cách nhanh chóng và chính xác. Việc cắt giảm quá mức đôi khi buộc AI phải thực hiện thêm các lệnh truy vấn hoặc xử lý lại, dẫn đến chi phí cao hơn và thời gian hoàn thành lâu hơn.

Tối ưu hóa kết quả thay vì cắt giảm dữ liệu

GitHub đã áp dụng bốn thay đổi chiến lược để tăng hiệu quả cho GitHub Copilot:

• Bảo toàn ngữ cảnh hữu ích: Giảm thiểu các đầu ra lặp lại nhưng giữ nguyên các thông tin quan trọng.
• Loại bỏ định dạng dư thừa: Xóa bỏ các ký tự hoặc định dạng không mang lại giá trị cho tác vụ.
• Tinh gọn hướng dẫn: Rút ngắn các chỉ dẫn hệ thống mà không làm thay đổi hành vi của mô hình.
• Tự động hóa công việc nền: Cung cấp kết quả hoàn thành trực tiếp mà không cần thêm bước truy xuất thủ công.

Bài học từ việc nén dữ liệu

GitHub nhận thấy rằng việc nén dữ liệu đầu ra từ các lệnh shell (như git diff hay cat) một cách quá mức thường phản tác dụng. Thay vào đó, họ áp dụng chính sách: giữ nguyên các đầu ra dạng mã nguồn, sắp xếp lại kết quả tìm kiếm mà không làm mất thông tin, và chỉ nén các dữ liệu nhiễu mang tính lặp lại (như logs cài đặt hoặc build).

Loại bỏ định dạng không cần thiết

Một ví dụ điển hình là việc loại bỏ tiền tố số dòng (line-number prefixes) trong công cụ view. Trước đây, các công cụ chỉnh sửa cũ cần số dòng để định vị, nhưng các công cụ hiện đại đã chuyển sang khớp mã nguồn xung quanh. Việc loại bỏ các tiền tố này giúp tiết kiệm đáng kể token mà không ảnh hưởng đến khả năng chỉnh sửa, đồng thời giải phóng không gian ngữ cảnh cho mô hình.

Tối ưu hóa prompt và quy trình làm việc

Thông qua kỹ thuật meta-prompting, GitHub đã rút ngắn đáng kể các prompt hệ thống. Tuy nhiên, họ nhấn mạnh tầm quan trọng của việc kiểm thử hồi quy (regression testing) để đảm bảo các hành vi quan trọng, như khả năng chạy song song các tác nhân, không bị mất đi do prompt quá ngắn gọn.

Ngoài ra, việc tích hợp kết quả từ các tác vụ nền trực tiếp vào luồng công việc thay vì bắt AI phải thực hiện thêm một lượt truy vấn đã giúp giảm đáng kể số lượng model call, từ đó tối ưu hóa chi phí vận hành.

Kết luận

Chiến lược của GitHub cho thấy rằng để xây dựng các AI coding agent hiệu quả, các kỹ sư cần tập trung vào:

• Tối ưu hóa toàn bộ tác vụ thay vì chỉ nhìn vào từng tool call đơn lẻ.
• Tối ưu hóa khâu điều phối (orchestration) thay vì chỉ tập trung vào đầu ra của mô hình.
• Đánh giá hiệu quả dựa trên từng môi trường làm việc cụ thể (workload).

Những cải tiến này không làm mô hình “thông minh hơn”, nhưng chúng giúp loại bỏ những công việc không cần thiết, giúp quy trình lập trình trở nên mượt mà và tiết kiệm hơn.

Nguồn tham khảo: GitHub Blog