Đánh giá hiệu năng và tính tối ưu của GitHub Copilot Agentic Harness trên các mô hình AI

Trong hệ sinh thái AI hiện nay, nếu các mô hình ngôn ngữ lớn (LLM) đóng vai trò cung cấp trí tuệ thô, thì harness chính là bộ khung định hình cách thức ứng dụng trí tuệ đó vào thực tế. GitHub Copilot agentic harness là một thành phần cốt lõi trong GitHub Copilot SDK, đóng vai trò điều phối công cụ, ngữ cảnh và quy trình làm việc cho GitHub Copilot CLI, ứng dụng Copilot và các tính năng code review.

Phương pháp đánh giá hiệu năng

GitHub liên tục kiểm thử khả năng của harness thông qua các bộ benchmark công khai và nội bộ. Để đảm bảo tính khách quan, đội ngũ kỹ thuật đã kiểm soát chặt chẽ các biến số: sử dụng cùng một mô hình, cùng một tác vụ benchmark, đồng thời chuẩn hóa cửa sổ ngữ cảnh (context window), nỗ lực suy luận (reasoning effort) và các MCP server. Các thử nghiệm được thực hiện trên bốn mô hình hàng đầu: Claude Sonnet 4.6, Claude Opus 4.7, GPT-5.4 và GPT-5.5.

Các bộ benchmark chính bao gồm:

• SWE-bench Verified & Pro: Đánh giá khả năng sửa lỗi và thực hiện các tác vụ kỹ thuật phức tạp.
• SkillsBench: Đo lường hiệu quả sử dụng kỹ năng của agent.
• TerminalBench: Kiểm tra hiệu suất trong môi trường dòng lệnh.
• Win-Hill: Kiểm chứng tính ổn định trên các container Windows.

Hiệu quả sử dụng Token và Tỷ lệ hoàn thành tác vụ

Kết quả cho thấy GitHub Copilot harness đạt tỷ lệ hoàn thành tác vụ tương đương với các harness từ chính nhà cung cấp mô hình (như Claude Code hay Codex CLI), nhưng lại tiêu thụ ít token hơn trong hầu hết các cấu hình. Điều này chứng minh rằng việc tối ưu hóa bộ khung điều phối có thể mang lại hiệu suất cao mà không cần phụ thuộc hoàn toàn vào sức mạnh của riêng mô hình.

Phân tích biến thiên trên TerminalBench 2.0 cho thấy sự ổn định của Copilot trong các lần chạy thử nghiệm liên tiếp. Đáng chú ý, kiến trúc đa mô hình của Copilot cho phép người dùng linh hoạt lựa chọn giữa các dòng GPT (tối ưu chi phí) hoặc Claude (chất lượng cao) tùy theo nhu cầu cụ thể của từng tác vụ.

Kiến trúc đa mô hình: Lợi thế cạnh tranh

Khác với các giải pháp bị khóa chặt vào một hệ sinh thái, GitHub Copilot hỗ trợ hơn 20 mô hình tiên tiến. Ngoài ra, tính năng Rubber Duck cho phép thực hiện cơ chế phản biện chéo giữa các mô hình, giúp cải thiện kết quả đầu ra vượt xa khả năng của một mô hình đơn lẻ. Với khả năng tự động chọn mô hình (Auto model selection), hệ thống giúp cân bằng giữa mục tiêu công việc và hiệu quả sử dụng tài nguyên.

GitHub khẳng định sẽ tiếp tục cải tiến chất lượng và tính linh hoạt của harness để mang lại trải nghiệm tốt nhất cho các nhà phát triển, giúp tối ưu hóa chi phí mà vẫn đảm bảo hiệu suất công việc cao nhất.

Nguồn tham khảo: GitHub Blog