GitHub tối ưu hóa phát hiện secret: Hiệu quả cao hơn, chi phí thấp hơn với ModernBERT

Việc phát hiện các thông tin nhạy cảm (secret) trong mã nguồn luôn là bài toán cân não: nếu quá nhạy, hệ thống sẽ tạo ra hàng loạt cảnh báo giả (false positive) gây phiền toái cho lập trình viên; nếu quá lỏng lẻo, các thông tin quan trọng như API key hay mật khẩu có thể bị lộ. GitHub vừa công bố bước tiến mới trong việc giải quyết thách thức này bằng cách triển khai một mô hình phân loại chuyên biệt, thay thế cho pipeline dựa trên LLM trước đây.

Kiến trúc hai giai đoạn: Kết hợp sức mạnh của Regex và AI

Thay vì phụ thuộc hoàn toàn vào các mô hình ngôn ngữ lớn (LLM) đắt đỏ và chậm chạp, GitHub đã chuyển sang quy trình xử lý hai giai đoạn tối ưu hơn:

• Giai đoạn 1 – Tạo ứng viên (Candidate generation): Sử dụng các bộ lọc Regex để quét nhanh toàn bộ nội dung. Đây là bước sàng lọc diện rộng để đảm bảo không bỏ sót bất kỳ chuỗi ký tự nào có cấu trúc giống secret.
• Giai đoạn 2 – Phân loại dựa trên ngữ cảnh (Context-aware classification): Mỗi ứng viên được gửi đến mô hình ModernBERT đã được tinh chỉnh (fine-tuned). Mô hình này không chỉ nhìn vào chuỗi ký tự mà còn phân tích ngữ cảnh xung quanh như đường dẫn file, tên biến và các đoạn mã lân cận để xác định xem đó là một secret thực sự hay chỉ là các giá trị giả lập, ví dụ trong tài liệu hoặc file test.

Tại sao lại là ModernBERT?

Nhóm kỹ sư tại GitHub nhận thấy rằng các LLM đa năng thường quá dư thừa cho tác vụ phân loại này. ModernBERT mang lại sự cân bằng hoàn hảo: nó đủ nhỏ gọn để chạy với độ trễ thấp, chi phí vận hành cực kỳ hiệu quả, nhưng vẫn đủ thông minh để hiểu ngữ cảnh mà không cần tạo ra văn bản tự nhiên. Việc xuất mô hình sang định dạng ONNX với lượng tử hóa 8-bit giúp quá trình suy luận (inference) diễn ra cực nhanh.

Kết quả ấn tượng

Việc chuyển đổi sang kiến trúc mới đã mang lại những con số đáng kể cho nền tảng:

• Độ chính xác: Tỷ lệ chấp nhận cảnh báo của người dùng tăng 11.5%.
• Tốc độ: Thời gian thực hiện quét sau khi đẩy code (post-push scanning) giảm 86%.
• Chi phí: Chi phí vận hành giảm hơn 98% so với pipeline LLM cũ.

Nhờ hiệu suất vượt trội, GitHub đã có thể mở rộng tính năng push protection (chặn commit chứa secret ngay từ máy trạm của lập trình viên) một cách hiệu quả hơn, thay vì chỉ quét sau khi code đã được đẩy lên server.

Trong tương lai, GitHub dự định xây dựng một vòng lặp cải tiến liên tục (continuous improvement flywheel), sử dụng phản hồi từ thực tế để tinh chỉnh dữ liệu huấn luyện, đồng thời nghiên cứu các kiến trúc mô hình mới có khả năng thực hiện cả hai tác vụ phát hiện và trích xuất secret trong một bước duy nhất.

Nguồn tham khảo: GitHub Blog