GitHub công bố bộ dữ liệu mã nguồn mở hỗ trợ phát triển AI đa ngôn ngữ

Trong thế giới phần mềm, dù code được viết bằng các ngôn ngữ lập trình, nhưng ngôn ngữ tự nhiên mới là cốt lõi của sự hợp tác. Từ các tệp README, thảo luận trong Issues cho đến quá trình review code qua Pull Requests, sự tương tác giữa các lập trình viên thường diễn ra bằng tiếng Anh. Tuy nhiên, khi AI trở thành một phần không thể thiếu trong quy trình phát triển, nhu cầu về dữ liệu đa ngôn ngữ trở nên cấp thiết hơn bao giờ hết.

GitHub Multilingual Repositories Dataset là gì?

GitHub vừa chính thức phát hành GitHub Multilingual Repositories Dataset. Đây không phải là một bản sao lưu toàn bộ nội dung kho lưu trữ, mà là một tập hợp metadata được thiết kế để giúp cộng đồng tìm kiếm các repository có chứa nội dung ngôn ngữ tự nhiên không phải tiếng Anh. Dữ liệu bao gồm hơn 80 triệu hàng phân loại trên hơn 40 triệu repository.

Điểm đặc biệt là GitHub cung cấp kết quả từ ba bộ phân loại khác nhau (fastText, gcld3, và lingua-py) thay vì gộp chung vào một nhãn duy nhất. Điều này cho phép người dùng tùy chỉnh độ chính xác (precision) và độ bao phủ (recall) tùy theo mục đích nghiên cứu hoặc phát triển công cụ của mình.

Dữ liệu bao gồm những gì?

Với mỗi repository công khai, bộ dữ liệu cung cấp:

• Phân loại ngôn ngữ cho README, Issue có nhiều bình luận nhất và Pull Request có nhiều bình luận nhất (dựa trên 150 ký tự đầu tiên).
• Điểm tin cậy (confidence score) cho mỗi bộ phân loại (chỉ bao gồm các kết quả có độ tin cậy >0.5).
• Metadata của repository: thời gian tạo, dung lượng, số lượng stars, forks, ngôn ngữ lập trình chính, giấy phép SPDX và thống kê số lượng Issues/Pull Requests.

Ứng dụng thực tiễn

Bộ dữ liệu này mở ra nhiều hướng đi mới cho các nhà phát triển và nghiên cứu:

• Khám phá: Tìm kiếm các tài liệu kỹ thuật hoặc cộng đồng hợp tác bằng các ngôn ngữ cụ thể.
• Nghiên cứu: Phân tích cách các cộng đồng lập trình phi tiếng Anh vận hành thông qua Issues và Pull Requests.
• Đánh giá AI: Xây dựng các bộ đánh giá (evaluation sets) cho các công cụ AI coding, trình tạo tài liệu hoặc trợ lý review code để đảm bảo chúng hoạt động tốt trên nhiều ngôn ngữ.
• Thúc đẩy sự đa dạng: Cung cấp bằng chứng thực tế để mở rộng hỗ trợ ngôn ngữ cho các công cụ phát triển mới.

Một số lưu ý quan trọng

GitHub nhấn mạnh rằng việc nhận diện ngôn ngữ trong các repository là một thách thức do nội dung thường ngắn, chứa nhiều code snippet, template hoặc nội dung hỗn hợp. Do đó, bộ dữ liệu này nên được coi là một công cụ khám phá minh bạch thay vì một tiêu chuẩn (ground-truth benchmark) tuyệt đối. Ngoài ra, dữ liệu này chỉ tập trung vào metadata của repository, không nên được sử dụng để suy diễn các thông tin nhạy cảm về cá nhân người đóng góp.

Hiện tại, bộ dữ liệu đã có sẵn trên GitHub theo giấy phép CC0-1.0, sẵn sàng để cộng đồng sử dụng, kiểm chứng và phát triển các công cụ hỗ trợ AI đa ngôn ngữ hiệu quả hơn.

Nguồn tham khảo: GitHub Blog