Trung tâm Nghiên cứu AI thuộc Trường Đại học VinUni vừa chính thức ra mắt V-Bench - bộ công cụ phi lợi nhuận nhằm đánh giá năng lực tiếng Việt của các mô hình ngôn ngữ lớn (LLM), góp phần thúc đẩy phát triển AI có trách nhiệm tại Việt Nam.

Được phát triển trên bộ dữ liệu chuyên sâu gồm hơn 40.000 câu hỏi và tác vụ, do hội đồng gồm 18 chuyên gia AI người Việt trong và ngoài nước tham gia xây dựng, thẩm định hoàn toàn phi lợi nhuận, V-Bench hướng tới việc tạo ra một hệ tham chiếu khách quan, độc lập để đánh giá khả năng xử lý tiếng Việt của các mô hình AI, từ đó đưa ra hệ tham chiếu khách quan, độc lập, làm cơ sở cho việc ứng dụng AI trong thực tiễn.

Không chỉ kiểm tra kiến thức học thuật, bộ dữ liệu của V-Bench được thiết kế theo cả chiều rộng và chiều sâu, bao phủ nhiều lĩnh vực, đồng thời phản ánh các yếu tố đặc thù của Việt Nam như văn hóa, ngôn ngữ, chủ quyền số, an toàn thông tin và bối cảnh địa phương.

V-Bench chia bộ công cụ theo 2 hạng mục lớn với 5 nhóm đánh giá chuyên biệt, bao gồm: Văn hóa ngầm định - đánh giá khả năng thấu hiểu các tầng nghĩa văn hóa ẩn sâu trong ngôn ngữ Việt như phong tục, tín ngưỡng, lịch sử; Đa dạng vùng miền - kiểm tra hiểu biết về phương ngữ Bắc - Trung - Nam, cách xưng hô và văn phong đặc trưng từng vùng; An toàn và chủ quyền số - đảm bảo tuân thủ các nguyên tắc an toàn thông tin quốc gia, chống thông tin sai lệch và bảo vệ chủ quyền số Việt Nam; Ứng dụng thực tiễn - đánh giá hiệu quả trong giáo dục, y tế cộng đồng và các lĩnh vực ứng dụng cụ thể của Việt Nam; Năng lực agentic AI - đánh giá khả năng lập kế hoạch, sử dụng công cụ, RAG và hành động tự chủ trong môi trường Việt Nam.

Theo nhóm phát triển, cách tiếp cận này giúp V-Bench không chỉ đo lường khả năng trả lời câu hỏi mà còn đánh giá mức độ thấu hiểu văn hóa, ngôn ngữ vùng miền và khả năng hành động của AI trong bối cảnh thực tế tại Việt Nam. Kết quả đánh giá được kỳ vọng sẽ trở thành nguồn tham chiếu đáng tin cậy, hỗ trợ các tổ chức, doanh nghiệp lựa chọn mô hình AI phù hợp với từng nhu cầu ứng dụng.

Bên cạnh đó, V-Bench được xây dựng theo các kỹ thuật phổ biến trong nghiên cứu mô hình ngôn ngữ lớn trên thế giới, bảo đảm khả năng tương thích với các hệ thống benchmark quốc tế, tạo điều kiện để các nhà phát triển AI toàn cầu tham gia đánh giá mà không gặp rào cản về quy chuẩn kỹ thuật.

Theo GS.TS. Dương Nguyên Vũ, Phó Hiệu trưởng, Giám đốc Khoa học Trung tâm Nghiên cứu AI Trường Đại học VinUni, với bộ dữ liệu toàn diện và sự tham gia khách quan của cộng đồng chuyên gia người Việt trên toàn cầu, V-Bench hướng tới mục tiêu góp phần định hình tiêu chuẩn đánh giá AI tại Việt Nam, xây dựng hệ tham chiếu quốc gia, đồng thời giúp các tổ chức và doanh nghiệp có cái nhìn toàn diện hơn về năng lực của từng mô hình AI để lựa chọn giải pháp phù hợp với từng bối cảnh sử dụng.