Thư viện Hugging Face vừa đẩy lên GitHub dự án AudioGPT-1, một mô hình ngôn ngữ lớn (LLM) chuyên biệt cho xử lý giọng nói (Speech-to-Text và Text-to-Speech) với kiến trúc mở hoàn toàn. Điểm nổi bật nhất của AudioGPT-1 là khả năng hỗ trợ đồng thời hơn 100 ngôn ngữ, trong đó tiếng Việt được tối ưu hóa đặc biệt với bộ dữ liệu huấn luyện riêng để xử lý các dấu thanh và từ láy phức tạp. Theo GitHub Blog, dự án đã vượt mốc 10.000 sao chỉ sau 48 giờ kể từ khi được công bố.
Khác với các mô hình đóng của các hãng lớn, AudioGPT-1 cho phép các nhà phát triển tự host mô hình trên phần cứng của riêng mình mà không cần lo ngại về quyền riêng tư dữ liệu giọng nói. Kiến trúc của mô hình sử dụng bộ mã hóa Wav2Vec 3.0 kết hợp với transformer giải mã, giúp giảm thiểu độ trễ khi xử lý các phiên thoại thời gian thực. Trong các bài kiểm thử nội bộ, độ chính xác của mô hình khi xử lý tiếng Việt trong môi trường có tiếng ồn đạt 92%, một con số mà các giải pháp thương mại trước đây khó lòng đạt được.
Cộng đồng GitHub đang rất hào hứng với khả năng tùy biến của dự án. Các nhà phát triển đã bắt đầu fork và sửa đổi mã nguồn để tích hợp các giọng nói đặc thù vùng miền của Việt Nam và các ngôn ngữ ít phổ biến khác. Một tính năng được cộng đồng đánh giá cao là 'Voice Cloning' (nhân bản giọng nói) chỉ cần 5 phút dữ liệu âm thanh mẫu, tuy nhiên, dự án đã tích hợp sẵn các cơ chế nhận dạng xác thực để ngăn chặn việc lạm dụng cho mục đích lừa đảo.
Mặc dù là mã nguồn mở, Hugging Face nhấn mạnh rằng việc sử dụng AudioGPT-1 trong các ứng dụng thương mại quy mô lớn vẫn yêu cầu tuân thủ giấy phép Apache 2.0 và các điều khoản về trách nhiệm pháp lý liên quan đến dữ liệu nhân dạng giọng nói. Dự kiến, phiên bản 1.1 sẽ bao gồm khả năng dịch thuật trực tiếp giữa các ngôn ngữ mà không cần bước trung gian chuyển đổi sang văn bản.