Meta hôm nay công bố phiên bản mới nhất của dòng mô hình ngôn ngữ Llama – Llama 3.2, với 750 tỷ tham số và khả năng mở rộng lên tới 1 nghìn tỷ thông qua kiến trúc mô-đun.
Khác với các mô hình thương mại, Llama 3.2 được phát hành dưới giấy phép mở (OpenRAIL) cho phép các nhà nghiên cứu và doanh nghiệp tự do tải xuống, tùy chỉnh và triển khai. Meta cam kết cung cấp bộ dữ liệu tiền xử lý và công cụ fine-tuning miễn phí trên nền tảng PyTorch.
Trong các bài kiểm tra benchmark, Llama 3.2 đạt điểm 94.3 trên GLUE, vượt qua GPT-4 và Gemini Ultra 2 ở một số tác vụ như trả lời câu hỏi ngắn gọn và tóm tắt văn bản dài. Đặc biệt, mô hình này được tối ưu để chạy trên GPU thế hệ thứ 5, giảm thời gian huấn luyện xuống 40%.
Sự ra mắt của Llama 3.2 được xem là một bước quan trọng trong việc thúc đẩy sự minh bạch và công bằng trong lĩnh vực AI, đồng thời tạo cơ hội cho các startup và các viện nghiên cứu tại các quốc gia đang phát triển tiếp cận công nghệ tiên tiến.