Meta Platforms đã chính thức phát hành Llama 4 Behemoth trên GitHub, đánh dấu bước tiến lớn trong chiến lược 'AI mã nguồn mở' của công ty. Với 405 tỷ tham số, đây là mô hình ngôn ngữ lớn nhất từng được Meta chia sẻ công khai, vượt xa Llama 3.1 405B và Llama 3.3 70B trước đó.
Điểm khác biệt của Llama 4 Behemoth nằm ở kiến trúc MoE (Mixture of Experts) được tối ưu hóa sâu hơn, cho phép mô hình chỉ kích hoạt một phần nhỏ các tham số cho mỗi bước suy luận. Điều này giúp giảm đáng kể chi phí suy luận (inference cost) mà vẫn duy trì hiệu suất tương đương với các mô hình dense cùng kích thước. Theo công bố, mô hình này hỗ trợ cửa sổ ngữ liệu lên đến 10 triệu token, cho phép xử lý các tài liệu kỹ thuật khổng lồ hoặc mã nguồn toàn bộ dự án.
Cộng đồng lập trình viên trên GitHub đã nhanh chóng phản ứng tích cực, với hàng nghìn sao (stars) được thêm vào repo chỉ trong vài giờ đầu. Nhiều startup AI đang cân nhắc chuyển đổi sang Llama 4 Behemoth để giảm phụ thuộc vào các API đóng, đặc biệt là trong các ứng dụng yêu cầu độ chính xác cao như pháp lý và y tế.