Nếu như trước đây việc chạy các mô hình ngôn ngữ lớn như Llama-3-70B yêu cầu hệ thống GPU doanh nghiệp đắt tiền với dung lượng VRAM lớn, thì dự án mã nguồn mở AutoLocal-LLM vừa ra mắt hôm nay đã thay đổi hoàn toàn cuộc chơi này.
AutoLocal-LLM sử dụng phương pháp lượng hóa lai 1.5-bit mới kết hợp với cơ chế nạp trang bộ nhớ thông minh từ ổ cứng NVMe SSD. Nhờ đó, công cụ cho phép tải và suy luận các mô hình AI có quy mô lên tới 70 tỷ tham số ngay trên các dòng máy tính xách tay cá nhân trang bị 16GB RAM mà vẫn duy trì được tốc độ gõ chữ 12-15 token/giây.
Điểm nổi bật của dự án là giao diện thiết lập cực kỳ đơn giản 'một cú nhấp chuột', hỗ trợ cả Windows, macOS (Apple Silicon) và Linux. Công cụ tự động phát hiện phần cứng có sẵn để tối ưu hóa việc phân chia nhiệm vụ giữa CPU, NPU và GPU tích hợp.
Trong vòng chưa đầy 12 giờ sau khi đăng tải, kho lưu trữ của AutoLocal-LLM đã cán mốc 12.000 star trên GitHub, trở thành một trong những dự án tăng trưởng nhanh nhất tuần qua.