AI·NEWS
Dự án GitHub Nguồn: GitHub Blog 17:02:25 6/11/2026

AutoLocal-LLM: Dự án GitHub giúp chạy mô hình 70B tham số mượt mà trên máy tính 16GB RAM

Công cụ mới AutoLocal-LLM đang thu hút sự chú ý lớn từ cộng đồng mã nguồn mở nhờ khả năng nén và phân tán bộ nhớ thông minh, đưa mô hình AI cỡ lớn đến với máy tính cá nhân.

AutoLocal-LLM: Dự án GitHub giúp chạy mô hình 70B tham số mượt mà trên máy tính 16GB RAM

Nếu như trước đây việc chạy các mô hình ngôn ngữ lớn như Llama-3-70B yêu cầu hệ thống GPU doanh nghiệp đắt tiền với dung lượng VRAM lớn, thì dự án mã nguồn mở AutoLocal-LLM vừa ra mắt hôm nay đã thay đổi hoàn toàn cuộc chơi này.

AutoLocal-LLM sử dụng phương pháp lượng hóa lai 1.5-bit mới kết hợp với cơ chế nạp trang bộ nhớ thông minh từ ổ cứng NVMe SSD. Nhờ đó, công cụ cho phép tải và suy luận các mô hình AI có quy mô lên tới 70 tỷ tham số ngay trên các dòng máy tính xách tay cá nhân trang bị 16GB RAM mà vẫn duy trì được tốc độ gõ chữ 12-15 token/giây.

Điểm nổi bật của dự án là giao diện thiết lập cực kỳ đơn giản 'một cú nhấp chuột', hỗ trợ cả Windows, macOS (Apple Silicon) và Linux. Công cụ tự động phát hiện phần cứng có sẵn để tối ưu hóa việc phân chia nhiệm vụ giữa CPU, NPU và GPU tích hợp.

Trong vòng chưa đầy 12 giờ sau khi đăng tải, kho lưu trữ của AutoLocal-LLM đã cán mốc 12.000 star trên GitHub, trở thành một trong những dự án tăng trưởng nhanh nhất tuần qua.

Về trang chủ

Nội dung do AI tổng hợp, tham khảo theo nguồn "GitHub Blog"