Cộng đồng mã nguồn mở đang dành sự quan tâm đặc biệt cho dự án GitHub mang tên LocalLLM-Opt. Được phát triển bởi một nhóm nghiên cứu độc lập, dự án này cung cấp các thuật toán lượng tử hóa (quantization) và cắt tỉa mạng nơ-ron (pruning) tiên tiến nhất hiện nay.
Điểm ấn tượng nhất của LocalLLM-Opt là khả năng nén các mô hình ngôn ngữ lớn cỡ 70 tỷ tham số (như Llama 3 70B hoặc Qwen 2.5 72B) xuống mức chỉ chiếm khoảng 16GB VRAM, cho phép chạy mượt mà ngay trên các dòng máy tính cá nhân trang bị card đồ họa phổ thông dành cho game thủ.
Việc LocalLLM-Opt được chia sẻ mã nguồn mở hoàn toàn dưới giấy phép MIT đang giúp dân chủ hóa hoàn toàn công nghệ AI tạo sinh, cho phép bất kỳ ai cũng có thể tự xây dựng một hệ thống chatbot thông minh riêng tư chạy hoàn toàn ngoại tuyến tại nhà.