Một dự án mã nguồn mở đáng chú ý khác vừa trỗi dậy mạnh mẽ trên GitHub là LocalLLM-Vision. Được phát triển bởi một nhóm nghiên cứu độc lập, công cụ này giải quyết triệt để vấn đề phụ thuộc vào điện toán đám mây khi triển khai các mô hình Vision-Language (VLM) trên thiết bị di động cá nhân.
LocalLLM-Vision áp dụng kỹ thuật lượng thể hóa (quantization) 2-bit và 3-bit tiên tiến kết hợp với thuật toán nén trọng số không mất mát thông tin. Nhờ vậy, một mô hình thị giác AI nặng hàng chục GB có thể thu gọn xuống dưới 1.5 GB, chạy mượt mà trên các dòng điện thoại thông minh tầm trung với tốc độ xử lý 30 khung hình/giây.
Ứng dụng thực tế của dự án này vô cùng rộng lớn: từ hỗ trợ người thị lực kém nhận biết vật thể xung quanh theo thời gian thực mà không sợ mất kết nối mạng, cho đến tích hợp vào thiết bị IoT, drone cứu hộ hoạt động tại các khu vực mất sóng. Mọi dữ liệu hình ảnh đều được xử lý hoàn toàn cục bộ trên phần cứng thiết bị, đảm bảo quyền riêng tư tuyệt đối cho người dùng.
Hiện tại, kho lưu trữ của LocalLLM-Vision đã nhận được hàng trăm lượt pull request cải tiến từ cộng đồng, hỗ trợ đa dạng phần cứng từ chip Apple Neural Engine, Qualcomm Snapdragon cho đến các kiến trúc GPU di động ARM Mali.