Nhóm nghiên cứu mở OpenVision vừa phát hành kho lưu trữ LocalVision-LLM trên GitHub và nhanh chóng nhận được sự đón nhận nồng nhiệt từ cộng đồng lập trình viên nhúng và IoT. Dự án cung cấp mô hình thị giác máy tính kết hợp ngôn ngữ với dung lượng nén chỉ chưa đầy 1.2 GB.
Bằng cách áp dụng kỹ thuật lượng thể hóa 2-bit cải tiến và chắt lọc kiến thức (Knowledge Distillation) từ các mô hình khổng lồ, LocalVision-LLM cho phép phân tích bối cảnh video thời gian thực với tốc độ 45 khung hình/giây ngay trên các chip di động tầm trung mà không làm nóng máy hay tiêu tốn quá nhiều pin.
Mục tiêu chính của dự án là bảo vệ quyền riêng tư tuyệt đối cho người dùng bằng cách xử lý toàn bộ dữ liệu hình ảnh trực tiếp trên thiết bị (on-device), hoàn toàn loại bỏ rủi ro rò rỉ dữ liệu lên đám mây. Dự án đi kèm với đầy đủ SDK dành cho iOS, Android và các hệ điều hành Linux nhúng.
Sự bùng nổ của LocalVision-LLM trên GitHub phản ánh xu hướng dịch chuyển mạnh mẽ của ngành công nghệ hướng tới AI biên (Edge AI) – nơi sự riêng tư, tốc độ phản hồi và khả năng hoạt động offline được đặt lên hàng đầu.