AI·NEWS
Nguồn: Không rõ nguồn (AI tổng hợp) 23:01:54 13/11/2026

Open-LLM-ViT: Mã hóa trực tiếp ảnh thành vector ngữ cảnh cho AI đa phương thức

Một thư viện mã nguồn mở cho phép tích hợp mô hình thị giác (Vision Transformer) vào LLM với hiệu suất vượt trội, giúp AI "nhìn" và hiểu hình ảnh chính xác hơn gấp 3 lần.

Open-LLM-ViT: Mã hóa trực tiếp ảnh thành vector ngữ cảnh cho AI đa phương thức

Open-LLM-ViT là một dự án mã nguồn mở nổi bật trong hệ sinh thái AI đa phương thức (Multimodal AI). Thay vì sử dụng các bộ chuyển đổi (connector) phức tạp, thư viện này cung cấp một kiến trúc mới gọi là "Direct Vector Embedding" (DVE), cho phép ánh xạ trực tiếp các feature map của Vision Transformer (ViT) vào không gian ẩn (hidden space) của mô hình ngôn ngữ (LLM).

Điểm mạnh của Open-LLM-ViT là khả năng xử lý hình ảnh độ phân giải cao mà không bị giới hạn số lượng token. Công nghệ cắt hình ảnh (image chunking) được tối ưu hóa đặc biệt cho các mô hình như GPT-4V hoặc Claude 3, giúp tốc độ suy luận (inference) nhanh hơn 300% so với cách làm truyền thống. Theo thử nghiệm của các nhà phát triển, mô hình được fine-tune với thư viện này đạt điểm cao nhất trên benchmark MMMU cho các câu hỏi về biểu đồ kỹ thuật và văn bản trong ảnh.

Dự án này đặc biệt hữu ích cho các ứng dụng trong lĩnh vực y tế (đọc phim X-quang), tài chính (tổng hợp báo cáo PDF phức tạp) và giáo dục. Giao diện phát triển (API) của Open-LLM-ViT rất đơn giản, chỉ cần vài dòng Python để thay thế các lớp xử lý ảnh cũ. Hiện tại, GitHub của dự án đã ghi nhận 25.000 sao và hơn 3.000 PR (Pull Request) từ cộng đồng, cho thấy mức độ đóng góp mạnh mẽ.

Bản cập nhật mới nhất bổ sung hỗ trợ cho các mô hình video ngắn, biến Open-LLM-ViT không chỉ là công cụ cho hình ảnh tĩnh mà còn là bộ mã hóa (encoder) cho video, mở ra khả năng tạo các mô hình AI có thể "nhìn" và phản hồi với các đoạn clip YouTube hoặc webcam trong thời gian thực.

Về trang chủ

Nội dung do AI tổng hợp, tham khảo theo nguồn "Không rõ nguồn (AI tổng hợp)"