'Local-LLM-Orchestrator' là dự án mã nguồn mở mới nổi trên GitHub, cho phép người dùng phát triển và chạy nhiều mô hình AI cục bộ (local LLMs) trên một máy tính cá nhân. Thay vì chạy một mô hình duy nhất, công cụ này phân phối các tác vụ khác nhau cho các mô hình phù hợp nhất, tối ưu hóa hiệu suất và giảm thiểu việc sử dụng bộ nhớ.
Ví dụ, một tác vụ tóm tắt tài liệu có thể được xử lý bởi một mô hình nhỏ 7B tham số chạy nhanh, trong khi một tác vụ lập trình phức tạp sẽ được chuyển đến mô hình 70B tham số có khả năng suy luận mạnh hơn. Hệ thống tự động cân bằng tải và quản lý bộ nhớ RAM/VRAM, đảm bảo không có mô hình nào bị 'overflow' khi chạy đồng thời.
Dự án đặc biệt hữu ích cho các lập trình viên và nhà nghiên cứu muốn thử nghiệm nhiều mô hình mà không cần thuê dịch vụ đám mây. Hiện tại, công cụ hỗ trợ các mô hình phổ biến như Llama, Mistral, Qwen và Gemma, với giao diện điều khiển qua CLI và một web dashboard trực quan. Cộng đồng đang thảo luận về khả năng mở rộng hệ thống sang các mô hình đa phương thức (text + image) trong các bản cập nhật tới.