Meta AI vừa phát hành PyTorch 2.5, một bản cập nhật lớn tập trung vào hiệu suất và khả năng mở rộng cho các mô hình AI quy mô lớn. Điểm nhấn quan trọng nhất là 'Compiler-X', một trình biên dịch mới được tích hợp sâu vào khung làm việc (framework). Theo GitHub Blog, Compiler-X tự động tối ưu hóa đồ thị tính toán (computation graph) để tận dụng triệt để các đặc tính phần cứng của GPU thế hệ mới, giúp tăng tốc độ huấn luyện lên 30% mà không cần nhà phát triển viết lại mã nguồn.
Bên cạnh đó, PyTorch 2.5 cải thiện đáng kể khả năng xử lý bộ nhớ (memory management) cho các mô hình có kích thước vượt quá dung lượng RAM của một GPU đơn lẻ. Tính năng 'ZeRO-Offload' được nâng cấp cho phép chia sẻ trọng số mô hình một cách hiệu quả hơn giữa các node máy tính, giảm thiểu thời gian chờ do truyền tải dữ liệu. Điều này đặc biệt có lợi cho các nhóm nghiên cứu học thuật và startup có ngân sách giới hạn nhưng muốn huấn luyện các mô hình lớn.
Cộng đồng phát triển cũng hoan nghênh việc tích hợp sẵn các công cụ debugging trực quan hóa. Thay vì chỉ xem các log lỗi khô khan, PyTorch 2.5 cung cấp một giao diện web để xem trực tiếp sự thay đổi của các tensor trong quá trình forward và backward pass, giúp việc tìm ra lỗi trong các mô hình sâu trở nên dễ dàng hơn rất nhiều.
Phiên bản này cũng bao gồm các cải tiến cho việc triển khai (inference) trên thiết bị biên. Với sự hỗ trợ của các thư viện mới, các mô hình đã được huấn luyện bằng PyTorch có thể được xuất sang định dạng tối ưu cho các chip NPU (Neural Processing Unit) trên smartphone và laptop, mở đường cho việc chạy các LLM 7B-13B tham số ngay trên thiết bị cá nhân mà không cần kết nối mạng.