Với sự phổ biến ngày càng tăng của các mô hình ngôn ngữ lớn, cộng đồng mã nguồn mở đã tạo ra AI-SafetyBench, một bộ công cụ đánh giá toàn diện giúp xác định các điểm yếu về an toàn, thiên vị và khả năng gây hại của các mô hình AI trước khi chúng được đưa vào sản xuất. Dự án này đã nhanh chóng trở thành tiêu chuẩn tham chiếu cho nhiều tổ chức phi lợi nhuận và chính phủ.
AI-SafetyBench bao gồm hơn 20.000 câu hỏi kiểm tra được thiết kế đặc biệt để đánh giá phản ứng của mô hình trước các lệnh độc hại, yêu cầu vi phạm quyền riêng tư hoặc các kịch bản ảo gây nhầm lẫn về sự thật. Hệ thống chấm điểm tự động sẽ trả về một bảng điểm an toàn từ 0 đến 100, kèm theo báo cáo chi tiết về các lỗi cụ thể, giúp các kỹ sư AI xác định chính xác điểm cần khắc phục.
Cộng đồng GitHub đang đóng góp vào AI-SafetyBench các bộ kiểm tra đa ngôn ngữ, bao gồm tiếng Việt, để đánh giá hiệu quả của các mô hình trong bối cảnh văn hóa địa phương. Nhiều startup AI Đông Nam Á, bao gồm cả các công ty tại Việt Nam, đã bắt đầu tích hợp AI-SafetyBench vào quy trình phát triển sản phẩm của mình như một bước kiểm thử bắt buộc.
Nhà sáng lập dự án, ông Minh Nguyen, một kỹ sư an toàn AI làm việc tại Singapore, chia sẻ rằng mục tiêu là biến việc đánh giá an toàn từ một quy trình thủ công, tốn kém thành một bước đơn giản, tự động và lặp lại được, giống như việc chạy unit test trong phát triển phần mềm.