Bảo mật AI đang trở thành một trong những ưu tiên hàng đầu khi các mô hình ngôn ngữ lớn ngày càng được ứng dụng rộng rãi. Một nghiên cứu mới từ Đại học Oxford và ETH Zurich đã công bố một khung công cụ mới có tên 'SafeGuard-LLM', giúp phát hiện và ngăn chặn các kỹ thuật jailbreak phổ biến như prompt injection, role-playing abuse và multi-turn jailbreak.
SafeGuard-LLM sử dụng một mô hình nhỏ (small language model) được huấn luyện đặc biệt để phân tích ngữ cảnh và ý định thực sự của người dùng, thay vì chỉ dựa vào các từ khóa. Phương pháp này cho phép hệ thống hiểu được khi nào một câu hỏi có vẻ vô hại nhưng thực chất là một phần của một chuỗi jailbreak phức tạp.
Trong các thử nghiệm, SafeGuard-LLM đã phát hiện 99.2% các trường hợp jailbreak trong khi chỉ chặn 0.5% các câu hỏi hợp lệ, một tỷ lệ rất thấp so với các phương pháp trước đó. Nghiên cứu này được kỳ vọng sẽ trở thành tiêu chuẩn mới trong việc thiết kế các hệ thống LLM an toàn, đặc biệt quan trọng khi AI được tích hợp vào các dịch vụ tài chính, y tế và chính phủ.