Với sự phổ biến của các ứng dụng AI trong môi trường doanh nghiệp, nguy cơ bảo mật từ các kỹ thuật tấn công như prompt injection ngày càng lớn. Dự án PromptGuard trên GitHub đã ra đời để giải quyết vấn đề này, cung cấp một lớp 'gác cổng' (gateway) bảo mật nằm giữa người dùng và mô hình AI.
PromptGuard sử dụng một mô hình AI nhỏ, nhẹ chuyên biệt để phân tích từng prompt đầu vào, phát hiện các câu lệnh ẩn, các kỹ thuật xã hội công nghệ (social engineering) nhằm lừa AI tiết lộ system prompt hoặc dữ liệu nhạy cảm. Nếu phát hiện bất thường, hệ thống sẽ chặn yêu cầu và báo cáo cho quản trị viên.
Điểm mạnh của PromptGuard là khả năng tinh chỉnh (fine-tuning) để phù hợp với ngữ cảnh cụ thể của doanh nghiệp. Ví dụ, trong lĩnh vực ngân hàng, PromptGuard có thể được cấu hình để phát hiện các lệnh yêu cầu AI xác thực giao dịch hoặc truy vấn thông tin khách hàng cụ thể.
Cộng đồng phát triển an ninh mạng (cybersecurity) đánh giá cao hiệu suất của PromptGuard, với độ trễ thêm chỉ khoảng 5-10ms, gần như không ảnh hưởng đến trải nghiệm người dùng. Dự án hiện đã được tích hợp vào một số nền tảng AI doanh nghiệp lớn, trở thành tiêu chuẩn tham chiếu mới trong bảo mật AI.