OpenAI đã giới thiệu GPT-Red, một mô hình red-teaming tự động nội bộ được thiết kế để xác định và khắc phục các lỗ hổng prompt injection trong GPT-5.6. Cách tiếp cận này nhằm giải quyết một thách thức an toàn ngày càng tăng trong an ninh mạng AI.
Trong khi các bài tập red-team thủ công vẫn có giá trị, chúng không thể tạo ra các trường hợp kiểm thử đối kháng ở quy mô cần thiết để theo kịp các hệ thống AI ngày càng tiên tiến. Đây là một vấn đề trọng tâm cần được giải quyết.
Hiểu rõ Lỗ hổng Prompt Injection
Định nghĩa và Cơ chế Tấn công
Prompt injection xảy ra khi các hướng dẫn độc hại được ẩn trong nội dung của bên thứ ba mà AI có thể xử lý. Các nguồn này bao gồm trang web, email, đầu ra của công cụ, kho lưu trữ mã hoặc các tệp cục bộ.
Gần đây, CrowdStrike đã công bố 5 Kỹ thuật Prompt Injection Mới, gây thách thức cho các tác nhân AI. Trong các kỹ thuật này, kẻ tấn công cài đặt các hướng dẫn ẩn. Các hướng dẫn này sẽ nằm ở trạng thái tiềm ẩn cho đến khi một điều kiện hoặc từ khóa cụ thể kích hoạt chúng.
Kẻ tấn công có thể sử dụng phương pháp này để vượt qua các nhiệm vụ dự kiến của AI. Mục tiêu là buộc AI tiết lộ thông tin nhạy cảm, tải lên tệp, chuyển tiếp thông tin đăng nhập, hoặc thực hiện các hành động trái phép. Đây là một hình thức tấn công mạng tinh vi.
GPT-Red: Giải pháp Red-Teaming Tự động
Cơ chế Hoạt động và Huấn luyện
GPT-Red tự động hóa quy trình kiểm thử bằng cách gửi các prompt đối kháng. Mô hình này quan sát phản hồi của mô hình mục tiêu và lặp lại để phát triển các cuộc tấn công mạnh mẽ hơn.
OpenAI đã huấn luyện GPT-Red sử dụng học tăng cường tự chơi (self-play reinforcement learning). Trong quá trình này, mô hình tấn công cạnh tranh với nhiều mô hình phòng thủ trong các kịch bản đe dọa mô phỏng.
GPT-Red được thưởng khi thành công kích hoạt các lỗi hợp lệ. Ngược lại, các mô hình phòng thủ được thưởng khi chống lại các cuộc tấn công, đồng thời vẫn hoàn thành các nhiệm vụ ban đầu của người dùng.
Môi trường Giả lập Tấn công Thực tế
Môi trường huấn luyện của GPT-Red mô phỏng các bề mặt tấn công thực tế. Tùy thuộc vào kịch bản, GPT-Red có thể thao túng nội dung trong một banner trang web, nội dung email, một tệp cục bộ, hoặc phản hồi của một công cụ.
Thiết lập này cho phép mô hình đánh giá cả rủi ro prompt injection trực tiếp và gián tiếp trong các quy trình làm việc của tác nhân. Điều này giúp nâng cao khả năng phát hiện các lỗ hổng prompt injection tiềm ẩn.
Kết quả Đáng chú ý và Tác động
Cải thiện Hiệu suất Mô hình GPT
OpenAI báo cáo rằng GPT-Red đã thành công xâm phạm các mô hình nội bộ và sản xuất trước đó. Các mô hình này bao gồm cả những phiên bản tiên tiến như GPT-5.5.
Các phát hiện từ các cuộc tấn công của GPT-Red sau đó đã được sử dụng để huấn luyện GPT-5.6. OpenAI lưu ý rằng GPT-5.6 Sol đã thể hiện ít hơn sáu lần lỗi trong điểm chuẩn prompt injection trực tiếp khó khăn nhất của họ. Con số này so với mô hình sản xuất mạnh nhất của họ chỉ bốn tháng trước đó.
Ngoài ra, OpenAI đã đánh giá GPT-Red trên một bản sao nội bộ của môi trường prompt injection gián tiếp, dựa trên nghiên cứu của Dziemian et al. GPT-Red được báo cáo đã thành công trong 84% các kịch bản kiểm thử chống lại GPT-5.1. Trong khi đó, các red team thủ công hoạt động độc lập chỉ đạt được 13%.
Kiểm thử Kịch bản Thực tế
Trong một thử nghiệm khác, GPT-Red đã nhắm mục tiêu vào một tác nhân máy bán hàng tự động được trang bị AI. Mô hình này đã thực hiện thành công các hành động độc hại như thay đổi giá của các mặt hàng có giá trị cao xuống còn $0.50, thêm một mặt hàng có giá cao hơn ở mức giá đó, và hủy đơn hàng của một khách hàng khác.
OpenAI đã tuyên bố rằng các vấn đề này đã được tiết lộ và các biện pháp bảo vệ bổ sung hiện đang được kiểm thử. Điều này thể hiện cam kết của họ đối với an ninh mạng AI. Thông tin chi tiết có thể được tìm thấy trên blog chính thức của OpenAI: Unlocking Self-Improvement with GPT-Red.
Biện pháp Giảm thiểu Rủi ro và An toàn
Để giảm thiểu rủi ro, OpenAI giữ GPT-Red tách biệt khỏi các mô hình được triển khai công khai. Điều này nhằm ngăn chặn việc lộ các khả năng tấn công được phát triển trong quá trình huấn luyện của nó. Đây là một biện pháp quan trọng để đảm bảo an toàn.
Công ty báo cáo rằng GPT-5.6 Sol hiện chỉ thất bại trong 0.05% các nỗ lực prompt injection trực tiếp của GPT-Red trong các môi trường được kiểm soát. Đồng thời, mô hình này vẫn duy trì khả năng tổng quát và tránh hành vi từ chối quá mức. Việc liên tục cải thiện và bảo vệ khỏi lỗ hổng prompt injection là rất cần thiết trong bối cảnh các tấn công mạng ngày càng phức tạp.
