Cuộc tấn công tuân thủ ngữ cảnh (CCA)
Những điểm chính về phương pháp tấn công CCA:
1. Phương pháp tấn công
– CCA khai thác một lỗ hổng kiến trúc cơ bản trong nhiều hệ thống AI bằng cách thao túng lịch sử cuộc trò chuyện.
– Nó liên quan đến việc tiêm một phản hồi trợ lý giả mạo vào lịch sử cuộc trò chuyện, bao gồm một cuộc thảo luận về một chủ đề nhạy cảm, một tuyên bố sẵn lòng cung cấp thêm thông tin và một câu hỏi đưa ra nội dung bị hạn chế.
2. Hiệu quả
– Cuộc tấn công này khá đơn giản và đã chứng minh hiệu quả chống lại nhiều mẫu AI hàng đầu, bao gồm Claude, GPT, Llama, Phi, Gemini, DeepSeek và Yi.
– Đánh giá cho thấy hầu hết các mẫu đều dễ bị tổn thương trước ít nhất một số hình thức tấn công, với nhiều mẫu dễ bị tổn thương trong nhiều danh mục khác nhau.
3. Hệ quả
– Sự đơn giản của cuộc tấn công này làm nổi bật một mối quan ngại lớn về các biện pháp bảo vệ hiện tại, vì nó có thể vượt qua ngay cả các biện pháp an toàn mạnh mẽ.
– Hiệu ứng dây chuyền của cuộc tấn công, nơi một hệ thống AI bị đánh lừa để cung cấp thông tin bị hạn chế, thường trở nên dễ dàng hơn trong việc thảo luận về các chủ đề nhạy cảm liên quan, làm tăng tác động của lỗ hổng ban đầu.
4. Chiến lược giảm thiểu
– Microsoft đề xuất một số chiến lược giảm thiểu ngay lập tức, bao gồm việc triển khai chữ ký mật mã để xác thực cuộc trò chuyện và duy trì trạng thái cuộc trò chuyện hạn chế ở phía máy chủ.
– Công ty cũng nhấn mạnh tầm quan trọng của bộ lọc đầu vào và đầu ra, chẳng hạn như Azure Content Filters, để giúp giải quyết vấn đề này và các kỹ thuật jailbreak khác.
5. Mô hình mã nguồn mở
– Các mô hình mã nguồn mở đặc biệt dễ bị tổn thương trước lỗ hổng này vì chúng phụ thuộc vào lịch sử cuộc trò chuyện do khách hàng cung cấp.
– Các hệ thống duy trì trạng thái cuộc trò chuyện nội bộ, chẳng hạn như Copilot của Microsoft và ChatGPT của OpenAI, cho thấy khả năng chống lại phương pháp tấn công này tốt hơn.
6. Nghiên cứu và công bố
– Microsoft đã công bố Context Compliance Attack thông qua bộ công cụ Red Team AI mã nguồn mở của họ, PyRIT, nhằm nâng cao nhận thức và tạo điều kiện cho nghiên cứu thêm về lỗ hổng này.
– Việc công bố công khai CCA của công ty thể hiện cam kết của họ trong việc nâng cao nhận thức và khuyến khích các nhà thiết kế hệ thống thực hiện các biện pháp bảo vệ thích hợp chống lại cả các phương pháp vượt qua đơn giản và tinh vi.
