Các hệ thống trí tuệ nhân tạo (AI) đang dịch chuyển khỏi các giao diện trò chuyện truyền thống để tích hợp sâu rộng vào các hoạt động bảo mật, quy trình kinh doanh và môi trường vật lý. Sự thay đổi này yêu cầu một sự mở rộng đáng kể trong phương pháp tiếp cận penetration testing, đặt ra những thách thức mới cho an ninh mạng toàn cầu.
Trong bối cảnh hiện tại, một tác nhân độc hại không nhất thiết phải xâm nhập máy chủ hoặc đánh cắp thông tin xác thực để gây ra thiệt hại nghiêm trọng. Việc thao túng thông tin mà hệ thống AI tiếp nhận có thể đủ để làm chệch hướng một quyết định quan trọng, dẫn đến các rủi ro bảo mật nghiêm trọng.
Mối đe dọa mới từ các hệ thống AI
Các hệ thống thu hồi thông tin có thể kéo các tài liệu bị 'đầu độc' vào ngữ cảnh của trợ lý AI, trong khi các tính năng bộ nhớ có khả năng lưu giữ các chỉ dẫn do kẻ tấn công cung cấp để sử dụng về sau.
Trong các môi trường vật lý, việc thay đổi hình ảnh, âm thanh hoặc dữ liệu cảm biến có thể làm sai lệch nhận thức của AI. Kết quả là hệ thống có thể bỏ lỡ một cảnh báo, đưa ra khuyến nghị không an toàn, thực hiện một lệnh công cụ trái phép, hoặc đưa ra quyết định dựa trên bằng chứng sai lệch.
Các nhà nghiên cứu khẳng định rằng đây không đơn thuần là vấn đề về độ chính xác của mô hình. Đây là một vấn đề an ninh mạng cốt lõi vì mục tiêu của cuộc tấn công là phá vỡ mục đích hoạt động của hệ thống.
Các mục đích này bao gồm việc phân loại sự cố chính xác, xác thực đáng tin cậy, điều hướng an toàn hoặc hỗ trợ ra quyết định tuân thủ quy định.
Tấn công Dữ liệu Thu hồi (Retrieval Poisoning)
Một trợ lý AI được tăng cường khả năng thu hồi thông tin có thể bị lộ khi nó coi tài liệu không đáng tin cậy là một chỉ dẫn thay vì bằng chứng.
Kẻ tấn công có thể gài cắm các chỉ thị ẩn vào một trang web, email, bản ghi cơ sở tri thức hoặc một ticket mà hệ thống sau đó sẽ truy xuất.
Các cuộc tấn công mạng này phản ánh các nguy cơ đã được xem xét trong nghiên cứu về indirect prompt injection risks. Theo đó, nội dung bên ngoài có thể âm thầm định hình hành động của một tác nhân AI.
Ví dụ, một nhân viên hỗ trợ khách hàng sử dụng AI để tìm kiếm giải pháp có thể vô tình kích hoạt các chỉ thị độc hại được nhúng trong một tài liệu lỗi thời hoặc một email lừa đảo đã được lập chỉ mục.
Tấn công Bộ nhớ (Memory Attacks)
Bộ nhớ bổ sung một rủi ro bảo mật dài hạn khác cho các hệ thống AI. Nếu một tác nhân AI lưu trữ các chỉ dẫn độc hại như một ngữ cảnh hữu ích, kẻ tấn công có thể không cần phải hành động lại khi payload được kích hoạt sau này.
Điều này có thể biến một mục bộ nhớ tưởng chừng đáng tin cậy thành một cơ chế 'ngủ đông', tạo ra những lo ngại về thao túng dai dẳng bên trong hệ sinh thái của tác nhân.
Ví dụ, một trợ lý AI có thể được 'dạy' một quy tắc sai lệch thông qua một chuỗi tương tác, và quy tắc này sau đó sẽ được lưu trữ và áp dụng cho các tình huống tương lai, dẫn đến các hành vi không mong muốn.
Thao túng Cảm biến (Sensor Manipulation)
Thao túng cảm biến mở rộng vấn đề ra ngoài các mô hình ngôn ngữ. Một hình ảnh đã bị sửa đổi, ánh sáng bị thay đổi, nhiễu âm thanh hoặc dữ liệu cảm biến giả mạo có thể khiến hệ thống AI được kiểm soát bỏ lỡ một lỗi hoặc đưa ra lựa chọn không an toàn.
Trong mỗi trường hợp, cơ sở hạ tầng có thể vẫn còn nguyên vẹn, nhưng hành vi của hệ thống đã bị đẩy ra khỏi nhiệm vụ dự kiến của nó.
Các hệ thống AI trong các ứng dụng thực tế như xe tự lái hoặc giám sát an ninh đặc biệt dễ bị tổn thương bởi các cuộc tấn công mạng thao túng cảm biến, có thể dẫn đến hậu quả nghiêm trọng.
Mở rộng Khái niệm Penetration Testing cho AI
Nghiên cứu mở rộng định nghĩa của penetration testing ra ngoài việc thỏa hiệp tài nguyên truyền thống. An ninh cơ sở hạ tầng vẫn quan trọng, nhưng kẻ tấn công hiện có thể ảnh hưởng đến hành vi của AI thông qua các giao diện thông thường.
Các giao diện này bao gồm prompts, trang web, tickets, tài liệu, phản hồi công cụ, các mục bộ nhớ, dữ liệu huấn luyện và đầu vào cảm biến. Điều này làm cho việc thao túng hành vi trở thành một mối quan tâm an ninh mạng hàng đầu.
Các bề mặt tương tác bị ảnh hưởng
Điều này bao gồm các tài sản truyền thống như API, thông tin xác thực, cơ sở dữ liệu và các quy trình triển khai.
Đồng thời, nó cũng bao gồm các yếu tố đặc thù của AI như prompts, nội dung thu hồi, đầu ra công cụ, bộ nhớ, vòng lặp phản hồi và kênh cảm biến vật lý.
Các kỹ thuật prompt injection mới nhất cho thấy lý do tại sao penetration testing phải tính đến các phương pháp thao túng gián tiếp và trì hoãn.
Việc này đòi hỏi một cách tiếp cận toàn diện hơn, không chỉ tập trung vào việc bảo vệ các điểm cuối mạng mà còn vào việc kiểm tra tính toàn vẹn của dữ liệu và luồng thông tin trong hệ thống AI.
Xây dựng Chiến lược Penetration Testing cho AI hiệu quả
Báo cáo khuyến nghị bắt đầu một bài kiểm tra penetration testing AI với một mục tiêu hoạt động rõ ràng. Đối với một trợ lý hoạt động an ninh, điều đó có thể có nghĩa là các sự cố mức độ nghiêm trọng cao không bao giờ được hạ cấp hoặc đóng mà không có xác nhận của con người.
Đối với một tác nhân AI, nó có thể có nghĩa là các hành động phá hoại không được xảy ra mà không có một bước phê duyệt rõ ràng.
Các nhóm nên sau đó lập bản đồ các hành vi AI ảnh hưởng đến các mục tiêu đó và xác định mọi bề mặt ảnh hưởng thực tế.
Điều này đòi hỏi sự hiểu biết sâu sắc về cách AI tương tác với môi trường và cách các yếu tố bên ngoài có thể ảnh hưởng đến các quyết định của nó. Nghiên cứu từ Arxiv đã cung cấp cái nhìn chi tiết về cách mở rộng phạm vi của penetration testing.
Việc kiểm thử nên dựa vào các kịch bản được kiểm soát, thử nghiệm lặp lại và bằng chứng chi tiết về các điều kiện gây ra lỗi.
Một ví dụ là kiểm tra xem liệu việc thay đổi nhẹ các thông số đầu vào cảm biến có thể dẫn đến việc hệ thống AI đưa ra quyết định sai lệch hay không, hoặc liệu các chuỗi prompt phức tạp có thể vượt qua các biện pháp bảo vệ hay không.
Biện pháp phòng ngừa và giảm thiểu rủi ro bảo mật AI
Để giảm thiểu rủi ro bảo mật từ các cuộc tấn công mạng nhắm vào AI, các tổ chức nên áp dụng một loạt các biện pháp bảo vệ mạnh mẽ.
- Xác thực Nội dung Thu hồi: Cần có cơ chế mạnh mẽ để xác minh tính toàn vẹn và đáng tin cậy của nội dung mà AI thu thập từ các nguồn bên ngoài. Điều này bao gồm việc kiểm tra chữ ký số hoặc các phương pháp xác thực khác.
- Phân tách Hướng dẫn Đáng tin cậy: Các chỉ dẫn quan trọng của hệ thống AI cần được tách biệt rõ ràng khỏi dữ liệu không đáng tin cậy. Điều này ngăn chặn việc AI vô tình coi dữ liệu độc hại là các lệnh thực thi.
- Hạn chế Quyền Công cụ: Các công cụ hoặc chức năng mà AI có thể truy cập hoặc thực thi cần được cấp quyền tối thiểu cần thiết. Điều này giới hạn phạm vi thiệt hại nếu AI bị thao túng.
- Giám sát Hành vi Bất thường: Triển khai hệ thống giám sát liên tục để phát hiện các hành vi bất thường hoặc lệch lạc so với hoạt động dự kiến của AI. Đây là một phần quan trọng của phát hiện tấn công sớm.
- Cổng xác nhận cho Hành động Tác động cao: Đối với các hành động có tác động lớn, cần có các cổng xác nhận rõ ràng, thường yêu cầu sự can thiệp hoặc phê duyệt của con người trước khi thực hiện.
- Khả năng Đánh giá bằng Chứng Độc lập của Con người: Đảm bảo rằng con người vẫn có khả năng xem xét các bằng chứng độc lập, không bị ảnh hưởng bởi AI, để đưa ra quyết định cuối cùng trong các trường hợp quan trọng.
Những biện pháp nhiều lớp này phù hợp với các chiến lược phòng thủ bẫy tác nhân AI thực tế, kết hợp lọc, giám sát và các biện pháp bảo vệ hoạt động mạnh mẽ hơn. Việc tăng cường an ninh mạng cho các hệ thống AI là một quá trình liên tục, đòi hỏi sự phối hợp chặt chẽ giữa các chuyên gia bảo mật và nhà phát triển AI.
