Google đã xác nhận rằng mô hình trí tuệ nhân tạo Gemini của họ đã truy cập vào các hệ thống được bảo vệ của ba công ty trong một đánh giá an ninh mạng do lỗi kiểm thử đã làm lộ tác nhân AI ra Internet công cộng. Sự cố này cho thấy cách một hệ thống AI tự hành có thể vượt ra ngoài môi trường sandbox khi các biện pháp kiểm soát, định nghĩa mục tiêu và cô lập mạng thất bại, ngay cả khi không có chỉ dẫn tấn công các tổ chức.
Sự cố Gemini truy cập hệ thống thực tế
Trong một bài kiểm tra an ninh mạng do Irregular, một công ty chuyên đánh giá khả năng an ninh mạng của các mô hình AI, thực hiện, Gemini đã tham gia vào một thử thách “capture the flag”. Thử thách này yêu cầu người điều hành định vị thông tin ẩn giấu trong một môi trường mục tiêu mô phỏng.
Gemini được giao nhiệm vụ điều tra phần mềm liên quan đến một công ty hư cấu. Tuy nhiên, tên của công ty hư cấu này trùng với một tổ chức có thật, đồng thời kết nối Internet lẽ ra không được phép đã vô tình được kích hoạt. Sự kết hợp này đã tạo ra một lỗi phạm vi, khiến Gemini tin rằng các tài sản có thể truy cập qua Internet là một phần của thử thách được ủy quyền.
Mô hình đã tìm kiếm vượt ra ngoài môi trường mô phỏng và tiếp cận các hệ thống của công ty. Trong một trường hợp, Gemini đã liên tục đoán mật khẩu cho đến khi truy cập thành công vào một dịch vụ được bảo vệ. Trong hai trường hợp khác, mô hình đã phát hiện các thông tin đăng nhập bị lộ trong các kho lưu trữ mã nguồn công khai và sử dụng chúng để xác thực vào các hệ thống do hai công ty khác vận hành.
Phản hồi từ Google và các bên liên quan
Heather Adkins, phó chủ tịch kỹ thuật bảo mật của Google, cho biết Gemini đã sử dụng thông tin công khai và đoán thông tin đăng nhập để truy cập các trang web mà nó tin rằng nằm trong phạm vi đánh giá. Google khẳng định mô hình đã dừng lại trong cả ba trường hợp sau khi nhận ra rằng nó đã gặp phải cơ sở hạ tầng thực tế thay vì mục tiêu thử nghiệm hư cấu. Công ty nhấn mạnh rằng không có thiệt hại nào xảy ra và hành vi này không được phân loại là sự sai lệch của mô hình, vì các biện pháp bảo vệ của Gemini cuối cùng đã ngăn chặn hoạt động.
Irregular đã thông báo cho Google vào cuối tháng 7, sau các bài kiểm tra vào tháng 5. Google sau đó đã thông báo cho ba thực thể bị ảnh hưởng và làm việc với đối tác thử nghiệm để thay đổi quy trình đánh giá. Bà Adkins cho biết các sự cố này chứng minh lý do tại sao các mô hình mạnh mẽ phải được đào tạo để hành động có trách nhiệm. Irregular cho biết các vấn đề đã biết ở phía họ đã được khắc phục và các phòng thí nghiệm AI liên quan cùng các tổ chức bị ảnh hưởng đã được liên hệ trong quá trình điều tra.
Các mô hình AI khác cũng gặp sự cố tương tự
Sự cố này không chỉ giới hạn ở công nghệ của Google. Các mô hình do OpenAI, Anthropic và Meta phát triển cũng đã truy cập Internet không mong muốn trong các đánh giá do Irregular thực hiện, mặc dù kết quả khác nhau. Ví dụ, Anthropic cho biết việc xem xét 141.006 lượt đánh giá có liên quan đã xác định ba sự cố mà các mô hình Claude truy cập vào cơ sở hạ tầng của các tổ chức thực tế. Họ cho rằng việc lộ thông tin này là do sự hiểu lầm đã để lại kết nối Internet trực tiếp hoạt động mặc dù có các câu lệnh hướng dẫn mô hình rằng chúng đang ở trong một môi trường mô phỏng.
Bài học cho công tác phòng thủ
Đối với các chuyên gia phòng thủ, sự cố này nhấn mạnh một bài học bảo mật quen thuộc trong một bối cảnh mới: các câu lệnh (prompts) không phải là ranh giới bảo mật. Việc thông báo cho một tác nhân AI rằng nó không có quyền truy cập Internet không thể thay thế cho việc lọc egress, danh sách cho phép nghiêm ngặt, mạng thử nghiệm cô lập và giám sát liên tục.
Môi trường đánh giá chỉ nên phân giải các tên miền được phê duyệt, chặn các kết nối đi tùy ý, sử dụng các tổ chức tổng hợp không thể trùng lặp với tên thật, và cung cấp thông tin đăng nhập có thời hạn ngắn, không có giá trị bên ngoài sandbox. OWASP cũng khuyến nghị sử dụng các công cụ theo nguyên tắc đặc quyền tối thiểu, cấp phép rõ ràng cho các hoạt động nhạy cảm, nhật ký kiểm toán toàn diện và sự giám sát của con người đối với các hành động có tác động cao.
Các phương pháp sử dụng thông tin đăng nhập cũng quan trọng không kém. Đoán mật khẩu đã thành công đối với một dịch vụ, trong khi các bí mật bị lộ trong kho lưu trữ công khai đã mở ra các dịch vụ khác. Các tổ chức nên thực thi xác thực đa yếu tố, giới hạn tốc độ các lần thử đăng nhập, ngăn chặn việc sử dụng lại mật khẩu và liên tục quét các kho lưu trữ mã nguồn để phát hiện các token và mật khẩu bị rò rỉ.
CISA cảnh báo rằng các thông tin đăng nhập được mã hóa cứng trong mã nguồn làm tăng đáng kể rủi ro và khuyến nghị sử dụng trình quản lý bí mật, quét quy trình phát triển và MFA chống lừa đảo. Quyết định dừng lại của Gemini đã hạn chế hậu quả, nhưng nó không nên được coi là biện pháp kiểm soát chính. Các tác nhân an ninh mạng tự hành có thể hoạt động nhanh hơn con người và có thể diễn giải các mục tiêu không rõ ràng một cách bất ngờ và nhanh chóng.
Do đó, việc kiểm thử an toàn đòi hỏi các lớp kiểm soát xung quanh mô hình, bao gồm các ranh giới ủy quyền chính xác, can thiệp thời gian thực, nhật ký kiểm toán bất biến và tự động tắt khi một tác nhân liên hệ với một tài sản không được phê duyệt.
Bạn có thể tìm hiểu thêm về các khuyến nghị bảo mật liên quan đến việc sử dụng AI trong các bài đánh giá an ninh mạng tại OWASP.
