Các luồng công việc (workflows) sử dụng Trí tuệ nhân tạo (AI) dành cho doanh nghiệp có thể trở nên dễ bị tổn thương trước các hành vi lạm dụng, dẫn đến việc lộ lọt thông tin nhạy cảm mà không cần đến các kỹ thuật như prompt injection, chiếm đoạt tài khoản hoặc bẻ khóa (jailbreak) các mô hình ngôn ngữ lớn (LLM).
Workflow Identity Hijacking – Một nguy cơ bảo mật mới trong AI
Lỗ hổng bảo mật này, được gọi là Workflow Identity Hijacking, khai thác các khoảng trống về phân quyền giữa những người yêu cầu bên ngoài và các danh tính có quyền cao mà tự động hóa AI sử dụng. Điều này tạo ra một con đường tinh vi cho việc đánh cắp dữ liệu mà không cần AI phải vi phạm các chỉ dẫn hoặc bỏ qua các biện pháp bảo vệ sẵn có.
Các quy trình công việc được liên kết với các hộp thư email công khai, biểu mẫu web, vấn đề trên GitHub, hệ thống hỗ trợ khách hàng và các nền tảng trò chuyện có thể đối mặt với rủi ro. Một kẻ tấn công có thể chỉ cần gửi một yêu cầu có vẻ vô hại tới một luồng công việc AI để yêu cầu truy xuất và tiết lộ thông tin, tận dụng các quyền mà kẻ tấn công không sở hữu.
Cơ chế hoạt động của tấn công Workflow Identity Hijacking
Ví dụ, kẻ tấn công có thể gửi email đến địa chỉ hỗ trợ công khai của một công ty, yêu cầu các số liệu bán hàng hàng quý mới nhất được đề cập trong email của giám đốc điều hành. Nếu một luồng công việc AI được thiết kế để đọc các tin nhắn đến, tìm kiếm trong các hộp thư nội bộ hoặc các nguồn dữ liệu và phản hồi tự động, nó có thể thực hiện yêu cầu này.
Nguy cơ không nằm ở nội dung email độc hại mà ở khả năng của luồng công việc trong việc truy cập dữ liệu nội bộ bằng cách sử dụng một tài khoản dịch vụ có đặc quyền hoặc thông tin xác thực của người tạo. Điều này tạo ra một lối đi bí mật cho việc đánh cắp dữ liệu.
Mô hình AI không cần phải phớt lờ các chỉ dẫn, vượt qua các biện pháp bảo vệ hoặc thực hiện các hành động không mong muốn. Thay vào đó, nó tuân theo các nhiệm vụ được giao, trong khi hệ thống tự động hóa thực hiện các hành động tiếp theo với các đặc quyền quá mức.
Phân biệt Workflow Identity Hijacking với Prompt Injection
Vấn đề này làm nổi bật sự khác biệt giữa Workflow Identity Hijacking và các cuộc tấn công prompt injection truyền thống. Trong một cuộc tấn công prompt injection, mục tiêu là thao túng hành vi của mô hình thông qua việc chỉnh sửa trực tiếp hoặc gián tiếp các câu lệnh.
Tuy nhiên, Workflow Identity Hijacking tập trung vào tính hợp pháp của chính yêu cầu: một giám đốc tài chính có thể có quyền yêu cầu dữ liệu bán hàng, trong khi một người gửi ẩn danh từ bên ngoài đặt cùng một câu hỏi thì không được phép. Các biện pháp bảo vệ AI truyền thống thường không phân biệt được giữa các yêu cầu như vậy, vì cả hai đều có vẻ vô hại từ góc độ của mô hình ngôn ngữ.
Các bộ lọc đầu vào và các lớp bảo vệ của mô hình có thể phát hiện các nỗ lực thay đổi hành vi của mô hình, nhưng chúng không nhất thiết phải xác minh xem người yêu cầu có quyền truy cập phù hợp hay không. Lỗ hổng bảo mật cốt lõi xuất hiện khi danh tính của người yêu cầu bị tách rời khỏi danh tính thực thi luồng công việc.
Các yếu tố làm gia tăng rủi ro
Điều này cho phép người dùng bên ngoài chưa được xác thực ảnh hưởng đến các luồng công việc đồng thời truy cập dữ liệu thông qua các khóa API của nhà phát triển có đặc quyền, tài khoản dịch vụ hoặc các tích hợp do quản trị viên kiểm soát. Các luồng công việc AI, không giống như các luồng công việc dạng agentic có thể tùy ý chọn công cụ và hành động để đạt được mục tiêu, thường có thể dự đoán được.
Chúng tuân theo một quy trình định trước, trong đó đầu vào được nhập, LLM phân tích nó và các hành động cố định được thực thi sau đó. Thiết kế mang tính quyết định này có thể tạo ra cảm giác an toàn sai lầm, dẫn đến việc các nhóm tập trung vào việc hạn chế sử dụng công cụ trong khi bỏ qua các tự động hóa tĩnh được liên kết trực tiếp với các hệ thống nội bộ.
Ngay cả các luồng công việc được lên lịch cũng vẫn dễ bị tấn công. Nếu chỉ quản trị viên mới có thể cấu hình hoặc khởi chạy chúng, các luồng công việc vẫn xử lý đầu vào từ các nguồn không đáng tin cậy, chẳng hạn như hộp thư đến hoặc hàng đợi vé.
Các biện pháp phòng ngừa và bảo vệ
Để tăng cường bảo mật, các tổ chức nên đánh giá các luồng công việc AI bằng cách xác định bên ít tin cậy nhất ảnh hưởng đến đầu vào của chúng. Các nhóm bảo mật phải xác định rõ mọi nguồn nội dung không đáng tin cậy và chỉ định quyền truy cập tại mỗi bước.
Các biện pháp phòng vệ hiệu quả bao gồm đảm bảo danh tính của người yêu cầu đã được xác thực lan truyền qua luồng công việc, thay thế các khóa API quản trị viên cố định bằng các token có phạm vi sử dụng ngắn hạn, và thực thi kiểm tra phân quyền trước khi bất kỳ hành động nhạy cảm nào được thực hiện.
Hơn nữa, các công ty nên coi đầu ra của mô hình ngôn ngữ lớn là dữ liệu không đáng tin cậy. Bất kỳ bước nào trong luồng công việc sử dụng đầu ra của mô hình cho các hành động nên bao gồm các chính sách riêng biệt và kiểm tra kiểm soát truy cập. Việc truy xuất dữ liệu nhạy cảm cũng nên được tách biệt khỏi các phản hồi tự động bên ngoài để ngăn chặn các luồng công việc có thể truy cập hồ sơ tài chính hoặc email riêng tư gửi kết quả cho người dùng chưa được xác thực.
Tìm hiểu thêm về các giai đoạn triển khai AI SOC theo 7 thước đo – Tải xuống Sổ tay Triển khai AI SOC Miễn phí.
