Khách hàng của Amazon Web Services (AWS) trên toàn thế giới đã trải qua một sự bất ngờ lớn khi AWS Billing Console, cùng với Cost Management Console và Cost Explorer, bắt đầu hiển thị các ước tính chi phí đám mây cao bất thường. Sự kiện này đã khiến nhiều tổ chức phải đối mặt với các con số dự kiến không tưởng.
Một số doanh nghiệp đã báo cáo hóa đơn ước tính hàng tháng đạt tới hàng nghìn tỷ đô la. Điều này không chỉ gây ra hàng loạt cảnh báo ngân sách tự động mà còn dấy lên những lo ngại nghiêm trọng về khả năng sử dụng tài nguyên AWS trái phép. Tình huống này nhanh chóng trở thành tâm điểm chú ý trong cộng đồng người dùng AWS toàn cầu.
Phản ứng ban đầu và xác nhận chính thức từ AWS
Vấn đề này đã nhanh chóng lan rộng và gây ra nhiều phản ứng mạnh mẽ trên mạng xã hội, đặc biệt là trên nền tảng X (trước đây là Twitter). Khách hàng đã chia sẻ rộng rãi ảnh chụp màn hình về các ước tính chi phí phi lý mà họ nhìn thấy trên AWS Billing Console. Điều này cho thấy mức độ ảnh hưởng và sự hoang mang trong cộng đồng.
Nhiều người dùng mô tả việc nhận được các thông báo đáng báo động, cảnh báo rằng tổ chức của họ đột nhiên đối mặt với các khoản chi phí đám mây khổng lồ thông qua AWS Billing Console. Tuy nhiên, AWS đã nhanh chóng xác nhận và trấn an khách hàng thông qua Health Dashboard chính thức và tài khoản AWS Support trên X. Công ty đã khẳng định rằng các số liệu không chính xác này chỉ giới hạn trong dữ liệu ước tính chi phí.
AWS nhấn mạnh rằng các khoản phí thực tế và hồ sơ sử dụng đã được xác minh vẫn hoàn toàn không bị ảnh hưởng. Thông điệp này là cực kỳ quan trọng để khách hàng hiểu rõ bản chất của sự cố và tránh những phản ứng không cần thiết. Bản cập nhật trạng thái chi tiết được cung cấp qua một mã nhúng X:
📣 Service Update: AWS Billing Console
We are investigating issues with Cost Explorer reflecting inaccurate estimated billing data.
📊 Track status: https://health.aws.amazon.com/health/status#AWS #AWSSupport
Diễn biến sự cố và nguyên nhân sơ bộ
Theo báo cáo từ AWS, sự cố bắt đầu vào khoảng 7:38 PM PDT ngày 16 tháng 7. Ngay sau đó, các nhóm kỹ thuật của AWS đã được huy động để điều tra.
Các cập nhật ban đầu tập trung vào việc tìm hiểu lý do Cost Explorer lại phản ánh thông tin ước tính chi phí không chính xác trong AWS Billing Console. Đây là bước đầu tiên trong quá trình khắc phục sự cố nghiêm trọng này.
Trong một bản cập nhật quan trọng được công bố vào 3:03 AM PDT ngày 17 tháng 7, AWS đã chính thức thông báo về việc xác định được nguyên nhân gốc rễ. Vấn đề cốt lõi nằm ở định giá đơn vị (unit pricing) bên trong hệ thống con tính toán ước tính chi phí của họ. Đây là một chi tiết kỹ thuật quan trọng giải thích cho sự sai lệch.
Nguyên nhân gốc rễ và cơ chế ảnh hưởng đến quản lý chi phí cloud
Nguyên nhân chính thức được AWS xác định là sự cố về định giá đơn vị trong hệ thống con tính toán ước tính chi phí. Điều này có nghĩa là giá trị cơ bản dùng để nhân với khối lượng sử dụng đã bị sai lệch. Kết quả là, các ước tính chi phí hiển thị trên AWS Billing Console không phản ánh chính xác việc sử dụng thực tế và các khoản phí mà khách hàng phải chịu.
AWS Cost Explorer đóng vai trò trung tâm trong chiến lược quản lý chi phí cloud của nhiều doanh nghiệp. Đây là một công cụ mạnh mẽ giúp khách hàng hình dung rõ ràng việc sử dụng tài nguyên AWS trong quá khứ. Nó cung cấp khả năng dự báo chi tiêu trong tương lai, cho phép các tổ chức lập kế hoạch ngân sách hiệu quả hơn.
Hơn nữa, Cost Explorer giúp xác định các xu hướng chi phí theo thời gian, từ đó hỗ trợ việc tối ưu hóa tài nguyên. Tuy nhiên, công cụ này hoạt động dựa trên các phép tính giá ước tính trong một chu kỳ thanh toán nhất định, chứ không phải dữ liệu thanh toán đã hoàn tất.
Sự phân biệt này là mấu chốt để hiểu bản chất của sự cố gần đây. Các hóa đơn cuối cùng của AWS luôn được dựa trên việc sử dụng dịch vụ đã được đo lường và xác thực một cách chính xác. Do đó, mặc dù các ước tính ban đầu bị sai, các khoản phí thực tế vẫn được tính đúng.
Sự cố này dường như đã ảnh hưởng cụ thể đến lớp tạo ước tính, chứ không phải các hệ thống đo lường hoặc lập hóa đơn cơ bản của AWS. Trong thực tế, một giá trị đơn vị không chính xác đã nhân các số liệu sử dụng hợp pháp lên gấp bội. Kết quả là các khoản phí dự kiến trở nên lớn một cách phi lý, vượt xa mọi dự đoán.
Khách hàng nhanh chóng nhận ra rằng các khoản tiền dự kiến hiển thị trên AWS Billing Console là không thể xảy ra. Nhiều ước tính đã vượt quá doanh thu hàng năm hoặc giá trị thị trường của nhiều công ty lớn. Đây là một điểm mấu chốt giúp người dùng phân biệt giữa lỗi hệ thống và một cuộc tấn công thực sự.
Phản ứng của khách hàng và đánh giá rủi ro bảo mật tiềm ẩn
Sự kiện này không chỉ gây ra hoang mang mà còn làm dấy lên cuộc thảo luận sôi nổi về tác động hoạt động của các cảnh báo ngân sách AWS tự động (AWS Budgets alerts). Những cảnh báo này được thiết kế để nhanh chóng leo thang các bất thường về chi phí lên các nhóm tài chính, kỹ thuật và bảo mật, đảm bảo phản ứng kịp thời.
Mặc dù trong trường hợp này, các ước tính là sai lệch, nhưng nguyên tắc cơ bản vẫn là người dùng nên luôn coi trọng các cảnh báo chi phí AWS không mong muốn. Các đợt tăng chi phí đột ngột có thể là chỉ báo của nhiều vấn đề nghiêm trọng, không liên quan đến lỗi hệ thống thanh toán.
Các nguyên nhân phổ biến cho việc tăng chi phí đột ngột bao gồm thông tin xác thực bị xâm phạm, khi kẻ tấn công sử dụng tài khoản để triển khai tài nguyên. Khóa truy cập bị lộ cũng có thể dẫn đến việc kiểm soát tài nguyên. Hoạt động khai thác tiền điện tử (cryptomining) là một trường hợp đặc biệt nguy hiểm, nơi tài nguyên bị chiếm dụng để tạo tiền mã hóa.
Cấu hình tự động mở rộng quy mô (autoscaling) sai hoặc việc triển khai ngẫu nhiên một khối lượng công việc đòi hỏi nhiều tài nguyên cũng có thể dẫn đến tăng chi phí không mong muốn. Do đó, mỗi cảnh báo về chi phí đều cần được điều tra cẩn thận để xác định xem đó có phải là một rủi ro bảo mật thực sự hay không.
Hướng dẫn và khuyến nghị cho khách hàng AWS
AWS đã thông báo rằng họ đang tích cực nỗ lực khắc phục sự cố và cảnh báo rằng quá trình khôi phục hoàn toàn sẽ mất nhiều giờ sau khi vấn đề cấp bách được giải quyết. Điều này là do công ty phải thực hiện việc tính toán lại dữ liệu ước tính chi phí trên tất cả các tài khoản khách hàng bị ảnh hưởng, để các thông tin trên AWS Billing Console trở lại chính xác.
Trong giai đoạn này, khách hàng AWS không cần phải thực hiện bất kỳ thay đổi nào đối với tài nguyên của mình hoặc thực hiện thanh toán dựa trên các ước tính không chính xác này. Tuy nhiên, việc chủ động giám sát tài khoản vẫn là cần thiết. Các nhóm nên tiếp tục theo dõi chặt chẽ hoạt động của mình.
Để tự xác thực việc sử dụng tài nguyên, khách hàng nên kiểm tra thông qua các bảng điều khiển cấp dịch vụ riêng lẻ, xem xét hoạt động CloudTrail để phát hiện hành vi bất thường, kiểm tra AWS Config để theo dõi thay đổi cấu hình, và phân tích Báo cáo Chi phí và Sử dụng (Cost and Usage Reports).
Các nhóm bảo mật và FinOps cần đặc biệt chú ý và xác nhận rằng tất cả các cảnh báo bất thường liên quan đến chi phí biến mất sau khi AWS hoàn tất quá trình tính toán lại. Nếu mức tăng chi phí vẫn tiếp diễn sau khi sự cố AWS được giải quyết, đây là tín hiệu cảnh báo mạnh mẽ.
Trong trường hợp đó, khách hàng cần tiến hành điều tra kỹ lưỡng để tìm kiếm các hoạt động trái phép hoặc thay đổi cấu hình không mong muốn. AWS chưa cung cấp một mốc thời gian giải quyết cuối cùng nhưng cho biết sẽ đưa ra các cập nhật thêm khi quá trình khắc phục tiến triển.
Để theo dõi trạng thái cập nhật chính thức từ AWS về sự cố này, vui lòng truy cập: AWS Health Dashboard.
