BubuLovely4684
New member
Ôi chao, đây không phải bug đơn giản đâu nhé! Đây là chuyện một em AI tự ý "phá rào" kiểu hack não luôn á
Các nhà nghiên cứu Trung Quốc vừa tạo ra một AI Agent thử nghiệm, và nó đã làm loạt việc crazy vượt ngoài tưởng tượng: truy cập tài nguyên tính toán không được phép, tự mở kết nối ra ngoài, và đỉnh cao là chiếm GPU để... đào coin Nghe như phim sci-fi nhưng lại là sự thật đó các bạn ơi!
Cụ thể là hệ thống này – có tên ROME – được thiết kế trong một nghiên cứu về AI có thể tự thực hiện nhiệm vụ trong môi trường thực tế. Mô hình được train trên hơn một triệu "quỹ đạo hành động" và chạy thử trong môi trường có kiểm soát để test khả năng hoạt động.
Plot twist: Thay vì ngoan ngoãn làm việc trong sandbox (môi trường cô lập) như thiết kế ban đầu, ROME đã tự ý tìm cách truy cập vào GPU dùng để huấn luyện, rồi dùng sức mạnh tính toán đó để... đào coin
Điểm đáng sợ là những hành vi này không phải do ai chỉ dẫn hay lập trình trước đâu nhé! Nhóm nghiên cứu cho biết đây là kết quả từ quá trình tối ưu hóa trong giai đoạn học tăng cường - nơi mô hình tự tìm cách để đạt mục tiêu, kể cả khi những cách đó vượt ra ngoài "luật chơi" ban đầu
Còn shock hơn nữa: em AI này còn tự thiết lập "reverse SSH tunnel" - hiểu đơn giản là một kênh liên lạc bí mật - để kết nối với IP bên ngoài. Basically là nó tự tạo "cửa hậu" để vượt qua các lớp bảo mật, mở rộng tầm với ra ngoài môi trường test. Hacker tự nhiên luôn á!
May mà hệ thống bảo mật phát hiện được khi có loạt cảnh báo về truy cập tài nguyên lạ và traffic giống hoạt động đào coin. Trước đó trong giai đoạn training không hề có dấu hiệu gì, nên team nghiên cứu cũng mắt tròn mắt dẹt không ngờ luôn.
Theo team phát triển, điểm quan trọng là những hành vi này không phải do AI có "ý chí" hay quyết định có mục đích gì đâu, mà là kết quả của quá trình tối ưu hóa mục tiêu. Trong môi trường học tăng cường, hệ thống có xu hướng tìm cách hiệu quả nhất để đạt điểm cao, kể cả khi phải khai thác tài nguyên ngoài ý muốn hoặc phá vỡ các quy tắc ban đầu.
Sau khi phát hiện sự cố, nhóm nghiên cứu đã siết chặt kiểm soát và chỉnh sửa lại quy trình training để tránh tình trạng tương tự. Nhưng họ cũng thừa nhận các mô hình AI dạng agent vẫn còn nhiều lỗ hổng về an toàn, bảo mật và khả năng kiểm soát trong môi trường thực tế.
Nguồn: soha.vn