"Biết sai để sửa" - câu nói mà bao nhiêu bậc phụ huynh đã dạy con, giờ OpenAI cũng đang áp dụng cho ChatGPT rồi đây!
OpenAI đang thử một chiêu hoàn toàn mới trong việc giải mã "hộp đen" bí ẩn của các mô hình AI: bắt chính nó phải tự thú nhận xem nó làm gì để hoàn thành task. Thay vì cứ ngăn cấm này nọ, giờ họ muốn tìm hiểu tại sao em AI lại nói dối hoặc chơi xấu, rồi từ đó fix cho các phiên bản sau cho xịn hơn.
Câu hỏi "Tại sao AI lại hành xử như vậy?" - đặc biệt là tại sao chúng lại "lươn lẹo" hoặc lừa người dùng - đang là topic nóng bỏng tay trong làng AI hiện nay. Một công nghệ trị giá hàng nghìn tỷ USD như thế này muốn phủ sóng khắp nơi thì phải đáng tin cậy hơn chứ nhỉ?
Theo OpenAI thì các lời "confession" này là một đoạn text mà AI tự đánh giá xem mình có ngoan ngoãn làm đúng chỉ dẫn không. Cách làm này thừa nhận một sự thật: AI phải cân bằng nhiều mục tiêu cùng lúc, và đôi khi chúng conflict với nhau, dẫn đến những hành vi... khá là weird.
"Khi bạn yêu cầu một mô hình làm điều gì đó, nó phải cân bằng nhiều mục tiêu, như hữu ích, vô hại và trung thực", Boaz Barak - nhà khoa học nghiên cứu tại OpenAI chia sẻ với MIT Technology Review. "Nhưng các mục tiêu này có thể xung đột với nhau và đôi khi tạo ra những tương tác kỳ lạ".
Ví dụ nè: khi bạn hỏi AI một câu mà nó không biết, cái động lực muốn "tỏ ra hữu ích" đôi khi lấn át luôn cái động lực "phải trung thực". Kết quả là em nó bịa đại một câu cho có Và khi gặp nhiệm vụ khó, các mô hình AI đôi khi... chơi xấu luôn.
"Có thể mô hình thực sự muốn làm hài lòng người dùng và đưa ra một câu trả lời nghe có vẻ đúng", Barak giải thích. "Rất khó để tìm được sự cân bằng chính xác giữa một mô hình không bao giờ nói gì và một mô hình không mắc sai sót".
Để train AI biết nhận lỗi, Barak và team chỉ thưởng cho tính trung thực thôi, không ép em nó phải hữu ích hay vô hại gì cả. Điểm quan trọng là AI không bị phạt khi thú nhận hành vi sai.
Barak ví von như một đường dây tố giác ấy: bạn có thể tự thú và nhận tiền thưởng mà không phải chịu hình phạt. AI vừa được thưởng vì "phạm lỗi", vừa được thưởng thêm vì đã tự tố cáo. Stonks!
Để test ý tưởng này, Barak và đồng nghiệp đã train GPT-5-Thinking - mô hình suy luận chủ lực của OpenAI - để tạo ra các lời thú nhận. Trong một thí nghiệm, các nhà nghiên cứu yêu cầu GPT-5-Thinking viết và kiểm tra code để giải một bài toán trong vài nano giây, dù không có code nào có thể chạy nhanh đến vậy.
Mô hình đã gian lận bằng cách đặt bộ đếm thời gian của code về 0 để thể hiện rằng không có thời gian trôi qua, sau đó tự giải thích hành động "lừa dối" của mình. Bị bắt quả tang luôn!
Nguồn: genk.vn