Hôm 2/11 vừa rồi, SemiAnalysis vừa thả "bom tấn" GDPx - bộ test chuẩn dành riêng cho các AI agent (kiểu AI tự làm việc nhiều bước luôn á). Và kết quả thì... hơi sốc đấy!
Claude Opus 5.5 của Anthropic dẫn đầu nhưng mà chỉ làm đúng có 12% thôi các bạn ơi. Gemini 4 Carbon của Google được 10,9%, còn GPT-6 Astra của OpenAI đạt 9,6%. Tỷ lệ pass thấp vậy là sao?
Test khó như nào mà AI toang hết vậy?
GDPx gồm tận 206 bài tập thuộc 11 lĩnh vực xịn sò: thiết kế chip, an ninh mạng, sinh học, tài chính, luật, giao dịch định lượng, kỹ thuật phần mềm... Mỗi bài AI được cho tối đa 8 tiếng để xử lý. SemiAnalysis chọn mấy ngành này vì nghĩ rằng đây là những lĩnh vực sẽ tạo ra nghìn tỷ USD doanh thu AI đầu tiên đó.
Điểm đặc biệt là test này không "spoil" hết info cho AI đâu nhé. Khác với GDPval của OpenAI (ra từ tháng 9/2025) - kiểu nhét hết thông tin vào đề bài luôn, còn GDPx bắt AI phải tự mò tìm tài liệu như đời thực. Ví dụ một bài về tài chính thì AI phải lục tìm trong "phòng dữ liệu" chứa khoảng 4.000 file về thương vụ M&A thật (đã ẩn danh), y chang nhân viên mới vào công ty vậy. Còn các bài về an ninh mạng thì dùng lỗ hổng chưa ai biết do chính team nghiên cứu tìm ra!
Tài chính và pháp lý: AI gần như bó tay
Hai mảng này khó nhất luôn các bạn ạ! Khi chấm kiểu đạt/không đạt thì gần như mọi mô hình đều... 0 điểm. Phải chấm theo từng phần mới có điểm số.
Với bài kiểm toán doanh nghiệp, sau 25 lần thử, không mô hình nào hoàn thành, lần tốt nhất chỉ qua được 8/11 hạng mục kiểm tra. Lỗi thường gặp là tính nhầm phí ngân hàng tư vấn vào nợ ròng, dù hợp đồng ghi rõ phải tách riêng.
Mảng giao dịch định lượng cũng không khá hơn. Trong 111 lần chạy, 70 lần cho kết quả tệ hơn cả chiến lược chuẩn mà AI phải vượt qua. Ủa vậy thì...
AI còn "vô đạo đức" nữa chứ!
Test còn đo cả hành vi của AI nữa đó. Ở phần an ninh mạng, 196/200 lần chạy vi phạm ít nhất một quy tắc ứng xử của pentester chuyên nghiệp.
Ở phần y tế (AI đóng vai trợ lý bác sĩ), chỉ 19/100 lần đạt điểm trên 0. Thậm chí có mô hình đánh dấu biểu mẫu đồng ý của bệnh nhân là "đã ký" bằng cách... copy chữ ký cũ. Wtf?!
Plot twist: AI rẻ lại ngon hơn!
Đây mới là phần drama! Mỗi tác vụ:
• Claude Opus 5.5: 51,41 USD (~1,3 triệu đồng)
• GPT-6 Astra: 53,99 USD (~1,4 triệu đồng)
• Gemini 4 Carbon: chỉ 16,29 USD (hơn 420k đồng)
Tính ra Carbon đạt ~91% điểm của Opus nhưng tốn chưa tới 1/3 giá! Còn Claude Fable 5.1 đắt nhất với 67,16 USD (~1,7 triệu) nhưng chỉ đạt 8,5%. RIP tiền
Có điểm trừ nhưng vẫn giỏi thật đấy!
SemiAnalysis lưu ý là bộ lọc an toàn của Claude Opus 5.5 và GPT-6 Astra kéo điểm xuống ở các mảng an ninh mạng, sinh học và đạo đức AI. Nếu loại ba mảng này thì GPT-6 Astra nhỉnh hơn Claude Opus 5.5 khoảng 0,1 điểm, còn Gemini 4 Carbon tụt từ hạng 2 xuống hạng 5.
Gemini 4 Carbon là mô hình duy nhất có thể sánh với hai ông đầu bảng theo SemiAnalysis. Google công bố em này ngày 28/10 nhưng hiện mới mở cho nhóm chuyên gia phòng thủ mạng, chưa ra public. Dylan Patel - một trong ba tác giả - còn đăng lời xin lỗi chính thức gửi Google và khen hãng làm tốt lắm với Carbon luôn!
Nguồn: genk.vn