Nghe vô lý nhưng có thật đó các bạn ơi! Những kỹ năng mà chúng ta thuộc nằm lòng từ hồi còn đi học mẫu giáo giờ lại đang làm khó các "anh tài" AI rần rần
Hội nhà nghiên cứu tại Đại học Edinburgh vừa "tra tấn" một loạt AI đình đám nhất hiện nay bằng cách... bắt chúng xem giờ và đọc lịch. Nghe đơn giản phết nhỉ?
Những cái tên được gọi lên bàn thí nghiệm bao gồm toàn hàng khủng: Gemini 2.0 của Google DeepMind, Claude 3.5 Sonnet của Anthropic, Llama 3.2-11B-Vision-Instruct của Meta, Qwen2-VL7B-Instruct của Alibaba, MiniCPM-V-2.6 của ModelBest, cùng với GPT-4o và GPT-o1 của OpenAI.
Các nhà nghiên cứu cho AI xem đủ loại đồng hồ: từ có chữ số La Mã, có kim giây hay không, mặt đồng hồ đủ màu sắc lung linh... Và kết quả? Chấn động thiệt luôn!
Đám AI này chỉ đọc đúng giờ... chưa tới 25% số lần thử. Tức là sai hơn 3/4 đó nha! Đặc biệt là với đồng hồ chữ số La Mã và kim kiểu dáng fancy thì toang nặng.
Plot twist là việc bỏ kim giây đi cũng chẳng giúp cải thiện gì cả 
Các nhà nghiên cứu cho rằng vấn đề là AI không hiểu cách nhận diện vị trí kim đồng hồ và tính góc mà các kim tạo ra trên mặt đồng hồ.
Chuyển sang thử nghiệm với lịch, các nhà nghiên cứu hỏi những câu kiểu: "Ngày đầu năm mới rơi vào thứ mấy?" hay "Ngày thứ 153 của năm là ngày nào?". Thế mà ngay cả những AI xịn xò nhất vẫn sai tới 20% câu hỏi về lịch
Mỗi model cho ra kết quả khác nhau luôn nha. Gemini 2.0 dẫn đầu trong bài test đồng hồ, còn GPT-o1 đạt 80% độ chính xác với câu hỏi về lịch.
"Hầu hết mọi người có thể xem giờ và sử dụng lịch từ tấm bé. Phát hiện của chúng tôi cho thấy một khoảng cách đáng kể trong khả năng của AI khi thực hiện những kỹ năng khá cơ bản của con người", trưởng nhóm nghiên cứu Rohit Saxena từ Trường Tin học của Đại học Edinburgh nói.
"Những hạn chế này cần được khắc phục nếu các hệ thống AI muốn được tích hợp thành công vào các ứng dụng thực tế yêu cầu tính chính xác về thời gian, chẳng hạn như lập lịch, tự động hóa và công nghệ hỗ trợ", vị này cho hay.
Aryo Gema, một nhà nghiên cứu khác từ Trường Tin học của Đại học Edinburgh, nhận xét: "Nghiên cứu AI ngày nay thường tập trung vào các nhiệm vụ suy luận phức tạp, nhưng trớ trêu thay, nhiều hệ thống vẫn gặp khó khăn với những nhiệm vụ đơn giản và quen thuộc hàng ngày".
Nghiên cứu này đã qua bình duyệt và sẽ được trình bày tại hội thảo Reasoning and Planning for Large Language Models trong khuôn khổ Hội nghị Quốc tế lần thứ 13 về Learning Representations (ICLR), diễn ra tại Singapore vào ngày 28 tháng 4 tới đây. Hiện giờ các bạn đã có thể đọc trên arXiv rồi nha
Và đây không phải là lần đầu AI bị "bóc phốt" đâu các bạn ạ! Trung tâm Báo chí Kỹ thuật số Tow từng nghiên cứu tám công cụ tìm kiếm AI và phát hiện chúng đưa ra thông tin sai tới 60% trường hợp. Đỉnh cao nhất là Grok-3, với tỷ lệ sai lên tới... 94% luôn
Nguồn: kenh14.vn
Hội nhà nghiên cứu tại Đại học Edinburgh vừa "tra tấn" một loạt AI đình đám nhất hiện nay bằng cách... bắt chúng xem giờ và đọc lịch. Nghe đơn giản phết nhỉ?
Những cái tên được gọi lên bàn thí nghiệm bao gồm toàn hàng khủng: Gemini 2.0 của Google DeepMind, Claude 3.5 Sonnet của Anthropic, Llama 3.2-11B-Vision-Instruct của Meta, Qwen2-VL7B-Instruct của Alibaba, MiniCPM-V-2.6 của ModelBest, cùng với GPT-4o và GPT-o1 của OpenAI.
Các nhà nghiên cứu cho AI xem đủ loại đồng hồ: từ có chữ số La Mã, có kim giây hay không, mặt đồng hồ đủ màu sắc lung linh... Và kết quả? Chấn động thiệt luôn!
Đám AI này chỉ đọc đúng giờ... chưa tới 25% số lần thử. Tức là sai hơn 3/4 đó nha! Đặc biệt là với đồng hồ chữ số La Mã và kim kiểu dáng fancy thì toang nặng.
Plot twist là việc bỏ kim giây đi cũng chẳng giúp cải thiện gì cả
Các nhà nghiên cứu cho rằng vấn đề là AI không hiểu cách nhận diện vị trí kim đồng hồ và tính góc mà các kim tạo ra trên mặt đồng hồ.Chuyển sang thử nghiệm với lịch, các nhà nghiên cứu hỏi những câu kiểu: "Ngày đầu năm mới rơi vào thứ mấy?" hay "Ngày thứ 153 của năm là ngày nào?". Thế mà ngay cả những AI xịn xò nhất vẫn sai tới 20% câu hỏi về lịch
Mỗi model cho ra kết quả khác nhau luôn nha. Gemini 2.0 dẫn đầu trong bài test đồng hồ, còn GPT-o1 đạt 80% độ chính xác với câu hỏi về lịch.
"Hầu hết mọi người có thể xem giờ và sử dụng lịch từ tấm bé. Phát hiện của chúng tôi cho thấy một khoảng cách đáng kể trong khả năng của AI khi thực hiện những kỹ năng khá cơ bản của con người", trưởng nhóm nghiên cứu Rohit Saxena từ Trường Tin học của Đại học Edinburgh nói.
"Những hạn chế này cần được khắc phục nếu các hệ thống AI muốn được tích hợp thành công vào các ứng dụng thực tế yêu cầu tính chính xác về thời gian, chẳng hạn như lập lịch, tự động hóa và công nghệ hỗ trợ", vị này cho hay.
Aryo Gema, một nhà nghiên cứu khác từ Trường Tin học của Đại học Edinburgh, nhận xét: "Nghiên cứu AI ngày nay thường tập trung vào các nhiệm vụ suy luận phức tạp, nhưng trớ trêu thay, nhiều hệ thống vẫn gặp khó khăn với những nhiệm vụ đơn giản và quen thuộc hàng ngày".
Nghiên cứu này đã qua bình duyệt và sẽ được trình bày tại hội thảo Reasoning and Planning for Large Language Models trong khuôn khổ Hội nghị Quốc tế lần thứ 13 về Learning Representations (ICLR), diễn ra tại Singapore vào ngày 28 tháng 4 tới đây. Hiện giờ các bạn đã có thể đọc trên arXiv rồi nha
Và đây không phải là lần đầu AI bị "bóc phốt" đâu các bạn ạ! Trung tâm Báo chí Kỹ thuật số Tow từng nghiên cứu tám công cụ tìm kiếm AI và phát hiện chúng đưa ra thông tin sai tới 60% trường hợp. Đỉnh cao nhất là Grok-3, với tỷ lệ sai lên tới... 94% luôn
Nguồn: kenh14.vn