Dùng một mô hình AI đang viral hiện nay, hội các nhà khoa học đã làm được chuyện nghe có vẻ sci-fi: tái tạo lại hình ảnh mà con người nhìn thấy chỉ bằng cách... quét não thôi!
Từ xưa tới giờ, các nhà khoa học thần kinh cứ mơ ước được quét não bộ con người và decode được cách đôi mắt mình nhìn thấy thế giới xung quanh như thế nào. Hiểu được điều này thì sẽ cải thiện được khả năng giao tiếp của người khuyết tật với mọi người và môi trường xung quanh nữa đó!
Giờ đây ước mơ đó đang dần thành hiện thực nhờ vào công nghệ AI đỉnh của chóp. Hồi tháng 10 năm ngoái, các phần mềm AI đã giúp các nhà khoa học quét hình ảnh não và chuyển thành văn bản rồi, giờ các mô hình AI ngôn ngữ tự nhiên còn xịn hơn nữa - tái tạo được cả hình ảnh mà mắt người nhìn thấy luôn!
Lần này các nhà khoa học dùng thuật toán từ Stable Diffusion - công cụ AI nổi tiếng với khả năng tạo ra hình ảnh từ những lời gợi ý của user (giống như Dall-E 2 và Midjourney ấy).
Trong nghiên cứu này, dựa vào hệ thống của Stable Diffusion, team các nhà thần kinh học từ trường Đại học Osaka, Nhật Bản đã train thêm cho dữ liệu của nó, liên kết các mô tả bằng văn bản về hàng nghìn bức ảnh được tạo ra từ việc quét não những người tham gia nghiên cứu khi họ xem chúng.
Điểm đặc biệt của Stable Diffusion - cũng như các mô hình AI ngôn ngữ lớn bây giờ - là khả năng học siêu nhanh dù chỉ được train trên một ít dữ liệu thôi. Đây là một bước nhảy vọt trong quá trình huấn luyện AI, giúp các nhà nghiên cứu tiết kiệm được cả tấn thời gian và công sức. Thêm nữa, nhà thần kinh học Ariel Goldstein còn cho rằng đây là cách tiếp cận mới khi có thể kết hợp cả thông tin bằng văn bản và hình ảnh để "giải mã bộ não" nữa đó!
Để thu thập được phần mô tả bằng văn bản của bộ não về hình ảnh mà đôi mắt nhìn thấy, thay vì gắn các điện cực vào não (nghe đau rồi ), giờ các nhà nghiên cứu dùng máy chụp cộng hưởng từ chức năng (fMRI) để quét và phát hiện các thay đổi trong lưu lượng máu đến các vùng hoạt động của não.
Khi mọi người xem một bức ảnh, thùy thái dương sẽ đăng ký thông tin về nội dung bức ảnh (con người, vật thể hay phong cảnh), còn thùy chẩm thì đăng ký thông tin về bố cục và phối cảnh, ví dụ như tỷ lệ hoặc vị trí của nội dung. Các thông tin này sẽ được máy fMRI ghi lại khi nó theo dõi các hoạt động đỉnh của não.
Từ thông tin mô tả bằng văn bản này, thuật toán AI của Stable Diffusion có thể chuyển hóa thành một hình ảnh mô phỏng - tương tự như cách nó đang tạo ra các hình ảnh từ những lời gợi ý của người dùng vậy. Trong nghiên cứu này, các nhà khoa học sử dụng bộ dữ liệu trực tuyến do trường đại học Minnesota cung cấp để train cho Stable Diffusion. Bộ dữ liệu này chứa thông tin quét não của 4 người tham gia thí nghiệm, mỗi người được xem tận 10.000 hình ảnh luôn!
Ban đầu mỗi hình ảnh do AI tạo ra đều bị nhiễu và sau đó chúng được thay thế bằng các đường nét có thể phân biệt được khi thuật toán của Stable Diffusion so sánh hình ảnh vừa tạo ra với các mô hình trong dữ liệu huấn luyện của nó. Nhờ vậy, hệ thống này có thể tạo ra một hình ảnh miêu tả gần đúng nội dung, bố cục và phối cảnh của hình ảnh mà người tham gia thí nghiệm đã xem.
Tuy nhiên, các nhà nghiên cứu nhận thấy thuật toán lại gặp khó khăn trong việc nhận biết đối tượng trong ảnh. Ví dụ, nó không tạo ra được hình ảnh tháp đồng hồ như trong bức ảnh, thay vào đó nó tạo ra các hình dáng được trừu tượng hóa. Vấn đề này có thể được giải quyết bằng cách sử dụng các bộ dữ liệu huấn luyện lớn hơn, tuy nhiên, các nhà nghiên cứu Nhật Bản cho biết dữ liệu từ máy fMRI quá hạn chế so với yêu cầu này.
Thay vào đó, các nhà nghiên cứu giải quyết thách thức này bằng cách bổ sung thêm các từ khóa trong phần chú thích về hình ảnh trong bộ dữ liệu fMRI của trường Minnesota. Ví dụ nếu trong một bức ảnh có chứa tháp đồng hồ, phần thông tin quét não sẽ được liên kết với đối tượng đó và sau đó dữ liệu này sẽ được nạp vào hệ thống huấn luyện của Stable Diffusion.
Điều quan trọng hơn là thuật toán của Stable Diffusion không trực tiếp tạo ra hình ảnh từ lời nhắc trong dữ liệu văn bản - nó chỉ có thể nhận ra sự xuất hiện của đối tượng trong hình ảnh nếu mô hình hoạt động của não khớp với mẫu mô hình trong dữ liệu huấn luyện. Do đó, thuật toán mới chỉ tái tạo lại các đối tượng xuất hiện trong những hình ảnh huấn luyện, thay vì các hình ảnh mới.
Để vượt qua thách thức này, những người tham gia thí nghiệm được quét não bổ sung khi xem các hình ảnh riêng biệt về đồng hồ, gấu đồ chơi, máy bay và tàu hỏa. Bằng cách so sánh các dữ liệu quét riêng biệt đó với mẫu hình ảnh xuất hiện trong bộ dữ liệu huấn luyện, thuật toán AI có thể tạo ra những hình ảnh chính xác hơn, thuyết phục hơn ngay cả khi gặp phải các hình ảnh mới. Kết quả thu được từ phương pháp này thật sự ấn tượng luôn!
Tuy nhiên, hiện tại hệ thống mới chỉ thử nghiệm với dữ liệu quét não của 4 người tham gia thí nghiệm thôi, nên để nhận diện được hình ảnh mà những người khác nhìn thấy, hệ thống này cần phải được train lại. Vì vậy sẽ phải mất thêm một thời gian nữa để hệ thống này có thể được áp dụng phổ biến.
Khi công nghệ này được phát triển đến mức độ cao hơn, các nhà nghiên cứu kỳ vọng rằng có thể ứng dụng nó vào việc khám phá cách các loài vật nhận thức về thế giới và thậm chí một ngày nào đó có thể ghi lại cả giấc mơ của con người cũng như hỗ trợ giao tiếp với người bị liệt nữa!
Tham khảo Science
Nguồn: kenh14.vn