Ізраїльські науковці створили ШІ для реконструкції побачених зображень
Інститут Вейцмана представив Brain-IT — ШІ-модель, що реконструює побачені людиною зображення за даними фМРТ.
Дослідники Інституту науки Вейцмана в Ізраїлі розробили модель штучного інтелекту Brain-IT, яка за даними функціональної магнітно-резонансної томографії здатна реконструювати зображення, які людина бачила під час сканування. Модель також може прогнозувати, який вигляд матиме мозкове сканування, якщо людині показати конкретну картинку.
Як працює Brain-IT
Як повідомляє CNET, Brain-IT аналізує дані фМРТ — методу, що відстежує зміни кровотоку та рівня кисню в мозку для вимірювання його активності. Алгоритм виявляє закономірності між активністю різних ділянок мозку та зображеннями, які переглядала людина.
Модель навчали на тисячах сканувань із відкритого набору Natural Scenes Dataset. Дані отримали від восьми добровольців, яким під час сканування показували певні зображення. Дослідники виділили 128 функціональних ділянок мозку: за словами керівниці роботи, професорки Міхаль Ірані, частина з них активується, коли людина бачить їжу, інші — під час перегляду спортивних сцен.
Швидкість і обмеження технології
За оцінкою команди Інституту Вейцмана, Brain-IT потребує лише однієї години даних фМРТ від нового учасника, щоб досягти результатів, для яких іншим методам потрібно близько 40 годин записів. Розробники заявляють, що модель точніше відтворює зміст, композицію та кольори зображень, хоча отримані реконструкції не є ідентичними оригіналам.
Наразі технологія не зчитує думки, спогади чи мовлення: вона відновлює сцену на основі мозкової активності людини, яка в цей момент дивиться на зображення. Її застосування також обмежене необхідністю проходити фМРТ у томографі та добровільною участю людини.
Науковці вивчають можливість отримувати подібні результати за допомогою простішого електроенцефалографічного пристрою. Надалі команда планує перевірити роботу методу з аудіоінформацією. Ірані також припустила, що в перспективі дослідження можуть наблизити декодування сновидінь, однак для цього потрібно розв’язати проблему обробки відеоряду, адже фМРТ-сканування триває близько двох хвилин, тоді як зображення змінюються десятки разів щосекунди.
