Был разработан декодер на основе ИИ, который может преобразовывать мозговую активность в непрерывный поток текста, что является прорывом - впервые позволяет неинвазивно читать мысли человека.

Декодер смог реконструировать речь со сверхъестественной точностью. Процесс шел по такому алгоритму: люди воспринимали текст на слух, представляли происходящее, а данные с мозга сканировались на МРТ. Нововведение состоит в том, что данная система не требует никаких хирургических имплантатов, а это значит, что новая технология открывает перспективы для новых способов по восстановлению речи у пациентов после инсульта или болезни двигательных нейронов.

Нейробиолог доктор Александр Хут, руководивший работой в Техасском университете в Остине, рассказал: «Мы были в некотором роде шокированы тем, что это работает так хорошо, как работает. Это результат моих 15-летних изысканий, и он захватывающий».

Новое открытие заключается в том, что удалось преодолеть фундаментальное ограничение МРТ и стало возможным отображать активность мозга с невероятной до сего времени точностью. Хотя пока и существует временная задержка, которая делает невозможным отслеживание активности в режиме реального времени. Происходит это по той причине, что МРТ демонстрирует реакцию кровотока человека на активность его мозга. Она достигает пика и возвращается к исходному уровню через 10 сек, и сегодня даже мощнейший сканер не способен это улучшить.

Это жесткое ограничение препятствует способности интерпретировать активность мозга в ответ на естественную речь, поскольку дает «мешанину информации», распространяющуюся в течение нескольких секунд.

Однако появление больших языковых моделей — типа ИИ, лежащего в основе ChatGPT OpenAI, — открыло новый путь. Эти модели способны представлять в цифрах семантическое значение речи, позволяя ученым смотреть, какие модели нейронной активности соответствовал строкам слов с определенным значением, а не пытался прочитать действие слово за словом.

Процесс обучения был интенсивным: от трех добровольцев требовалось лежать в сканере по 16 часов каждый, слушая подкасты. Декодер был обучен сопоставлять активность мозга со значением, используя большую языковую модель GPT-1, предшественницу ChatGPT.

Позже тех же участников сканировали, слушая новую историю или воображая, что она рассказывает историю, а декодер использовался для генерации текста только на основе мозговой активности. Примерно в половине случаев текст точно — а иногда и точно — соответствовал предполагаемому значению исходных слов.

«Наша система работает на уровне идей, семантики, значения», — сказал Хут. - Вот почему мы получаем не точные слова, а суть».

Понравилась эта новость? Подпишись на нас в соцсетях!