Предыдущие декодеры языка применялись к нейронной активности, записанной после инвазивной хирургии. Существуют и технологии, позволяющие "читать мысли" без операции, но они ограничиваются расшифровкой отдельных слов и коротких фраз. Новый декодер может улавливать непрерывный поток мыслей и генерировать их в понятные последовательности слов, которые восстанавливают значение воспринимаемой речи, воображаемой речи и даже видео.

Технология основана на данных функциональной МРТ (фМРТ) мозга. Сперва авторы исследования записали данные фМРТ от трех человек, которые слушали 16-часовые истории, чтобы научить модель отображать активность мозга и семантические особенности, фиксирующие значения определенных фраз и связанных с ними ответов мозга. Затем эта модель была протестирована на реакциях мозга участников, когда они слушали новые истории, которые не использовались в исходном наборе обучающих данных.

В результате декодер научился генерировать последовательности слов, которые улавливали значения новых историй, а также некоторые точные слова и фразы из рассказов. Авторы обнаружили, что декодер может вывести непрерывную речь на основе активности в большинстве областей мозга, которые обрабатывают язык.

Также ученые выяснили, что технология, обученная восприятию речи, способна предсказать смысл воображаемой истории участника или содержание просмотренного немого фильма по данным фМРТ. Когда человек активно слушал одну историю, игнорируя параллельно звучащий второй рассказ, декодер мог определить значение той истории, которую слушали внимательнее.

Руководитель исследования Александр Хут и соавторы провели анализ конфиденциальности декодера и обнаружили, что, когда он был обучен на данных фМРТ одного участника, он плохо работал при прогнозировании семантического содержания данных другого человека. Авторы приходят к выводу, что сотрудничество участников имеет решающее значение для обучения и применения этих неинвазивных декодеров. Однако они отмечают, что в зависимости от будущего развития этих технологий, может потребоваться политика защиты конфиденциальности личных данных.

Статья была опубликована в журнале Nature Neuroscience.