Разработанный компанией Meta ИИ в будущем можно будет использовать для помощи тысячам людей, которые не могут общаться с помощью речи, набора текста или жестов. Сюда входят пациенты в минимальном сознании, с синдромом "запертого внутри" или в вегетативном состоянии.

Большинство существующих технологий, помогающих таким людям общаться, требуют рискованных операций на головном мозге для имплантации электродов. Новый подход "может обеспечить жизнеспособный способ помочь пациентам с дефицитом общения… без использования инвазивных методов", — говорит нейробиолог Жан-Реми Кинг, исследователь в Meta AI, в настоящее время работающий в Высшей нормальной школе в Париже.

Кинг и его коллеги обучили вычислительный инструмент распознавать слова и предложения с помощью 56 000 часов записей речи на 53 языках. Инструмент, также известный как языковая модель, научился понимать язык как на уровне деталей —  букв или слогов — так и шире, на уровне слов или предложений.

Команда применила ИИ с этой языковой моделью к базам данных из четырех учреждений, которые включали мозговую активность 169 добровольцев. Участники слушали различные истории и предложения, например, из повести "Старик и море" Эрнеста Хемингуэя и книги "Приключения Алисы в стране чудес" Льюиса Кэрролла, в то время как их мозг сканировался с помощью магнитоэнцефалографии (МЭГ) или электроэнцефалографии (ЭЭГ). Эти методы измеряют магнитную или электрическую составляющую сигналов мозга.

Затем с помощью вычислительного метода команда попыталась расшифровать то, что участники слышали, используя всего три секунды данных об активности мозга каждого человека. Команда поручила ИИ сопоставить звуки речи из записей рассказов с моделями активности мозга. Затем алгоритм делал прогнозы о том, что человек мог слышать в течение этого короткого времени.

Исследователи обнаружили, что при использовании МЭГ в 73 процентах случаев правильный ответ содержался в первых 10 предположениях ИИ. С ЭЭГ это значение упало не более чем на 30 процентов.

Несмотря на довольно хороший результат, ученые не очень оптимистичны в отношении практического использования метода. Причина в том, что для магнитоэнцефалографии требуется громоздкая и дорогая машина. Использование этой технологии в клиниках потребует научных инноваций, которые сделают машины дешевле и проще в использовании.

Также важно понять, что на самом деле означает "расшифровка" в этом исследовании, говорит Джонатан Бреннан, лингвист из Мичиганского университета в Анн-Арборе. Это слово часто используется для описания процесса расшифровки информации непосредственно из источника — в данном случае речи из мозговой активности. Но ИИ мог сделать это только потому, что ему был предоставлен конечный список возможных правильных ответов. "С языком это не поможет, если мы хотим масштабировать его до практического использования, потому что язык бесконечен", — говорит Бреннан.

"Производительность ИИ была выше того, что многие люди считали возможным на данном этапе", — говорит Джованни Ди Либерто, ученый в области вычислительной техники из Тринити-колледжа в Дублине, который не участвовал в исследовании. Однако, по словам ученого, ИИ декодировал информацию об участниках, пассивно слушающих аудио, что не имеет прямого отношения к невербальным пациентам. Чтобы он стал значимым инструментом коммуникации, ученым необходимо научиться расшифровывать по активности мозга то, что эти пациенты намереваются сказать, включая выражение голода, дискомфорта или простое "да" или "нет".

Новое исследование — это "расшифровка восприятия речи, а не производства", соглашается Кинг. Хотя распознавание продуктивной речи является конечной целью, на данный момент "мы довольно далеки".

Исследование было опубликовано на сайте arXiv Корнелльского университета.