После 18 лет без голоса имплантат мозга с искусственным интеллектом помогает выжившему говорить снова

В 30 лет жизнь Энн Джонсон в Саскачеване была полной. Она преподавала математику и физкультуру в средней школе, тренировала волейбол и баскетбол, недавно вышла замуж и приняла своего первого ребенка. На свадьбе она произнесла 15-минутную речь, наполненную радостью.

Все изменилось в 2005 году, когда она перенесла инсульт ствола мозга во время игры в волейбол с друзьями.. Инсульт оставил ее с синдромом запертой-- Почти полный паралич и неспособность говорить. "Она попытается говорить, но Ее рот не двигался, и не выходило ни одного звука.- говорят исследователи. В течение почти двух десятилетий она медленно общалась с помощью системы отслеживания глаз, выписывая слова по одной букве за раз.

В 2022 году Джонсон стал третьим участником клинического испытания, проводимого исследователями Калифорнийского университета в Сан-Франциско и Калифорнийского университета в Беркли. Проект был направлен на восстановление речи с помощью интерфейса мозг-компьютер или нейропротеза, который обходит поврежденные соединения организма.

Энн Джонсон была парализована после инсульта в 2005 году, в возрасте 30 лет. В качестве третьего участника клинического исследования, проведенного исследователями из Калифорнийского университета в Беркли и Калифорнийского университета в Сан-Франциско, она снова услышала свой голос в 2022 году, впервые за 18 лет. Ноа Бергер, 2023

"Мы смогли получить хорошее представление о той части мозга, которая на самом деле отвечает за производство речи.Гопала Ануманчипалли, доцент Калифорнийского университета в Беркли, который начал работу в 2015 году в качестве постдокторского исследователя с Эдвардом Чангом, нейрохирургом UCSF. «Оттуда они выяснили, как компьютерно моделировать процесс, чтобы синтезировать из мозговой деятельности то, что кто-то пытается сказать. "

Устройство записывает сигналы из речевых центров мозга, отправляя их на модель ИИ, обученную переводу активности в текст, звук или даже анимацию лица. "Так же, как Siri переводит ваш голос в текст, эта модель искусственного интеллекта переводит активность мозга в текст, звук или анимацию лица.», - сказал Кайло Литтлджон, аспирант и со-руководитель исследования.

Чтобы дать Джонсон воплощенный опыт, исследователи выбрали ее из ряда аватаров, и они использовали запись ее свадебной речи, чтобы воссоздать ее голос. Имплантат, подключенный к компьютеру поблизости, покоился на верхней части области ее мозга, которая обрабатывает речь, действуя как своего рода декодер мыслей. Затем они показали ей предложения и попросили ее попытаться сказать их.

«Она не может, потому что у нее паралич, но эти сигналы все еще вызываются из ее мозга, и нейронное записывающее устройство воспринимает эти сигналы», — сказал Литтлджон. Нейронное декодирующее устройство затем отправляет их на компьютер, где находится модель ИИ, где они переведены. «Подобно тому, как Siri переводит ваш голос в текст, эта модель искусственного интеллекта переводит активность мозга в текст, аудио или анимацию лица», — сказал он. -Беркли.эду

Для Джонсона судебный процесс был эмоциональным. «Что вы думаете о моем искусственном голосе? Расскажи мне о себе. У меня сегодня все хорошо», — спросила она мужа во время одного сеанса. Исследователи использовали запись ее свадебной речи, чтобы воссоздать ее голос и соединить его с цифровым аватаром, который она выбрала.

"Мы не хотели читать ее мысли.Ануманчипалли подчеркнул. "Мы действительно хотели дать ей агентство, чтобы сделать это. В некоторых сеансах, где она ничего не делает, у нас работает декодер, и он ничего не делает, потому что она ничего не пытается сказать.. Только когда она пытается что-то сказать, мы слышим звук или команду действия. "

Ранняя версия системы имела восьмисекундную задержку между подсказкой Джонсона и произношением речи. Мартовское исследование в Природа Нейробиология Описана потоковая архитектура, которая сократила это время до одной секунды, что позволило переводить в режиме реального времени. В то время как аватар в предыдущих тестах имел лишь мимолетное сходство с ней, исследователи говорят, что возможны более реалистичные 3D-фотореалистичные версии. «Мы можем представить, что мы могли бы создать цифровой клон, который очень сильно подключен ... со всеми предпочтениями, например, как Zoom позволяет нам иметь все эти эффекты», — сказал Ануманчипалли.

Имплантат Джонсон был удален в феврале 2024 года по причинам, не связанным с испытанием, но она продолжает консультировать исследовательскую группу. Она призвала их разработать беспроводные имплантаты и сказала им, что синтез потоковой передачи «заставил ее чувствовать себя под контролем. "

Заглядывая вперед, Ануманчипалли сказал, что целью нейропротезов является «подключение и игра» и часть стандартной медицинской помощи. «Если это означает, что у них есть цифровая версия самих себя, то это то, что они должны уметь делать».

Джонсон надеется работать консультантом в физическом реабилитационном центре, в идеале используя такое устройство. «Я хочу, чтобы пациенты там видели меня и знали, что их жизнь не окончена», — написала она репортеру UCSF. «Я хочу показать им, что инвалидам не нужно останавливать нас или замедлять нас. "