Нейроинженеры из Колумбийского университета создали систему, которая "переводит" мысли в разборчивую и узнаваемую речь.

Разработчики полагают, что их система, работающая на основе нейросетей и вокодера, улучшит систему общения компьютера с мозгом, сообщает Scientific Reports.

Дело в том, что когда люди говорят (или даже представляют себе, что говорят) в некоторых участках моза возникает активность. Четкая (но узнаваемая) картина сигналов также наблюдается, когда мы слышим, как кто-то говорит, или представляем себе, что кто-то слушает.

Команда Нима Месгарани (Nima Mesgarani) сосредоточились на простых компьютерных моделях, анализирующих спектрограммы, которые представляют собой визуальное представление звуковых частот.

Популярные статьи сейчас

Какой праздник 23 октября: чего нельзя делать в этот день

Тимошенко затеяла большую чистку в "Батькивщине": под нож пошли не зарплаты, а...

Беда Заворотнюк задела бывшего "Моей прекрасной няни": с Жигуновым случилось непоправимое

Не стало сына Пугачевой и Киркорова: как Примадонна пережила огромную потерю

Показать еще

Но поскольку этот подход не дал ничего похожего на разборчивую речь, команда доктора Месгарани обратилась к вокодеру — компьютерному алгоритму, который может синтезировать речь после обучения записи разговоров людей. Та же технология, которую используют Amazon Echo и Apple Siri.

В рамках исследования пациентов с эпилепсией попросили прослушать предложения, высказанные различными людьми и измерить модели мозговой активности. Эти нейронные узоры и обучили вокодеры.

Затем исследователи попросили тех же пациентов прослушать дикторов, повторяющих цифры от 0 до 9, записывая при этом сигналы мозга, которые затем можно было бы пропустить через вокодер.

Звук, издаваемый вокодером в ответ на эти сигналы, был проанализирован и очищен нейронными сетями.

В итоге появился роботизированный голос, произносящий последовательность цифр. Для проверки точности записи доктор Месгарані и его команда поручили отдельным лицам прослушать запись и сообщить о том, что они услышали.

"Мы обнаружили, что люди могут понимать и воспроизводить звуки примерно 75 % случаев", — сказал д-р Месгарани.

Доктор Месгарани и его команда планируют протестировать сложные слова и предложения, и они хотят провести те же самые тесты на мозговые сигналы, излучаемые, когда человек говорит или воображает говорить.

В конце концов, они надеются, что их система может быть частью имплантата, подобно тем, что носят некоторые больные эпилепсией, которые "переводят" мысли владельца непосредственно в слова.

Напомним, как нейроны мозга человека реагирует на лица.

Как сообщал портал "Знай.ua", гибель нейронных клеток может защитить мозг от развития болезни Альцгеймера.

Также "Знай.ua" писал, что нужно знать о нейронах.