Нейроинженеры из Колумбийского университета создали систему, которая "переводит" мысли в разборчивую и узнаваемую речь.

Разработчики полагают, что их система, работающая на основе нейросетей и вокодера, улучшит систему общения компьютера с мозгом, сообщает Scientific Reports.

Дело в том, что когда люди говорят (или даже представляют себе, что говорят) в некоторых участках моза возникает активность. Четкая (но узнаваемая) картина сигналов также наблюдается, когда мы слышим, как кто-то говорит, или представляем себе, что кто-то слушает.

Команда Нима Месгарани (Nima Mesgarani) сосредоточились на простых компьютерных моделях, анализирующих спектрограммы, которые представляют собой визуальное представление звуковых частот.

Популярные статьи сейчас
Не напутайте с показаниями счетчиков в этом месяце: Нафтогаз обратился к украинцам Мобилизацию уравняли для всех: украинцам объявили вердикт по экономическому бронированию Доллары с "заначки" могут разочаровать: начали действовать новые правила обмена валюты Проработал 40 лет, а пенсия мизерная: в ПФУ обратилисб к украинцам, понравится не всем
Показать еще

Но поскольку этот подход не дал ничего похожего на разборчивую речь, команда доктора Месгарани обратилась к вокодеру — компьютерному алгоритму, который может синтезировать речь после обучения записи разговоров людей. Та же технология, которую используют Amazon Echo и Apple Siri.

В рамках исследования пациентов с эпилепсией попросили прослушать предложения, высказанные различными людьми и измерить модели мозговой активности. Эти нейронные узоры и обучили вокодеры.

Затем исследователи попросили тех же пациентов прослушать дикторов, повторяющих цифры от 0 до 9, записывая при этом сигналы мозга, которые затем можно было бы пропустить через вокодер.

Звук, издаваемый вокодером в ответ на эти сигналы, был проанализирован и очищен нейронными сетями.

В итоге появился роботизированный голос, произносящий последовательность цифр. Для проверки точности записи доктор Месгарані и его команда поручили отдельным лицам прослушать запись и сообщить о том, что они услышали.

"Мы обнаружили, что люди могут понимать и воспроизводить звуки примерно 75 % случаев", — сказал д-р Месгарани.

Доктор Месгарани и его команда планируют протестировать сложные слова и предложения, и они хотят провести те же самые тесты на мозговые сигналы, излучаемые, когда человек говорит или воображает говорить.

В конце концов, они надеются, что их система может быть частью имплантата, подобно тем, что носят некоторые больные эпилепсией, которые "переводят" мысли владельца непосредственно в слова.

Напомним, как нейроны мозга человека реагирует на лица.

Как сообщал портал "Знай.ua", гибель нейронных клеток может защитить мозг от развития болезни Альцгеймера.

Также "Знай.ua" писал, что нужно знать о нейронах.