Аватар заговорил за парализованных
Вальтер, страдающий боковым амиотрофическим склерозом — неврологическим заболеванием, которое постепенно парализует мышцы, — почти утратил способность общаться. Он добровольно принял участие в исследовании нейрохирурга Эдварда Чанга из Калифорнийского университета в Сан-Франциско, согласившись на вживление мозгового имплантата.
Система считывает с поверхности мозга электрическую активность, возникающую при попытках говорить и двигаться. Сигналы переводятся в слова и жесты, которые воспроизводит виртуальный аватар. Главной сложностью для учёных стала пересекающаяся нейронная активность, когда мозг реагирует на речь и жесты схожим образом. Решением стала тренировка моделей на одновременных действиях.
В ходе эксперимента система распознавала десять фраз и десять жестов. Аватар мог, например, сказать «привет» и помахать рукой. Точность расшифровки речи достигла 70%, жестов — 66%. Технология пока экспериментальна и требует проводного подключения. Вальтер, несмотря на ошибки системы, называет аватар своим «цифровым двойником» и вспоминает, как смеялся от радости, когда тот впервые точно передал его мысль и движение.
