Такие люди, как покойный Стивен Хокинг, могут подумать о том, что они хотят сказать, но вот сказать это не могут из-за того, что их мышцы парализованы. Чтобы общаться, они вынуждены использовать устройства, которые реагируют на движение глаз или мышц в щеке, чтобы считывать по одной букве за раз. Увы — этот процесс крайне медленный и неестественный.
Новые исследования, проведенные Вайнберским колледжем искусств и наук, приблизили ученых к созданию речевых машинных интерфейсов, открыв новую информацию о том, как мозг кодирует речь. Ученые обнаружили, что мозг управляет речью так же, как и контролирует движения рук (кстати, возможно, это еще одна причина того, почему при общении мы часто помогаем себе руками — прим. перев.). Для этого исследователи записали сигналы из двух областей мозга и расшифровали, за что они отвечают. Они выяснили, как мозг представляет обе цели — то, что мы пытаемся сказать (звуки типа «ма», «па», «ба» и т.д.), и отдельные движения, которые мы используем для достижения этого (как мы двигаем своими губами, небом, языком и гортанью). За это отвечают два разных отдела мозга.
«Это может помочь нам создать лучшие речевые декодеры для НКИ, что приблизит нас к нашей цели — помочь парализованным людям снова разговаривать», — сказал ведущий автор исследования Марк Слуцкий, доцент неврологии и физиологии в Северо-Западном университете.
Это открытие может также потенциально помочь людям с другими нарушениями речи, такими как апраксия, которая наблюдается у детей или после инсульта у взрослых. При речевой апраксии человек испытывает трудности с переводом мыслей в разговорную речь.
Как мозг переводит слова в речь
Речь состоит из отдельных звуков, называемых фонемами, которые создаются скоординированными движениями губ, языка, неба и гортани. Однако ученые точно не знали, как именно эти движения, называемые артикуляторными жестами, планируются мозгом. В частности, не было полностью понятно, как кора головного мозга контролирует производство речи и интерпретирует жесты.
«Мы предположили, что речевые моторные области мозга будут иметь организацию, схожую с областями, контролирующими движения рук», — сказал Слуцкий. «Предцентральная кора отвечает за движение губ, языка, неба и гортани, а более высокие уровни коры головного мозга будут отвечать в большей степени за фонемы».
И они, в общем-то, не ошиблись. «Мы изучили два отдела мозга, которые помогают производить речь», — сказал Слуцкий. «Предцентральная кора в большей степени ответственна за жесты, чем за фонемы. Нижняя лобная кора, представляющая собой область для воспроизведения речи более высокого уровня, отвечает и за фонемы, и за жесты».
Расшифровка сигналов головного мозга
Ученые из Северо-западного университета регистрировали сигналы мозга с поверхности коры, используя электроды, размещенные у пациентов, перенесших операцию по удалению опухолей головного мозга. Пациенты должны были бодрствовать во время операции, поэтому исследователи попросили их прочитать слова с экрана.
После операции ученые отмечали время, когда пациенты воспроизводили фонемы и жесты. Затем они использовали записанные сигналы мозга из каждой области коры и сопоставляли их с тем, какие фонемы и жесты использовали пациенты, и измеряли точность расшифровки. Сигналы головного мозга из предцентральной коры лучшим образом совпадали с жестами, чем с фонемами, в то время как сигналы из нижней лобной коры были одинаково хороши для декодировании как фонем, так и жестов. Эта информация помогла подтвердить лингвистические модели речевого производства, а также в будущем поможет инженерам в разработке нейрокомпьютерных интерфейсов для декодирования речи из этих областей мозга.
Следующим шагом для исследователей является разработка алгоритма для НКИ, который мог бы не только расшифровывать жесты, но и объединять их для формирования слов.