Нейромережа змогла перетворити думки людини на текст

Дослідники розробили програму для розшифровки до 250 слів в режимі реального часу.

Алгоритм був навчений з використанням нейронних сигналів чотирьох жінок з електродами, імплантованими в їх мозок, причому електроди були встановлені їм раніше, для моніторингу епілептичних припадків.

Для експерименту дослідники попросили жінок голосно прочитати набір речень, складений з 250 слів, повторюючи кожне речення хоча б по разу. Зчитуючи при цьому мозкові сигнали випробовуваних, вчені склали два набори даних — один для навчання, інший для перевірки.

Потім дослідники передавали дані в алгоритм, щоб розпізнати закономірності, які можуть бути пов’язані з окремими словами. Середня частота помилок в словах в повторному наборі становила лише 3%.

Цікаво, що як тільки вчені переключили систему на розпізнавання не речення, а окремих слів, число невірно розпізнаних прикладів зросла до 38%. Це явно показує, що нейронна мережа робить висновки, не просто пов’язуючи сигнали мозку зі словами, а й зіставляючи порядок цих слів.

«Через десятиліття після того, як мова була вперше розшифрована із сигналів людського мозку, точність і швидкість залишаються набагато нижче, ніж у природної мови», — визнають автори роботи.

«Слідуючи останнім досягненням в області машинного перекладу, ми навчили нейронну мережу кодувати кожну послідовність довжини речення нейронної активності в абстрактне уявлення, а потім декодувати це уявлення, слово за словом, в англійське речення», — пояснили вчені.

Як підкреслює команда, алгоритм обробляє лише невелику кількість речень. Тобто систему буде дуже складно масштабувати на більший словниковий запас, оскільки з кожним новим словом буде рости кількість можливих речень, що в свою чергу буде знижувати точність розпізнання.