Зарождение кооперативных мозговых интерфейсов
Вступление
Традиционно в задачах на движение BMI (brain-machine interfaces) применяют для того, чтобы декодировать сигналы мозга и использовать их как команды для искусственного манипулятора. Например, позволяют обезьянам использовать искусственную руку, чтобы есть.
Описание работы
Нескольким обезьянам были имплантированы электроды в моторную (М1) и соматосенсорную (S1) кору, которые считывали активность от 150 до 500 нейронов, в зависимости от обезьяны. Обезьяны, находящиеся в разных комнатах, должны были перемещать виртуальную руку в 2D пространстве или используя джойстик, или только с помощью мозговой активности, за что они получали вознаграждение. За положение виртуальной руки отвечали все обезьяны.
В первой серии экспериментов каждая обезьяна отвечала за оба направления (X,Y), а положение виртуальной руки менялось в реальном времени как среднее из усилий двух обезьян, то есть финальное положение виртуальной руки высчитывалось как ((X1+X2)/2 , (У1+У2)/2).
Во второй серии экспериментов каждая обезьяна отвечала только за одно направление, то есть положение виртуальной руки определялось как (Х1, У2), а парные координаты (Х2, У1) записывались, но не влияли на положение манипулятора на экране.
В третьей серии экспериментов использовалось 3 обезьяны, которые отвечали за движение виртуальной руки в трехмерном пространстве, при этом каждая обезьяна отвечала за положение в одной из плоскостей: (Х, У), (У, Z), (X, Z). Таким образом каждая координата контролировалась двумя обезьянами (как в первом эксперименте), при этом также, как и во втором эксперименте, присутствовало «разделение обязанностей» — финальный результат зависел от скоординированных действий хотя бы 2х обезьян (чтобы получить все 3 координаты). Обезьяны успешно справлялись со всеми предложенными заданиями (около 80% успешных испытаний).
С результатами нескольких серий экспериментов можно ознакомиться на следующем видео. Рукоподобный манипулятор, который видели обезьяны, заменен одной точкой, которая должна совпасть с целью.
Может возникнуть вопрос — в чем смысл использования нескольких обезьян?
То, что обезьяны умеют справляться с подобными задачами — не новость. То, что усреднение значений страхует от ошибки — тоже не удивительно.
Почему авторы называют это BrainNet, хотя единственный канал связи между обезьянами — положение виртуальной руки, которую они видят глазами и ни о каком прямом соединении мозгов речь не идет?
Ответ на эти вопросы кроется в деталях.
Первым важным фактором является то, что на успешность выполнения заданий влияла синхронизация мозговой активности между обезьянами, причем в случае Brainet эта синхронизация была важнее, чем при управление джойстиком. Более того, она позволяла предсказывать успешность выполнения задания, до начала задания. Последнее означает, что синхронизация, по крайней мере до начала задания, в определенной степени показывает уделяет ли обезьяна внимание виртуальной руке на экране, поскольку изображение на экране — единственное, что является каналом связи между обезьянами.
Следующий возникающий вопрос — не является ли корреляция мозговой активности по сути маркером внимания и ничего более? Обезьяны видят одну виртуальную руку, которая одинаково движется (а в случае управления джойстиком обезьяны также примерно одинаково шевелят руками сами). Для того, чтобы проверить это авторы вычислили корреляцию мозговой активности между обезьянами в разных повторах задания, и посчитали есть ли какая-либо корреляция сверх этого внутри одного опыта. Если наблюдаемая синхронизация является реакцией на одинаковые стимулы, то внутри одного опыта (когда обезьяны одновременно двигают руку) она не будет отличаться принципиально от кажущейся синхронизации между разными опытами, в которых обезьяны видят все те же стимулы и делают все те же действия. Это оказалось справедливо для большинства опытов с джойстикам — по сути корреляция мозговой активности в этих опытах объяснялась сходными стимулами и реакциями. Однако для всех опытов BrainNet была обнаружена корреляция мозговой активность свыше корреляции между опытами, что говорит о том, что в этом случае действительно имела место синхронизация и координация мозговой активности, необходимая для выполнения задания, но не обуславливаемая самим процессом выполнения.
Еще более явно это показал анализ эксперимента «с разделением обязанностей», где каждая обезьяна управляла только одной координатой. Если предположить, что обезьяны просто «независимо» управляют рукой, то движения, определяемые «значимыми координатами» (Х1, У2) (то есть теми, которые влияли на положение виртуальной руки) не должны принципиально отличаться от их парных «незначимых координат» (Х2, У1). Однако это не так. После длительной тренировки обезьяны по сути переставали контролировать свои «незначимые» координаты, инвестируя свое внимание только в управление той координатой, за которую они отвечали. «Фантомная виртуальная рука» (Х2, У1), движения которой обезьяны не видели на экране, выполнила бы задания только в 10% случаев, против 80% успеха «реальной виртуальной руки» (Х1, У2). При этом синхронизация по-прежнему играла важную роль в успешности выполнения задания, хотя в данном случае обезьяны отчасти выполняли уже разные задачи (двигали манипулятор по разным осям).
Эксперимент в трехмерном пространстве с 3 обезьянами по сути являлся комбинацией двух предыдущих и демонстрировал сходные явления. Интересно отметить, что задание могло быть выполнение усилиями только 2х обезьян: в этом случае одна из координат управлялась бы ими обеими, а 2 другие — по отдельности 1 обезьяной. Такие случаи действительно происходили и, что неудивительно, вероятность успешного выполнения задания только двумя активно работающими обезьянами снижалась. Важнее другое — когда нагрузка за выполнение заданий ложилась только на 2х обезьян — их мозговые активности становились более синхронизованными, а управление виртуальной рукой более четким, чем при равноценном вкладе всех 3х обезьян.
Последним аргументом, подчеркивающим важность синхронизации является то, что во всех опытах успешность работы Brainnet заметно увеличивалась по мере тренировки на протяжении 4х недель. При этом каждая отдельная обезьяна была уже натренирована на выполнение такого задания до этого и ее индивидуальные результаты значимо не менялись на протяжении этого времени. Что подчеркивает тот факт, что улучшение работы Brainnet достигалось за счет обучения слаженной работе в команде, а не индивидуальной тренировкой.
Комментарии
Если упростить результаты данной работы, то можно сказать, что авторы показали умение обезьян работать на «одной волне», что значительно увеличивало успешность их коллективной работы по контролю виртуальной руки.
Можно предположить 2 механизма такой настройки: первый и очевидно работающий — подстройка с обратной связью. Когда обезьяны выполняют задание они могут оценить быстрее или медленнее их партнер двигает курсор (на самом деле просто как двигается манипулятор, поскольку никакого партнера они не видят и иначе чем через действия манипулятора не чувствуют), по каким траекториям и так далее, и на этой основе корректировать свое поведение.
Другое более спорное объяснение позволяет предположить наличие некоторой конкретной «одной волны» работы мозга. Тогда для настройки обезьяны должны были быстро перебирать набор этих самых «волн», чтобы совпасть с товарищем. При этом эти самые «волны» не были четко фиксированы — между разными попытками выполнения одного задания не было подобной синхронизации, что говорит о том, что в каждом выполнении «волна» была одна, но не обязательно одна и та же. В пользу этого косвенно говорит тот факт, что уровень синхронизации позволял предсказывать успешность выполнения задания ДО начала эксперимента, то есть когда у обезьян была возможность только смотреть на руку, но не управлять ею. А значит и возможности оценить и подстроиться под партнера через особенности его управления не было.
Зачем это может быть нужно в практическом плане?
Кроме новых знаний о работе мозга и кооперации, эта работа вносит вклад в довольно новое, но крайне перспективное направление brain-to-brain интерфейсов и кооперативной работы. Довольно легко прогнозируется, что в будущем заметная доля управления по крайней мере сложными и ответственными вещами будет использовать мозговые интерфейсы. Причина у этого довольно простая и очевидная — использование промежуточных контролеров не только ограничивает возможности управления анатомическим строением наших рук (и остальных частей тела, которые используются реже), но и добавляют лишнее звено, которое может вносить ошибки. Игроки в шутеры могут легко соотнести свою реакцию на появление противника, понимание того куда им надо попасть с возможностью быстро и точно щелкнуть мышкой по цели. Для данной задачи помимо реакции не менее важна точность и аккуратность движений рукой. В случае игр это не так важно, а вот секундное дрожание рук хирурга может стоить кому-то жизни.
Представляется вполне реальным, что при массовом внедрении технологий мозговых интерфейсов станет активно развивать возможность кооперативного выполнения каких-либо сложных задач. На текущий момент подобных задач не так уж много, вероятно, как раз по причине большой сложности и дороговизны тренировки операторов. В первую очередь на ум приходят военные примеры. В данных областях действительно очень сложное и дорогое оборудование (истребители, танки, вертолеты) зачастую требуют четко слаженной и синхронизированной работы нескольких людей для полноценного функционирования.
Из научной фантастики вспоминается не так давно вышедший фильм «Тихоокеанский рубеж», который как раз описывает подобную концепцию управления сложными машинами.
Если расширить логику до просто кооперативной работы, то помимо военной сферы найдется уже довольно много областей, где четкая координация между напарниками могла бы пригодиться, но на текущий момент не оправдывает себя по затратам на совместную тренировку. Данное направление работ в перспективе позволит выработать подходы, которые могут помочь синхронизировать напарников без необходимости срабатываться многие годы. Например, это может быть период синхронной стимуляции определенных зон мозга по каким-то конкретным паттернам или же фоновая трансляция сигналов напарнику в реальном времени. На данную тему можно нафантазировать разные варианты с разным уровнем синхронизации: от почти полной, когда напарники гипотетически будут видеть то, что видят их товарищи и «думать общие мысли», до гораздо более мягких вариантов, симулирующих реальную сработанность: понимание друг друга с одного взгляда, способность чувствовать намерения или опасения товарища. Хирурги, которые без необходимости общаться словами понимают где надо помочь коллеге; полицейские, чувствующие тревогу или боль товарищей; бойцы спецназа, пожарники и спасатели, которые будут ощущать положение своих товарищей и их намерения как свои; диспетчеры аэропортов, которые знают про положение самолетов все, что знают их коллеги и так далее. Возможно, в перспективе, это откроет и принципиально новые возможности в управлении сложными технологиями, вроде космических кораблей, которые смогут предоставить людям больший контроль за оборудованием, не отдавая все на откуп автоматике.
Но пока развитие науки и технологий в данной сфере делает только первые шаги. Зато мы имеем возможность в реальном времени наблюдать этот процесс и буквально с каждым новым выпуском авторитетных журналов видеть, как один из наиболее интригующих элементов научной фантастики становится реальностью.
