Нейрокомпьютерные интерфейсы для игр: что известно на сегодняшний день
​Постепенно НКИ начинают переходить из произведений фантастов в реальную жизнь.
3838 показов
8K8K открытий

Большое спасибо за статью.

Хотелось бы узнать, есть ли какие-то идеи на счёт решения проблемы «перехвата» импульсов от мозга, а также перехвата зрительных сигналов?
Все что описано выше, в принципе, понятно как работает. Есть источник сигнала, обработчик, приёмник, как и 100 лет назад, разве что источник теперь мозг, а обработчик хитрее и быстрее.
Но вот что делать с тем, когда человек думает о действии? Например, удар рукой. Юзер подумал об ударе, ударил. В это время в виртуальном пространстве персонаж удвоил гоблина. Но в тоже самое время пользователь ударил своего батю в живот и явно получит пи...) ну или типа того, надеюсь, ясна проблема
И по поводу подключения к зрительному нерву и передачи изображения напрямую в мозг есть ли какие-то статьи, мысли, движения?

Ответить

Решения насчет перехвата импульса есть в теории. О них вскользь упоминает в лекции Майк, как о своеобразном читерстве для киберспортсменов, позволяющем чуть-чуть сократить время реакции, перехватив импульс на полпути от мозга к двигающей мышь руке и направив его сразу в компьютер. Такая манипуляция позволит протагонисту игры начинать движение не через условные 100 (число, которое в лекции использует Майк) миллисекунд, которые уходят на то, чтобы сигнал от мозга дошел до руки, а через, допустим, 70-80 миллисекунд. Понятно, что такое сокращение реакции будет пока интересно только киберспортсменам, но в будущем все это позволит создать и интерфейсы для обычных игроков. Не говоря уже про медицинское применение.

Эти и многие другие технологии «перехвата» сигнала рассмотрены в обзоре (но это не научно-популярный материал): https://bmcbiomedeng.biomedcentral.com/articles/10.1186/s42490-019-0022-z

Сейчас пока стоит вопрос в отсутствии достаточно эффективных технологий – получается так, что технологии, призванные сократить время реакции, только увеличивают его из-за несовершенств.
С некоторыми оговорками этим занимается браслет от CTRL-labs – он как раз перехватывает сигнал от мозга. Сначала с мышц, а потом, после обучения, уже напрямую с периферических нервов. В итоге игрок управляет динозавриком из Chrome только «силой мысли», выражая намерение совершить действие, но не совершая его. И это ответ на второй вопрос, спасающий от кары, которую обрушит оскорбленный батя на геймера: физического удара просто не произойдет. Он может произойти на этапе обучения игрока, но потом мозг быстро находит минимальный импульс, необходимый для срабатывания удара в игре, и оказывается, что физическое действие вообще не нужно, достаточно «намерения» совершить удар.


Что касается глаз, то тут ситуация примерно та же, что и с движениями: мы относительно хорошо понимаем, как работают органы чувств и моторная кора, но пока технологии не позволяют создать совершенные интерфейсы, имитирующие зрение. Можно почитать об этом, например, в статье: https://hi-news.ru/technology/neuralink-ilona-maska-chast-chetvertaya-nejrokompyuternye-interfejsy.html, раздел «Первые НКИ типа #2: искусственные уши и глаза». Там написано о протезах, но разницы нет – как только технологии дойдут до совершенства в этой области, уже будет неважно, подключать к нервам искусственный глаз или напрямую виртуальную реальность.
Серьезно улучшить такое подключение может Масковский Neuralink, о том, какие преимущества имеет созданный ими робот по сравнению с тем, что используется сейчас, можно почитать здесь: https://habr.com/ru/post/461215/

Ответить