MindLeap：第一款靠意念控制的虚拟现实游戏系统原型

近日在旧金山举行的游戏开发者大会（GDC）上，瑞士的神经技术初创企业MindMaze发布了全球第一款靠意念控制的虚拟现实游戏系统原型MindLeap，同时宣布获得了850万美元的天使投资。

从医疗到游戏

MindMaze成立于2012年，总部位于瑞士洛桑、其研究领域主要是神经科学、虚拟现实和增强现实，此前主要应用于医疗，用来帮助中风、截肢及脊髓损伤患者康复。创始人兼CEO是Tej Tadi博士。创办公司前他曾在瑞士联邦理工学院从事过10年的虚拟现实研究。

我们知道，人的动作是由大脑控制的，比方说移动手臂这个动作的执行过程首先是大脑想要手臂移动，这个决定由神经网络经过数毫秒之后传递给相关肌肉才执行动作。MindMaze则是通过跟踪大脑和肌肉的活动来侦听相关的神经信号。

MindMaze的应用一开始并不是游戏，而是医疗。比方说，截肢病人有时候会出现幻觉痛，即感到被切断的肢体仍在，且在该处发生疼痛。Tadi介绍了一个例子，某位左臂被截肢的女患者就出现了幻肢痛。MindMaze利用技术跟踪患者正常的右臂的活动和神经信号，然后在屏幕上呈现出其左臂在作相应动作的图像，如此来“欺骗”她的大脑认为自己左臂也能动，从而缓解幻肢痛。这里的关键是屏幕的动作展示必须是实时的—时延不能超过20毫秒（触觉传递到大脑需要20毫秒，视觉则需要70毫秒，这些似乎是能够区分出相关信号的关键）。正是无时延方面的努力让MindMaze想到可以把它用在游戏上，开发出了MindLeap这套游戏装置的原型。

这套装置由动作捕捉系统、脑电波读取系统以及集成平台组成。其HMD（头戴式显示器）外观上跟Oculus Rift DK2、Razer OSVR有些类似。比较奇特的是它的头箍，像一张网，其实那是用来采集脑电波信号的装置，不过未来MindMaze计划改进成跟目前的HMD的头带类似的东西。无线3D摄像头运动捕捉系统类似于Kinect，可进行3D的全身运动跟踪，但是需要进行一些调整以适应医疗用途。目前这套原型可提供720p的显示以及 60 的视野范围，未来计划升级为1080p及120 的视角。

VR与AR结合

HMD和动作捕捉系统的结合跟我们不久前介绍的伊利诺伊大学香槟分校团队的工作类似，可以带来虚拟现实（VR）与增强现实（AR）的双重体验。但是MindLeap还融入了脑电波读取的技术，Tadj称，这是全球首次将神经科学、虚拟现实、增强现实及3D全身动作捕捉融于一体，将带给玩家无时延的游戏体验。

佩戴上MindLeap之后，头向右转即开始AR模式，此时头部的摄像头开始跟踪在面前晃动的手指动作。屏幕上则呈现出用户手部的动作以及周围的环境，不仅如此还会在手指上渲染火焰（增强现实）。而且头箍会跟踪用户的精神状态，如果是放松的，火焰是蓝色的，而如果用户紧张，火焰聚会变成红色。

如果用户将头向左转则激活VR模式，此时用户的手还在平面上现实，但是周围的环境则变成了未来主义的空间。用户可以在虚拟世界中触摸、感知、表现、移动，仿佛置身于现实世界。

脑力竞赛

不过最有趣的是MindMaze展示的仅靠意念控制的对抗游戏。游戏里面屏幕两头各有一个会伸缩的魔法球，中间则是一个小球。魔法球靠对战双方的意念控制，双方均佩戴植入前额传感器的头带，游戏目标是利用能量爆发将屏幕中央的球膨胀推开对方的球。球膨胀得越大代表脑力越强。不过，不习惯的玩家一开始必须靠缓慢的深呼吸来放松精神。原型演示中仍有一些时延，而且还需要校准。不过看起来整个游戏呈现的效果的确不错。

根据MindMaze科学顾问Olaf Blanke的说法，MindLeap利用医疗级技术创建了一个直观的人机接口，通过识别关键的神经特征实现无与伦比的响应性，将会开启一个神经康复与游戏的全新时代。

在VR最近风生水起的大环境下，MindLeap的未来看起来不错。但是要想实现消费化还有大量的工作要做。仅靠精神的放松和紧张来控制游戏档案还是不够，不过如果MindMaze掌握了精确的神经信号识别技术，辨别面部表情、情感等高级用法也不是天方夜谭。公司的目标是实现技术的开源化、无线化以及跨平台。系统将支持Xbox、PlayStation、iOS及Android等多个平台，在获得850万美元天使融资后，公司计划将在未来数月开放MindLeap引擎SDK给游戏开发者，MindLeap装置则会在今年晚些时候面世。到时候我们再来看看，他们又能取得哪些突破吧，不过下面The Verge的这段体验视频我们可以先睹为快：

[36氪原创文章，作者: boxi]