微软Minecraft成为人类与AI协同工作的实验平台

（原标题：微软Minecraft成人类和AI协同工作的试验之地）

微软的Project Malmo项目开始于2015年6月份，其前身为Project AIX，该项目是基于Minecraft的一个成熟的AI实验平台，旨在支持人工智能领域的基础研究工作。Project Malmo平台由两个部分组成：Java版的游戏模组和帮助AI智能体感知和行动的代码。这两个部分都可以在Windows、Linux或者 Mac OS环境下运行，研究人员可以使用任何一种语言来对其中的AI智能体进行编程。

具体的场景是，研究人员利用Minecraft训练AI智能体操控游戏里的角色并执行各种任务，比如穿过桥梁或建造复杂的物体，而之前，操控游戏角色往往是由人类玩家来完成的。不仅如此，Project Malmo平台还提供一些让人类玩家和人工智能体互相协作的玩法：游戏界面会展示一个聊天窗口，人类玩家可以和一个初生的智能体进行对话。

微软曾在官方博客中表示，由于Minecraft涉及到各种问题的解决、空间的建立、时间上的推演甚至是合作，因此非常适合用于训练人工智能。

Katja Hoffman是微软剑桥研究院的一名研究员，也是Project Malmo项目的带头人。她说：“从长远来看，我希望研发出的人工智能体，可以被任何一个用户教导，并帮助用户完成一些目标任务。”

（图为Project Malmo团队，第一排右二金发女生即为Katja Hoffman），图自：Microsoft Blog

上周， Hoffman在纽约的一个学术会议上向AI领域的研究人员们演示了这个项目，并表示实现人类与AI的合作是这个项目的一个关键目标。另外，Project Malmo如今已经在GitHub上开源， 相关工具已经免费开放下载，以帮助开发者能够更简单地对人工智能领域进行加强和完善。Hoffman说：“我们在其中已经内置了足够多的功能，供研究者来开发协作型AI。”

Project Malmo 目前正专注于测试强化学习算法，这个算法通过模拟的奖励机制来训练计算机完成特定任务。例如，用强化算法训练一个AI智能体控制Minecraft里的角色，穿越一个堆满了障碍物的房间，如果任务成功就给其一个奖赏。人类玩家可以参与这个过程，为智能体提出一些帮助性建议，智能体之后会逐渐了解并运用这些建议。

如下图，名为human 1的角色由人类玩家控制，名为malmo 1的角色由算法控制着。

图自：MIT Technology Review

微软CEO萨提亚·纳德拉（Satya Nadella）曾于6月28日亲自撰写《未来的伙伴关系》（The Partnership of the Future）一文，描绘人类与AI合作解决社会问题的未来景象，并强调越来越聪明的机器学习算法在帮助人类提升工作效率方面具有巨大潜力, 而AI是微软尤其重要的发展方向。

Hoffman相信这个项目将最终应用于常规游戏里。她说：“我可以想象出，未来你让智能体去处理游戏中比较单调无聊的部分。”

AI协助Minecraft玩家打游戏，这只是实现计算机软件帮助人类处理日常琐事的第一步。“我们需要开发出对人类真正有益处，赋予人类更强力量的东西，”Hoffman说。

AI研究人员普遍已经开始把计算机游戏转变为检验成熟机器学习方法的试验场。去年年初， 谷歌旗下DeepMind公司演示了一个AI系统，系统自主学习了Atari 2600游戏机上的49款游戏 ，并随后在29款游戏中的得分超过游戏行家，一时引发轰动。这个AI系统中运用的算法糅合了深度学习和强化学习。接着，DeepMind公司向外界展示了该AI系统学习操控更为复杂的3D游戏的零碎画面，但到目前为止还没有对此曝露更多的工作进展。

Minecraft本是一款独立游戏，于2014年被微软收购，尽管画面极其简单并且缺乏明确的游戏目标，但其凭借着能激发出玩家的惊人创造力而广受欢迎。游戏迷们用它建造出了一系列无与伦比的复杂建筑和机械装置，还有玩家利用其中的“红石”元素制作出了CPU，可谓真正意义上的计算机中的计算机。

图自：MIT Technology Review

虽然Minecraft比较简单，但是它可以为众多机器人算法提供一个有用的试验场。去年7月份，布朗大学的Stefanie Tellex教授带领的团队开发出一款让机器人快速确定一串动作顺序的算法，当时就是使用了Minecraft 这个“试验场”。她表示Malmo平台一个非常大的用处就是可以让研究人员更加容易地比较他们的研究方法。她说：“让Minecraft变成AI界的奥林匹克运动会，这个想法非常棒。”她还指出，这个平台还能更有效地搜集大量数据，比如关于人类和AI互动的数据，而这些数据正是现代机器学习非常需要的。

虽然Malmo平台主要针对人工智能、机器学习和机器人学领域的专业人士，但是任何有足够技术能力的人都可以下载这个平台，来针对游戏内置的AI智能体进行实验。游戏里包含了几个机器学习的程序包和AI智能体的例子。而实际上，目前下载了这个游戏的人群里确实包含了一批业余爱好者和并不专攻AI领域的软件工程师。

Minecraft这款有点笨拙的粗糙的像素游戏，可能会成为人类与人工智能（AI）一起学习协同工作的绝佳平台。