网易首页 > 网易科技 > 网易科技 > 正文

“捉迷藏”也能学习?OpenAI用其教会AI团队合作!

0
分享至



1:OpenAI的AI自己学会了如何玩捉迷藏游戏

【网易智能讯1010日消息】捉迷藏的游戏自古已有之,它给无数孩子带来了无穷的童年乐趣。然而,现在这种古老游戏又在人工智能(AI)领域被赋予了新生,它不仅可以揭示很多关于AI如何权衡其所面临的决策问题,甚至展现了AI与其影响范围内的其他AI(或称近邻)互动的方式。

总部位于美国旧金山的AI研究公司OpenAI的研究人员日前发表论文,对捉迷藏游戏在AI中发挥的重要作用进行了阐述。OpenAI由特斯拉首席执行官埃隆·马斯克(Elon Musk)等硅谷大亨联合建立的,并得到了职业社交网站LinkedIn联合创始人里德·霍夫曼(Reid Hoffman)等名人的支持。

在最新发表的论文中,研究人员描述了大量由AI控制的代理如何在虚拟环境中捉迷藏的场景,并在此过程中学习利用越来越复杂的方法来躲避和寻找对方。测试结果表明,竞争中的双人AI代理团队的自我提高速度比任何单个代理都快。论文的共同作者说,这表明正在发挥作用的力量可以被利用,并适应其他AI领域,以提高效率。

今天开源的捉迷藏AI培训环境,加入了无数其他OpenAI、DeepMind和谷歌等公司为应对AI难题而提供的众源解决方案。去年12月,OpenAI发布了CoinRun,旨在测试强化学习代理的适应性。最近,该机构推出了Neural MMO,即大型强化学习模拟器,可以在类似角色扮演游戏(RPG)的世界中训练AI代理。在6月份,谷歌旗下Google Brain部门开源了Research Football Environment,这是用于训练AI掌握足球的3D强化学习模拟器。DeepMind上个月揭开了OpenSpiel的面纱,这是个视频游戏AI培训平台。

两位共同作者在这篇最新的论文中写道:“创造能够解决各种复杂的、与人类相关任务的智能人工代理,一直是AI社区中的一个长期挑战。与人类特别相关的AI代理将是能够感知物理世界中的物体、并与之互动的代理。”

训练和玩耍 

捉迷藏代理依赖于强化学习,这是一种利用奖励来推动软件政策朝着目标方向发展的技术,可以在反复试验中自我学习。近年来,与海量计算匹配的强化学习取得了巨大的成功,但也有其局限性。指定奖励函数或收集演示来监督任务可能既耗时又昂贵。最先进的方法要求对专家演示数据进行监督性学习,并使用奖励进一步提高绩效。此外,单个代理在强化任务中学习的技能受到任务描述的限制;一旦代理学会了解决任务,就没有太多改进空间了。

相反,研究人员追求的是一种他们称之为“无方向探索”的政策。在这种政策下,代理在他们对游戏世界的理解中自由进化,以设计出创造性的制胜策略。这类似于DeepMind科学家去年倡导的多智能体学习方法,在一项研究中,多个AI系统被训练为在游戏《雷神之锤III竞技场》(Quake III Arena)上玩“夺旗游戏”(Capture The Flag)。与这项研究一样,AI代理事先没有被教授游戏规则,但他们随着时间的推移学会了基本策略,并最终在技能上超过了大多数人类玩家。

微软的Suphx AI、OpenAI的OpenAI Five、DeepMind的AlphaStar以及Facebook的Pluribus,分别采用了类似的策略来掌握麻将、《刀塔2》(Dota 2)、《星际争霸》(StarCraft II)以及德州扑克。


2:OpenAI的AI在游戏中横穿地图

在捉迷藏游戏中,几个代理(隐藏者)必须在短时间内避开竞争对手的视线。在此期间,这些竞争对手被固定住,而搜索者被指示密切关注隐藏者的动向。(在这里,“视线”是指各个代理面前的135度圆锥形范围。)如果代理冒险离开游戏区太远,并被迫在随机生成的房间和墙壁中游荡,并会因此受到惩罚。它们可以拾取分散在环境中的目标(主要是箱子),这些箱子会无限期地锁定在适当的位置。

代理们在训练过程中发现了多达六种独特的策略,每一种都能帮助它们进入下一个游戏阶段。起初,隐藏者和搜索者只是逃跑并相互追逐,但经过大约2500万场捉迷藏游戏之后,隐藏者学会了通过将箱子一起移动并靠墙来构建隐藏庇护所的策略。在进行另外7500万场比赛后,搜索者学会了移动并利用坡道跳过箱子进入避难所的方法。

再进行1000万场比赛后,隐藏者开始将箱子构建的坡道带到游乐区的边缘并将其锁定,以防止搜索者使用它们。最后,在总共3.8亿场比赛后,搜索者自学将箱子带到游戏区的边缘,并有效地利用它们冲进隐藏者的避难所中,这利用了游戏空间允许他们在不接触地面的情况下可与箱子一起移动的优势。

受过训练的代理学会了协作,例如分别将他们自己的箱子带到一个未建造好的避难所地点。此外,他们作为一个团队相互保护,试图通过在准备阶段锁定箱子来防御搜索者的“箱子冲浪”。


3:OpenAI的AI代理随着时间的推移而自我完善

研究人员表示,规模在这方面起到了关键作用。默认模型需要在34小时的培训中出现1.23亿次才能达到将技能提升到懂得“斜坡防御”的阶段,并且批量越大,培训时间越快。例如,将参数(从历史训练数据中学习的模型部分)的数量从50万增加到580万,样本效率就提高了2.2倍。

基准稳健性

为了评估代理的稳健性,研究人员设计了一套五项基准智力测试,分为两个领域:认知和记忆。所有测试都使用与捉迷藏环境相同的动作空间、观察空间和对象类型:

1)对象计数任务(Object Counting)衡量的是代理是否具有对象持久性的感觉,即理解事物即使在无法察觉情况下仍然存在的能力。

2)锁定和返回任务(Lock and Return),衡量代理在执行新任务时是否可以记住其原始位置。

3)在顺序锁定任务(Sequential Lock)中,四个箱子位于三个没有门但每个房间都有坡道的随机房间中,代理必须按照它们以前没有观察到的特定顺序锁定所有箱子的位置。

4)在蓝图构建任务(Construction From Blueprint)中,代理必须将箱子(开放房间中的八个)放置在多达四个目标位置的顶部。

5)在避难所构建任务(Shelter Construction)中,代理必须在圆柱体周围建造由箱子组成的避难所。

在五个任务的其中3个里,在捉迷藏环境中接受预培训的代理学习速度更快,并获得了比两个基线更高的最终回报。他们在锁定和返回任务、顺序锁定任务以及蓝图构建任务任务方面做得稍好些,但在对象计数和避难所构建方面表现较差。


4:这个代理在使用坡道入侵堡垒

研究人员将好坏参半的结果归咎于既“纠缠”又难以微调的技能表征。他们写道:“我们推测,捉迷藏预培训优于基线的任务是由于重复使用学习到的特征所致,而在其余任务上优于基线的转移将需要重用学习的技能,而这要困难得多。这种评估指标强调了开发技术的必要性,以便将在一个环境中培训的策略有效低应用到另一个环境中。”

未来工作 

那么,我们能从这样的研究中得到什么?简单的游戏规则、多代理竞争和大规模的标准强化学习算法可以刺激代理在没有监督的情况下学习复杂的策略和技能。

研究人员写道:“这些设置的成功激发了人们的信心,认为这些环境最终可以使代理获得无限数量的技能。这会促使它们形成以人类相关技能为中心的行为,而不是通过其他自我监督的强化学习方法生成的技能。”

这些进步不仅仅会推动游戏设计前进。研究人员断言,他们的工作是朝着可能产生“物理基础”和“人类相关”行为的技术迈出的重要一步,并且可能支持诊断疾病、预测复杂蛋白质结构和分段CT扫描的系统。

Alphabet旗下AI公司DeepMind联合创始人德米斯·哈萨比斯(Demis Hassabis) 曾表示:“我们的游戏AI是我们通向通用人工智能的垫脚石。我们进行自我测试和所有这些游戏测试的原因是,它们是我们所开发算法的便利试验场。最终,我们正在开发可以转化到现实世界中的算法,以便处理真正具有挑战性的问题,并帮助这些领域的专家。”(选自:VentureBeat 作者:Kyle Wiggers 编译:网易智能 参与:小小)

相关推荐
热点推荐
马克威廉姆斯:我跟佩奇说 输给奥沙利文很正常 所以全力进攻吧

马克威廉姆斯:我跟佩奇说 输给奥沙利文很正常 所以全力进攻吧

罗克
2024-04-25 11:24:24
日本专家纷纷来中国,看似为赚钱,其实在中国发展比日本更有前途

日本专家纷纷来中国,看似为赚钱,其实在中国发展比日本更有前途

搞笑的阿票
2024-04-25 11:39:09
小王终于透露:要回国了!巴铁小姨子也会跟一起来中国?

小王终于透露:要回国了!巴铁小姨子也会跟一起来中国?

鬼菜生活
2024-04-25 07:34:09
力保辽宁队夺冠!广东队惨遭全联盟打压,下一个是浙江男篮?

力保辽宁队夺冠!广东队惨遭全联盟打压,下一个是浙江男篮?

绯雨儿
2024-04-25 13:15:25
大族激光:一季度净利润9.9亿元,同比增长超594%

大族激光:一季度净利润9.9亿元,同比增长超594%

南方都市报
2024-04-25 10:28:11
雷军:小米SU7锁单量超75723台,交付5781台

雷军:小米SU7锁单量超75723台,交付5781台

三言科技
2024-04-25 09:34:07
体育要在高考中占据150分了!只要身体的民族就能有大作为吗?

体育要在高考中占据150分了!只要身体的民族就能有大作为吗?

大风文字
2024-04-24 17:00:46
张康阳:之前想引进中国球员但作罢;没见过南京奥体这么多人

张康阳:之前想引进中国球员但作罢;没见过南京奥体这么多人

懂球帝
2024-04-25 00:50:12
全新丰田皇冠正式上市,售价29.9万起

全新丰田皇冠正式上市,售价29.9万起

户外小阿隋
2024-04-25 01:46:56
国乒小圈子?马龙请4人吃饭,曼昱一个人吃,陈梦逛街,莎莎意外

国乒小圈子?马龙请4人吃饭,曼昱一个人吃,陈梦逛街,莎莎意外

东球弟
2024-04-24 09:44:18
鹿晗这张确实有豪门小少爷即视感了

鹿晗这张确实有豪门小少爷即视感了

娱乐圈酸柠檬
2024-04-25 07:10:57
朱立伦提访陆条件无果,岛内公布最新民调,国民党多人退出访陆团

朱立伦提访陆条件无果,岛内公布最新民调,国民党多人退出访陆团

喜欢农家生活的阿律
2024-04-24 15:54:21
狂轰32+6+9!东契奇拒绝下场!独行侠遭重创中锋受伤!哈登22+6+8

狂轰32+6+9!东契奇拒绝下场!独行侠遭重创中锋受伤!哈登22+6+8

First体育
2024-04-24 13:06:56
消息真灵通:一线城市取消限购

消息真灵通:一线城市取消限购

资本百科
2024-04-24 22:57:47
“靖康之耻”有多虐心?皇帝生母每日接客超百人,公主肛裂而死

“靖康之耻”有多虐心?皇帝生母每日接客超百人,公主肛裂而死

阿胡
2024-03-28 15:30:23
难怪让查尔斯念念不忘多年,原来年轻的卡米拉,颜值还真的不低

难怪让查尔斯念念不忘多年,原来年轻的卡米拉,颜值还真的不低

冬天来旅游
2024-04-25 11:11:59
中国电动车,大量堆积在欧洲港口,美欧嘲讽:产能过剩的恶果!

中国电动车,大量堆积在欧洲港口,美欧嘲讽:产能过剩的恶果!

小蘑菇壹号
2024-04-24 16:16:50
市属国企改革!山东一市打响第一枪!17家城投整合成6个集团!

市属国企改革!山东一市打响第一枪!17家城投整合成6个集团!

小天谈理想
2024-04-25 02:59:56
德甲历史不败场次榜:瓜氏拜仁53场不败第1,药厂目前30场不败第4

德甲历史不败场次榜:瓜氏拜仁53场不败第1,药厂目前30场不败第4

直播吧
2024-04-24 17:47:12
两米长眼镜蛇卡住台湾一学校校门开关,目击老师险吓晕,无人受伤

两米长眼镜蛇卡住台湾一学校校门开关,目击老师险吓晕,无人受伤

狸猫之一的动物圈
2024-04-25 13:06:42
2024-04-25 13:52:49

科技要闻

雷军:希望小米SU7能成为苹果用户购车首选

头条要闻

男子被上门女技师触摸隐私部位要求"加钟" 平台回应

头条要闻

男子被上门女技师触摸隐私部位要求"加钟" 平台回应

体育要闻

足智多谋的哈姆,温水里的青蛙

娱乐要闻

心疼!伊能静曝儿子曾被狗仔追到洗手间

财经要闻

先涨价再降价,特斯拉“打脸”只用20天?

汽车要闻

这灯效我能看半小时 奥迪Q6L e-tron有备而来

态度原创

旅游
家居
手机
游戏
军事航空

旅游要闻

“宝总同款”?布林肯入住上海和平饭店总统套房

家居要闻

光影之间 空间暖意打造生活律动

手机要闻

传音Infinix GT 20 Pro游戏手机渲染图曝光:天玑 8200 Ultra芯片

用火力战胜恐惧!一款可以用枪支、炸药的后室游戏

军事要闻

俄美在安理会就外空核武器问题发生冲突

无障碍浏览 进入关怀版
×