从法航447航班的故事看人类面临的自动化悖论

本文为网易科学专稿，“科学人”网易科学旗下深度原创类栏目。投稿请联系：mike300@126.com

责编：王真

阅读本文大约需要20分钟

随着计算机应用以及自动化技术的普及，航班飞行更多依赖于飞机的自动驾驶。而随着无人驾驶汽车技术的发展，这种自动化驾驶将更为普遍。但是随之而来的问题在于，对于自动化的依赖会削弱我们原本应有的技能吗？

当法航447航班的机长马克·杜波依斯（Marc Dubois）带着困意冲进驾驶舱时，看到是一番混乱。整个飞机正在剧烈抖动，警报器不断闪烁，发出“失速、失速、失速”的机器声。飞机副驾驶正在努力控制，杜波依斯机长尚未反应过来，平静问到，“发生了什么？”

副驾驶大卫·罗伯特（David Robert）的回答并不平静，“我们完全失去了对飞机的控制！我们不明白发生了什么！我们已经尝试了一切！”事实上，此时此刻机组人员依旧能够控制飞机。一个简单正确的处置就可以化解他们面临的危机。但他们却并未尝试。大卫·罗伯特有句话是对的，“他不明白发生了什么。”

正如专栏作家威廉·朗格维舍（William Langewiesche） 在《名利场》中的一篇文章中所描述的，2009年5月31日晚间7点29分法航447号航班从巴西里约热内卢起飞，目的地巴黎。事后来看，三个飞行员都有着自己的问题。副驾驶皮埃尔·塞德里克·博南(Pierre-Cédric Bonin)，32岁，非常年轻，经验尚浅；副驾驶大卫·罗伯特（David Robert），37岁，相比于博南飞行经验更多，但其最近刚刚成为法航的经理，不再全职飞行。机长马克·杜波依斯（Marc Dubois），58岁，飞行经验相当丰富。但其在里约期间一直在与一名不当班的空服员一起旅行。据报道称，其睡眠时间仅仅有一个小时。

抛却这些潜在问题，整个机组人员驾驶的是世界上最先进的机型之一——空客330。这种机型以飞行平稳和操作简便著称。与其他现代化飞机一样，A330配置了自动驾驶仪，能够保证飞机按照预定航线进行飞行，但其配置的电传飞控操作系统（fly-by-wire）更为复杂。传统的飞机控制系统能够让飞行员直接控制飞机的襟翼，诸如舵，电梯和副翼等等，这种直接控制方法意味着飞行员在控制飞机上会有足够的自由度。相比之下，电传飞控操作系统操作更为平顺，也更为安全。这套电传飞控操作系统处于飞机力学与飞行员动作之间，是一个完美的人机接口。该系统会根据飞行员的控制动作，计算出飞行员的真实意图并对飞机进行相应控制。换句话说，其能够将飞行员的简单操转化为整个飞机的优雅飞行。

这使得A330客机非常安全。这种机型有着良好的安全记录。自1994年上市以来，15年中没有发生任何商业性坠机事故。但矛盾的是，这样一架在控制上拥有最大冗余度的飞机，甚至允许飞行员犯一些小错误。这也意味着当有意外事件发生时，飞行员很少有相应的经验来判断处理。

447航班的面临的飞行问题并不是十分严重。虽然事发时其在穿越大西洋上空的雷暴区域，但这并不是主要问题。机长杜波依斯或许是感觉整个飞行过程太过枯燥，在里约时间午夜11时02分离开了驾驶舱休息，将飞行控制权交由经验尚浅的博南负责。

博南似乎非常紧张。根据飞行记录仪的数据，他不断在用法语咒骂。不止一次，博南希望将飞机能够爬升至高度“3-6”（36000英尺），并抱怨法航飞行程序的建议高度过低。虽然爬升能够避免飞机在穿越暴风雨中遇到麻烦，但飞机的飞行高度是有限制的。因为随着高度的上升，大气的空气密度会降低，不足以为飞机提供足够的升力。特别是在飞机爬升过程中，容易面临失速的危险。如果其爬升速度过快过陡，机翼将不再起作用，就会产生失速，从而向下坠落。

当然，飞机飞行的高度为飞行员纠正失速提供了足够的时间和空间。这也是飞行员应当掌握的基本飞行技能：飞行员将机头下压，从而重新获得速度，随后再将飞机拉平进入正常飞行状态。

午夜，当飞机飞近风暴区域时，机翼开始结冰。博南和罗伯特打开了飞机的除冰装置，防止机翼积攒过多的冰。罗伯特提醒博南进行了几次左转向，以避开风暴核心区。

随后警报响起，自动驾驶仪不再起作用。这是因为飞机上的一个测速传感器停止工作，虽然这不是一个棘手的问题，但由于电传飞控操作系统需要依赖于飞机上大大小小的传感器辅助飞行员进行驾驶。随着测速传感器的失效，这套系统自动切换到飞行员手动驾驶。就是说，电传飞控操作系统不再为博南提供辅助驾驶功能。

随即飞机的飞行状况立刻恶化。随着博南在紧张状况下对飞机操纵杆的大幅操作，飞机开始向右向左摇摆不定。随即博南又犯下了一个低等错误：他拉起飞机操纵杆，飞机开始急速向上爬升。

随着飞机的持续攀升，这个大家伙开始出现失速状态。自动化告警声音充斥着整个驾驶舱；“失速！失速！失速！”尽管系统在不停警告，但博南依旧充耳不闻，飞机依旧在以每分钟7000英尺的惊人速度在大西洋上空向上爬升。而飞机本身却在掉速。如果不采取有效措施，很快其将掉落到风暴之下乃至坠海。如果博南或者罗伯特能够意识到真正发生了什么，那么他们完全可以解决这个问题。但是他们并没有做到这一点。这是为什么？

问题的根据就在于空客A330飞机的电传飞控系统是如此的完美，其已经保证A330机型安全飞行了15年，总航程达到了数百万英里。在长期的飞行中，很多飞行员已经对这套系统产生了依赖，博南也不例外。其在驾驶过程中出现了一种模式混乱的问题。或许他并没有意识到，飞机已经切换到了替代模式，能够为其提供的辅助很少；或许他清楚飞机已经切换了模式，但并没有完全理解。博南和罗伯特都忽视了飞机告警，或许是因为飞机在告诉他们系统正在干预，防止飞机失速。总之，博南的错误操作使得飞机失速。但在其直觉中，认为飞机不可能失速。而博南手动驾驶经验的匮乏也加剧了这种混乱。虽然其飞A330的时间不短，但大部分时间都花在监视飞机运行以及调整飞控计算机上，而不是直接控制飞机。其进行手动飞行的小时数中，基本上都用于起飞或者着陆，这也不难理解其对飞行控制无解。

专栏作家威廉·朗格维舍在其文章中毫不客气的指出，法航飞行员非常不称职。朗格维舍认为，飞行员根本不习惯在没有计算机辅助下独立操纵飞机。即便是对于经验丰富的杜波依斯机长来说其也没有怎么手动驾驶飞机。在事故发生前的六个月里，其飞行时间为346小时，但仅仅有4小时是在手动控制，其他都是在电传飞空操作系统的帮助下进行飞行。这架客机上的三个飞行员都没有机会练习驾驶技能，因为飞机通常都是在自动驾驶。

这恰恰就是问题的根本：自动化技术的悖论。如今，自动化技术被应用于何种场合，从核电站操作到游轮驾驶无一例外也充斥着这种悖论。我们已不再刻意去记电话号码，因为它们都已经被存储在随身的手机之中；我们已不再擅长心算，因为我们的生活已经被各式各样的电子设备包围。然而，自动化程度越高，操作人员技能荒废程度越高，但需要人为处理的情况也就更加极端。心理学家詹姆斯·莱森（James Reason），《人为错误》一书的作者指出，“手动控制是一个高度技能化的活动，这些技能需要我们不断地实践和锻炼，以保持熟练程度和处理能力。然而，一个极少出错的自动控制系统剥夺了操作者实践这些基本控制技能的机会......而在某些情况下，却必须要进行手动接管。这意味着操作者依旧需要应对这些极端情况。

简单来讲，这种所谓的自动化悖论主要有三个层面：第一，自动化系统普遍具有操作便捷的特点，其自动纠错功能可以容忍人工操作的失误。正因为如此，即便是一个业务不甚熟练的操作者也可以滥竽充数很长时间，其技能匮乏往往被系统本身的强大功能所掩盖；第二，即便操作者是专家级的熟练者，但在一个完善的自动化系统下，其熟练技能往往会因为得不到锻炼而日益生疏；第三，自动化系统的失效往往发生在极端情况之下，因此需要更敏锐的反应处置，从这个角度讲，自动化系统越完善，在面临极端情况时有可能使问题变得更糟。

在通常情况下，自动化系统并没有这种自相矛盾的悖论。自动化的客户服务系统可以处理一般的投诉和技术请求，因而客服人员也可以免除重复劳动以及复杂工作。但飞机控制并不是如此。自动驾驶仪以及电传飞控操作系统的应用并没有使得机组人员有更多的时间专注于驾驶技能等有意义的事情，相反这些系统倒是解放了飞行员，让其有更多的时间用于休息，放松等等无意义行为。2009年底曾经有飞机偏离目的地米尼亚波尼斯机场多达100英里，因为在飞机自动驾驶过程中两名飞行员一直在看着自己的笔记本电脑。

当在这种情况下出现问题时，飞行员很难集中注意力对问题做出正确处理。

杜波依斯机长的休息被打断，其在测速仪失效1分38秒之后返回驾驶舱，此时飞机依旧在35000英尺之上，但其每秒下坠速度超过150英尺。除冰装置完成除冰工作，测速仪再次开始运行。但是副驾驶不再相信设备。虽然飞机上的所有设备功能完好，显示飞机已经失速，正处于下坠状态。但是机组人员始终坚定认为更多的设备已经发生故障。杜波依斯机长沉默了23秒，这是很长一段时间，足以使飞机下坠4000英尺。

事实上此时杜波依斯机长能够真正认识到发生什么时，挽救飞机还为时不晚。机头很高，以至于失速告警已经停止，系统像飞行员一样自动规避了持续的异常信息。博南多次将机头下压，随之失速告警再次启动：“失速！失速！失速！“这种程序化的声音无疑让博南的思维更加混乱。有一段时间，博南甚至于担心飞机速度太快而试图进行减速。这恰恰与真相相反，飞机此时的速度不足每小时70英里。三个飞行员完全处于困惑之中，他们开始争论飞机到底是在爬升还是在下降。

博南和罗伯特互相喊叫，每个人都在试图重新控制飞机。所有的人已经语无伦次，但飞机依旧是机头向上，迅速下坠。

罗伯特：“你的速度！你在爬升！下降！下降！下降！下降！“

博南：“我在下降！“

罗伯特：“不，你在爬升！“

博南：“我在爬升？好的，所以我们要下降。“

但并没有人指出，“我们失速了。我们需要下压机头，向下俯冲重新获得速度。“

午夜11时13分40秒，此时据杜波依斯机长离开驾驶舱不到12分钟，距自动驾驶仪关闭两分钟不到两分钟。罗伯特在向博南大喊：“爬升……爬升……爬升……“而博南则在所有时间都坚持他的想法。如果逻辑清楚的话，这些信息足以帮助杜波依斯机长判断飞机处于失速状态。

最后，压力似乎又落到了杜波依斯机长的肩上，他站在两个副驾驶身后，“不不不，不不不，不要爬升，不不不。“

罗伯特随后称他取得了飞行控制权，正在把机头压下来。飞机开始加速，留给他的仅仅只有一分钟时间，事实上已经太晚了。飞机据海面的高度仅仅只有11000英尺，已经没有足够的高度把飞机从失速状态下拉回来。

毫无缘由地，博南默默取回了飞机的控制权，并试图再次爬升。这是一种纯粹恐慌的行为。罗伯特和杜波依斯机长也许已经认识到飞机已经失速，但他们从未指出过。他们或许没有意识到博南在控制飞机，而博南始终没有抓住问题的关键所在。他最后一句话是，“但是到底发生了什么？“

四秒钟后，飞机以每小时125英里的速度撞进深邃的大西洋，飞机上的228名乘客以及机组人员全部丧生。

航空安全领域的教父级人物厄尔·维纳（Earl Wiener）曾经提出了著名的 “维纳定律”。其中有一条，“数字设备在消灭小错误的同时，为重大事故的产生埋下了隐患。”我们可以将其修改为，“自动化技术能够帮助我们解决小问题，但偶尔也会带来大麻烦。”这一论断不仅仅适用于航空领域，也适用于社会中的方方面面。

英国公民维克多·汉克斯（Victor Hankins）在圣诞节收到了一份很不愉快的礼物——车辆违停罚单，当地政府将罚单直接寄到了汉克斯的家中。2013年12月20日下午8时8分14秒，汉克斯的车被堵在约克郡布拉德福的一个公共汽车站，并被路过的交通执法车拍到。系统计算机自动识别车辆号牌，并在数据库中查找到了汉克斯先生的家庭地址。整个系统自动产生了包括现场情况的视频，时间和位置等“证据包”，并将相应罚单自动打印并邮寄给汉克斯。

一切都井然有序。但只有一个问题，汉克斯并没有违停，他只是遇到了交通堵塞。

原则上，技术并不应当成为自动化悖论的牺牲品。它应当让人们腾出手来去做更多有意义的事情。譬如当汉克斯对罚单有异议时，应当是去查找异常情况而不是找出另一个车牌发出罚单。

但是，布拉德福市对其系统的反应与法航447飞行员如出一辙。最初政府驳回了汉克斯的投诉，直至汉克斯称要向法院提起诉讼时才承认错误。

当一些极端情况发生时，就像电传飞控系统出现的问题一样，我们并不会从容处理。我们总是认为计算机永远正确，即使有人说计算机有问题，我们也会认为是人错了或是在说谎。倘若电脑将你误认为是惯偷，因而保安将你赶出了购物中心，那会怎样？或者说当你的名字或者外貌错误地出现在“犯罪分子”数据库中，又该怎样去除掉呢？

随着计算机技术的发展，电脑已经把装满文件的档案柜变成了查找方便、操作便捷的一个个数据库。更多的计算机管理数据库，使用者根本不需要参与其处理过程，也无需了解到底发生了什么。但计算机的处理过程往往是不加解释的，一个对学校和教师的评级，一个Uber司机服务的优劣，抑或是一个企业在谷歌搜索中的排位，这些算法通常都被视为是商业机密。算法中的错误或是先验概念无可避免，这些错误和一些先入为主的情况很难被挑战。

专门研究专家和直观决策的心理学家格里·克莱恩（Gary Klein）总结称，“算法在决策上的广泛采用使得人们难以查纠失败的真正原因。随着人们越来越依赖于算法，其对问题的判断力和洞察力都会受到影响。这个过程形成了一个恶性循环。当我们越是习惯于通过算法做决策，对于外界环境就越是被动。”

决策专家克莱恩抱怨称，一些软件工程师对系统本身的设计消磨了人们的专业技能，从而有可能使问题更加糟糕。如果我们希望使自己的专业技能得到锻炼，那么就需要与系统进行斗争。譬如，在驾驶过程中GPS设备能够为司机导航，但其中的查看地图或是改变原有路线等功能都被隐藏在傻瓜功能之下。人们总是直接点击“开始导航”，其他的都交给了计算机。

心理学家丽贝卡·帕里斯克（Rebecca Pliske）发现，老牌的气象学家在进行天气预报时习惯于先查阅数据并形成自家的判断，随后再去看计算机的预报结果。通过不断实践，这些气象学家保持了自己技能的熟练程度。但是，新一代的气象学家却更依赖于电脑，一旦老一辈人退休，倘若电脑崩溃人们就会因专业技能匮乏而无所适从。

相信我们很多人都需要过GPS系统带来的问题，我们也看到了诸如飞机自动驾驶仪给人们带来的麻烦，把两者结合起来，我们就知道自动驾驶汽车的问题。负责谷歌自动驾驶汽车计划的克里斯·乌姆森（Chris Urmson）希望自动驾驶汽车能够很快普及，他的孩子不再需要驾驶执照。他的目标有一个显著的暗示：自动驾驶汽车永远不需要人类控制。

卡拉基梅隆大学的自主驾驶专家拉杰·拉杰库马尔（Raj Rajkumar）认为，汽车实现完全自动驾驶，我们还需要10到20年的时间。在此之前这是一个渐进发展的过程，让汽车在简单条件下自动驾驶，而人类在更具挑战性的时刻接手控制。

“随着时间的推移和技术的发展，适用于汽车自动驾驶的情况将会不断增多，直至汽车完全实现自动驾驶，但这种改变将是潜移默化的，人们几乎不会注意到。”但拉杰库马尔指出，即使那样，“总会有一些情况会超出任何人的控制。”

如果这听起来可怕，或许本该如此。如果汽车在情况复杂时，向人类交还控制权，这听起来似乎很合理。但这引出了两个直接的问题：如果我们希望汽车知道在什么时候移交控制权，其实就是要求整个系统能够清楚自己的能力范围——清楚自己在何时能行，以及何时不可行。这是非常困难的问题，甚至对人类自身来说都不简单，更不用说一台计算机了。

另外一个问题是，如果我们希望自己能够接管汽车控制权，那么我们如何知道做出何种反应呢？从法航447航班的现实我们可以得知，当飞机自动驾驶仪关闭后，即便是训练有素的飞行员也很难弄清楚到底发生了什么情况。因此我们对于计算机即将犯错时人类能否具备及早察觉的能力，也理应保持怀疑的态度。

密歇根大学教授阿努伊·凯·普拉丹翰（Anuj K Pradhan）指出，“目前人类还不习惯于使用自动驾驶汽车，所以，我们还不清楚当驾驶被行车电脑接管之后，人类司机将如何根据实际情况做出反应。”

事实上，我们有有可能在自动驾驶汽车上玩手机，或者通过视频电话聊天，并不会对计算机如何驾驶汽车时刻保持警惕。或许我们第一次乘坐自动驾驶汽车时不会如此大意，但久而久之势必如此。

而当自动驾驶汽车的计算机真把控制权交还给人类时，有可能是遇到了最极端和最具挑战性的情况。当法航447航班的自动驾驶仪让三位飞行员接管飞机时，他们也仅仅两三分钟的时间去考虑如何处置。而当行车电脑宣布“自动驾驶模式断开”时，我们把目光从智能手机屏幕上移开，看到一辆公交车迎面而来，我们能有挽回的机会吗？

普拉丹翰提出了这样一种设想，在人类获准操控自动驾驶汽车之前，应当具备若干年的手动驾驶汽车经验。但我们很难知道这是否真的有效。不论一位司机拥有多少年驾龄或是驾驶技术有多么娴熟，一旦让计算机接管了汽车驾驶，他的驾驶技能势必会日渐生疏。从另一方面讲，普拉丹翰的建议也会带来这样一个难题：因为最有可能发生事故，所以我们或许会让年轻司机放弃手动驾驶。而即便他们学到了一些驾驶技能，但在自动驾驶汽车的影响下也很快会退化。

正是因为数字设备出色地解决了小问题，所以才为大错误的产生埋下隐患。这些系统无微不至地为我们避开了所有令人尴尬的反馈，去除了所有实践磨砺技能的可能。当危机来临，我们会悲伤地发现自己是何等无能和措手不及。

在飞行训练中，一些经验老道的飞行员会要求初学者时不时关闭自动驾驶仪，从而保持自己的技能水平，这听起来似乎是一个好的建议。但是问题在于，如果初级飞行员仅仅是在绝对安全的情况下关掉自动驾驶仪，其效果也是相当有限的。但倘若让他们在具有挑战性的情况下关闭自动驾驶仪，又有可能引发出真正的事故？

另一种解决方案是把计算机与人类的角色相互调换。通常情况下，我们让计算机驾驶飞机、让人类在出现异常情况时接手，为什么我们要让人来监督机器，而不是反过来呢？角色互换或许更好，让人类驾驶飞机，而让计算机进行监督，并在出现异常时进行干预。毕竟，计算机不知疲倦，富有耐心，更重要的是不需要练习。

譬如在无人机操作中，需要人来保护计算机，这时计算机的编程算法可以应对一些极端的异常情况。而一个更好的自动化系统也应如此，其需要人类操作者进行更多、更频繁的操作。如果一个系统需要人类在短时间内对极端情况进行迅速处置，那么无疑让人类一直保持工作状态或许更有意义。

20世纪80年代中期，一名名为汉斯·蒙德曼（Hans Monderman）的荷兰交通工程师受命来到了Oudehaske这个小村庄，在当地，两个孩子因车祸而丧生。蒙德曼的雷达测速仪显示整个村庄的交通隐患是司机们开的太快。起初他考虑了那些传统的限速解决方案：交通灯、减速带、警示标志等等，但无疑这些方法成本高昂且效果有限。譬如在交通信号灯以及减速带的直接作用下，司机的确会减速，但在没有这些设备的路面，他们一样开的飞快。

因此蒙德曼尝试进行了一些创新。他对通过Oudehaske的主干道进行了重新设计，使其看起来更像是一条穿村而过的小路。蒙德曼将路面上现有的交通标志悉数去除。蒙德曼认为，警示标志是道路的表现形式。在更深层次上，交通标志存在的效果是为了提醒司机他们是一条道路上，一条汽车行驶的道路上。而蒙德曼想告诉他们的是，他们也在一个村子里，这里也有很多孩子。

接下来，蒙德曼用红砖铺地代替了沥青路面，用平缓弯曲的排水沟代替了凸起的路沿。之前司机在通过村庄时，像在平常道路上行驶一样，并没有真正关心他们在做什么。而现在，他们面临一个混乱的情况，不加注意很难辨别特定的行驶路线，或者区分哪些空间属于汽车而哪些空间属于村里的孩子。正如汤姆·范德比尔特（Tom Vanderbilt）在其《交通》一书中所述，蒙德曼的策略“不是清晰和隔离，他人为制造了混乱和歧义。”

因为困惑，所以司机采取了谨慎的方式驾驶。他们开车缓慢通过Oudehaske，蒙德曼再没有发现超速。通过让驾驶员面对犯更多的小错误的可能，他们惹大麻烦的概率就大大减少。

蒙德曼是世界上最著名的交通规划师之一，他力主推行让交通更为流畅和安全的策略。贯用的方法是设置交通信号灯、公共汽车车道、自行车道、隔离栏等等，明确告知司机应当做什么或是应当去哪里。

然而，有时需要反其道而行之。荷兰德拉赫滕的Laweiplein广场曾是一个典型的交叉路口，事故多发。其有一个购物中心以及一个大型剧院，车多人杂。因为拥堵时常发生，司机在等待信号灯时往往会过于关注交通标志，而不会过多考两次其他道路使用者。而蒙德曼于2003年建立了一个正方形的广场喷泉，去除了所有交通信号灯，减少了路面交通标志，汽车从四个方向汇进并穿越广场，而行人以及自行车辆也需要穿越广场且没有信号灯的保护，显然汽车、自行车以及行人正在以一种混乱的方式彼此交织在一起。

但是现在的Laweiplein广场每天都有两万两千多辆汽车穿梭，但汽车通过路口的时间却减少了一半，而交通事故的发生率也大大较少。

这种新的交通方式给了司机更多的自主权。他们不知道会发生什么，或是哪会窜出一个骑自行车的人，因此会在谨慎情况下缓慢前行。虽然取消了信号灯的广场有事故风险，但不会有安全威胁。司机慢速通过已经成为习惯，司机、骑车人、行人之间有时间通过眼神交流来进行沟通，而彼此之间不再成为威胁或是障碍。当记者采访Laweiplein广场时，蒙德曼大胆闭上他的眼睛，汇入车流，但汽车只是在他周围缓慢前行，并没有响起此起彼伏的喇叭声。

在蒙德曼的设计中，司机甚至没有机会去切换到自动驾驶模式，这种混乱让他们集中注意力，专注于驾驶。无疑，这种混乱中的混乱，不安全中的安全，反而让人们保持了工作状态，发挥了人与机器结合的最大效果。（晗冰）