DeepMind陷舆论争议：或造成健康数据过度垄断|deepmind|人工智能|应用程序|人工智能公司|谷歌

分享至

本文系网易智能工作室（公众号 smartman163）出品。聚焦AI，读懂下一个大时代！

【网易智能讯 6月20日消息】DeepMind进军数字医疗服务领域的努力仍令人担忧。最近的担忧是由谷歌旗下的人工智能公司任命的一个外部审查人员组成的小组所带来，该小组就DeepMind与英国国家医疗服务（NHS）进行初步数据共享进行报告。这使得DeepMind引发了一场重大公众争议。

2018年DeepMind Health独立评论者报告（The DeepMind Health Independent Reviewers’2018 report）标志了一系列风险和担忧,在他们看来,这包括DeepMind健康能够“发挥过度的垄断力量”，这是基于数据访问和与Streams应用程序规则绑定的流媒体基础设施所带来的结果。这将DeepMind定位为结构化健康数据以及任何其他第三方之间的访问控制中介，这些第三方可能在未来希望向Trust提供其数字帮助解决方案。

虽然DeepMind的Streams应用部署的基础FHIR（fast healthcare interoperability resource，又名快速医疗互操作性资源）使用开放式API，但该公司与Royal Free Trust之间的合同通过DeepMind自己的服务器连接，并禁止连接到其他FHIR服务器。这个商业结构似乎与DeepMind的共同创始人穆斯塔法苏莱曼（Mustafa Suleyman）声称支持的开放性和互操作性言论相悖。

“IT领域有很多例子，公司将客户锁定在难以改变或替换的系统中。这样的安排不符合公众的利益。我们不希望看到DeepMind Health将自己置于这样的位置，即医院等客户发现自己被迫与DeepMind Health保持联系，即使这已经不再是经济上或临床上明智的做法。我们希望DeepMind Health能够在质量和价格上进行竞争，而不是通过巩固遗留的立场来进行竞争“，一位评论员写到。

尽管他们指出DeepMind“对系统互操作性的陈述承诺”以及“采用FHIR开放API”是一种积极的指示，但同时“这意味着其他许多中小企业有可能参与其中，创造多样化和创新的市场，为消费者，创新和经济服务。”

“我们还注意到DeepMind Health公司打算将Streams的许多功能作为可轻松交换的模块来实施，这意味着其将不得不依靠最好的方式来维持业务。”他们补充道。

然而，陈述的意图和未来潜力显然与实际情况不一样。而且，就目前而言，技术上可互操作的应用交付基础设施正受到商业合同中禁止性条款的约束，以及缺乏针对此类行为的监管阻力。

评论者还对DeepMind Health的商业模式持续缺乏明确性表示担忧，“鉴于目前的环境，DeepMind Health的商业模式并不清楚，人们很可能会怀疑有一个未公开的利润动机或隐藏的议程。我们并不认为这是事实，但会敦促DeepMind Health对其商业模式保持透明，并且坚持这一点的能力不会被Alphabet忽略。一旦隐藏议程的想法在人们的头脑中固定下来，无论公司的动机如何，公共利益都很难转变。”

“我们已经就DeepMind Health在这一领域发展的想法进行了详细对话，并且知道其中一些问题还没有最终确定。然而，我们敦促DeepMind Health公开提出他们提出的建议，“他们补充道。

DeepMind提出其想要建立能够按结果收费的医疗保健认证。但Streams不涉及任何AI。这项服务也是免费提供给NHS Trusts的，至少在头五年。这就提出了Google旗下的的公司如何收回投资的问题。

谷歌当然可以通过一系列免费使用的消费类产品（如Android手机操作系统）进行货币化，这其中还有云电子邮件服务Gmail以及YouTube视频共享平台，此类产品收集用户的个人数据并将信息提供给广告定位平台。

因此，评论员建议DeepMind对其商业模式进行思考与阐述，以避免人们对其医疗数据背后的意图产生质疑。

如果允许DeepMind在数字医疗保健服务提供商中占据支配地位，该公司的历史作风也显露出了潜在的垄断风险—考虑到其母公司如何有效地将免费原始设备制造商移动操作系统（Android）变为全球化主导的智能手机操作系统。

因此，尽管DeepMind在这个阶段与NHS Trusts签订了少量合同，但审查人员对公司获得“过度垄断权”风险的担忧似乎并不显得过分。

他们还对DeepMind与其母公司Alphabet的工作合作方式所呈现出的模糊性表示担忧，哪些数据可以被传输给广告巨头也不甚明朗——当数据信息被用于广告并与DeepMind处理的个人医疗记录相叠加时，这是一种不可避免却令人不安的组合。

“DeepMind Health能够在多大程度上将自己与Alphabet保持相对独立，引导其未来避免做一些它今天承诺不会做的事情？或者，如果DeepMind Health目前的管理层离开DeepMind Health，那么新任CEO能够在多少程度上改变今天已经达成的协议？”他们写道。

“我们赞赏DeepMind Health将继续受法律和监管框架的约束，但我们的大部分注意力都集中在DeepMind Health采取的步骤上，站在比法律要求更为合乎道德的立场之上，这一切都可以结束了吗？我们鼓励DeepMind Health以更强大的方式加强与Alphabet和DeepMind的分离，从而使其能够对其作出的承诺保持持久的力量。”

在回应中，DeepMind写道“正在制定我们的长期业务模式和路线图”。

“我们的首要任务就是证明我们的技术可以帮助改善患者护理质量并降低成本，而不是为我们早期阶段的收费。我们相信，我们的业务模式应该来自我们创造的积极影响，并将继续探索基于结果的要素，以便成本至少部分与我们提供的收益相关。”DeepMind继续表示。

因此，除了开展一些公共关系的节目之外，并没有什么可以减轻评论者对将健康数据货币化意图的担忧。

在与Alphabet的联合中，DeepMind也很少提及，只写道：“我们会进一步的探索具有法律效应的框架，去确保管理我们所有的与国民医疗服务计划(NHS，National Health Service)的合作都合法。

“Trust公司会始终托管着健康数据，”它补充道。“我们只会根据和合作者约定的合同去使用患者的数据，做到合法而且合规。我们将继续与Trust公司签署法律协议，以便审查这一重要问题。”

“在我们与合作伙伴约定的法律协议中，没有任何条例阻止他们与任何其他数据处理方合作，如果他们希望寻求另一个提供商的服务。”它接着回应了我们提出的其他问题。

“我们希望Streams能够帮助解锁NHS下一波的创新浪潮。Streams的基础架构是建立在最先进的开放式互操作标准之上，即FHIR。在英国，NHS Digital、NHS England和INTEROPen集团应用FHIR标准。这应该使我们的合作伙伴相信与其他开发人员的合作是更容易的，从而帮助他们为临床前线带来更多创新，”它向我们补充了一些评论。

“根据我们与相关合作伙伴Trust的合同协议，我们承诺在协议的五年内制定FHIR API基础设施。”

当被问及在去年公布的用于验证健康数据访问的技术审计基础架构方面取得的进展时，DeepMind重申了其博客上的措辞，称：“我们将保持对设定尽可能高的信息治理标准的警惕。今年年初，我们任命了一名全职信息管理经理来监督我们在所有工作领域使用的数据。我们还在继续构建我们的可验证数据审计和其他工具，以清楚地展示我们如何使用数据。”

因此，这一方面的发展看起来像我们预期的那样缓慢。

这家Google旗下的英国人工智能公司于2015年开始推进数字医疗服务，与伦敦的NHS Trust悄悄签署信息共享协议，为其提供了大约160万人的医疗记录，用于开发病情警报应用程序，该程序被称为“急性肾损伤”。

其还与Trust签署了一份合作备忘录，双方表示了将AI应用于NHS数据集的雄心。（他们甚至为AI项目获得了道德标志 ——但一直声称并Royal Free数据未供应给任何认可机构。）

然而，2016年5月，当Royal Free with DeepMind透露患者数据的范围时（通过调查性新闻而不是Trust或DeepMind的披露），数据共享合作遇到了麻烦。

160万人的非匿名病历在未被告知或征得同意的情况下被转交给Google旗下的公司，基于数据共享安排的法律依据，这一问题引发了质疑。

去年夏天，英国的隐私监管机构对该项目进行了调查 - 发现Royal Free NHS Trust在应用开发过程中违反了数据保护规则。

尽管考虑到道德问题和法规，人们对数据共享的合法性保有不满，但Streams项目仍在蒸蒸日上。Royal Free Trust继续将该应用程序提供给医院临床医生使用，而DeepMind还签署了几项额外的合同，将Streams部署到其他NHS Trust。

最近，法律事务所Linklaters在Trust委托下完成对Royal Free Streams项目的审计，作为其与ICO结算的一部分。虽然这次审计仅检查了Streams的当前功能。（在项目建设和测试阶段，没有对人员病历的合法性进行历史审核。）

Linklaters确实建议Royal Free通过DeepMind终止其更广泛的合作备忘录——而且该Trust已向我们证实，它将遵循该公司的建议。

“审计建议我们终止与DeepMind达成的历史性合作备忘录，该备忘录于2016年1月签署。合作备忘录与合作关系不再相关，我们正在终止合作关系，”Royal Free发言人告诉我们。

因此，DeepMind可能是世界上最著名的人工智能公司，它正处于参与向英国医院提供数字医疗服务的奇怪位置，这些医院实际上并不涉及任何人工智能。（尽管医院也有一些与NHS Trusts进行的AI研究项目。）

2016年年中，在Royal Free DeepMind数据丑闻的高峰期中，为了争取更多的公众信任，该公司任命了外部审查小组，他们现在已经编写了第二份报告，研究该部门的运作情况。

公平地说，科技行业发生了很多事情，因为专家组被指定为进一步破坏公众对技术平台和算法承诺的信任——包括ICO发现Royal Free和DeepMind之间的初始数据共享违反了了英国隐私法律。

2018报告小组的8名成员是：Martin Bromiley OBE、Elisabeth Buggins CBE、Eileen Burbidge MBE、Richard Horton、Julian Huppert博士、Donal O’Donoghue教授、Matthew Taylor和John Tooke教授。

在他们最新的报告中，外部评论员警告说，公众对科技巨头的看法与一年前相比有“大幅转变” ——他们断言“数字时代的隐私问题如果有的话，更值得关注”。

与此同时，政界人士也更关注技术巨头的成果和社会影响。

尽管英国政府也热衷于将自己定位为AI的支持者，为该部门提供公共资金，并在其“工业战略”白皮书中将AI和数据确定为四大所谓的“重大挑战”之一，英国可以“在未来几年中引领世界” ，并专门将DeepMind作为该国引以为傲的少数领先的本土人工智能业务之一。

尽管如此，关于如何管理公共部门数据以及人工智能部署的问题，特别是在医疗保健等高度敏感的领域，仍需要政府进行明确解决。

与此同时，即使技术人员甚至不涉及任何人工智能，数字技术正在进入医疗保健领域。这种趋势带来了重大挑战，对现有的信息治理规则和结构施加了压力，并增加了垄断的风险。

当被问及NHS的数字服务提供商：NHS Digital是否为NHS Trust提供任何指导，包括医生的数字帮助，特别是它是否需要由不同的提供者提供的多个选项时，它将我们的问题提交给卫生部（DOH），并指出这是卫生政策的问题。

DOH反过来将问题提交给了英格兰国民保健局，该委员会是委员会的非部门机构，负责委托合同并确定英格兰卫生服务的优先顺序和方向。

在撰写本文时，我们仍在等待负责机构的回应。

最终，看起来卫生服务部门将为人工智能和数字决策服务建立一个清晰和健壮的结构，通过Trust在购买应用程序和服务时支持多个独立选项的需求，从而促进设计竞争。

没有这种重要的制衡和平衡，风险就在于平台动态将快速主导和控制新兴的数字健康援助领域——正如大型科技主导消费者科技一样。

但公共资助的医疗保健决策和数据集不应该简单地交给那些愿意并且能够消耗大部分资源来拥有这个空间的单一市场主导实体。

一个明显的风险是，当数字创新的一个重要领域有可能被一个科技巨头垄断，并在其他人有机会展示自身、市场初步形成的时候，面对巨头将自己定位为守门员的境况，政府不应该袖手旁观。