IBM沃森可致人死亡

刚被曝光的IBM内部文件显示，许多医生在使用Watson时，发现AI给出了“多个不安全、不正确的治疗意见”，甚至在极端的诊断案例中，Watson给有出血症状的癌症病人开了容易导致出血的药品，严重时可致患者死亡。

去年，在美国临床肿瘤学会年会上发表的研究表明，IBM Watson非常擅长为癌症患者制定治疗计划。然而，事实证明人工智能仍然远非完美。

可能你还不知道，明显存在bug的Watson系统并不是一个实验室中样品，这个可能会治死人的Watson已被全球超过230家医院使用，其中包括北大肿瘤医院、宣武医院等67家中国医院，分布在22个省份。

佛罗里达州朱庇特医院的一位医生告诉IBM高管，“在大多数情况下我们不能使用它。”

这些文件来自IBM Watson前副卫生主任Andrew Norden在他离开公司之前的演讲，一般只有IBM的管理层有权限查看。Norden在2017年6、7月间给出的报告显示，正在使用Watson for Oncology（Watson肿瘤解决方案）的医生们纷纷指出，Watson经常提出不准确的医疗建议。

文件中一个严重的例子是：

一名65岁的男性被诊断出患有肺癌，而同时，该患者也似乎有严重的出血症状。Watson给这名患者的诊疗建议是：

1、接受化疗；

2、使用治疗癌症的药物贝伐单抗（Bevacizumab，商品名Avastin阿瓦斯汀）。

而贝伐单抗这种药物可能导致的副作用之一，正是容易导致出血。在美国卫生系统药剂师协会对该药物的描述中，这种药物有时会发生严重乃至致命的出血事件，所以该协会建议不要给严重出血的患者服用。

除了展示客户不满意外，他们还揭示了方法、过程和底层技术上的问题：Watson for Oncology应该综合大量数据并提出新颖的见解。但事实上，提供给它的大多数数据都是假设的，而不是真实的患者数据。这意味着Watson提出的建议仅仅基于提供数据的少数医生，们的治疗偏好，而不是从分析真实案例中获得的实际见解。

一位IBM发言人曾表示，Watson for Oncology“支持超过84,000名患者的护理”并且仍在学习。但很显然，它学的或者并不是基于真实的情况。据媒体报道，有这一系统的230家医院中，至少包含了67家中国医院。

Watson最早进入公众视野是在2011年，它当时在电视智力节目《危险边缘》中击败了人类。这套系统具备强大的自然语言处理和数据库扫描能力，因而可以理解现场的复杂问题，快速给出答案。

外界对Watson这台智能超算的有效性，已经进一步产生了质疑。IBM向Watson业务投入数十亿美元，但“Watson医生”尚未给医疗行业带来革命，而且该部门对IBM仍然很难实现盈利。

 虽然纪念斯隆-凯特琳癌症中心认为医生们给人看病的时候不傻，不会完全听信Watson，但医生们的怀疑和抱怨却并不会因此消减。

首先这个案例说明：Watson的训练，是通过假设性的癌症病例，而不是真实的患者数据来进行。而此前IBM的高管一再告诉客户：“Watson for Oncology的建议是基于真实的患者数据，全世界的医生都喜欢这种工具”。

这让外界对Watson的有效性进一步产生了质疑。佛罗里达州的朱庇特医院就是愤愤不满的客户之一。在这份IBM的机密文件中，朱庇特医院的一位医生愤怒的说：“这玩意简直就是一坨翔！我们买Watson来，是因为它的营销搞的很厉害，让我们觉得能靠它来实现一些愿景。结果买来之后呢？这玩意什么都做不了！”

事件曝光后，朱庇特医院的肿瘤科医生Sujal Shah表示，只有当朱庇特医院的医生们对两种不同的治疗方案无法达成一致的时候，医生们才会看看Watson站哪边——现在5：5平，Watson你来投个票吧。

STAT此前的一项调查显示，Watson for Oncology其实没有达到IBM的预期，而这次曝光的文件表明，IBM的高管们知道自家产品给出的治疗建议与国家治疗指南相冲突，以及医生认为这套系统作用不大。

当然，一直以来IBM高管都对Watson赞誉有加。

被曝光的文件中还显示，有几位IBM员工对Norden直言，Watson这套产品的能力“非常有限”。

在给STAT的声明中，IBM表示已经根据客户反馈、新的科学进展、新的癌症治疗方案等，学习和改进了Watson Health。

令人担忧的是，这个被爆出会开错致命药的医疗AI，已经投入使用，被不少医院运用在对真实病人的诊断治疗中。

IBM发言人说，Watson肿瘤系统受过训练，可帮助肿瘤科医生治疗13种癌症，并被全球230家医院使用，“支持超过84000名患者的护理”。而230家医院中，至少有67家中国医院（截至2018年7月5日）。

IBM代理商百洋董事长付钢在去年10月表示：“目前，Watson for Oncology的服务多为患者自付费，平均每人5000元左右。”

参与训练Watson的纪念斯隆-凯特琳癌症中心回应此事称：“虽然Watson肿瘤系统提供安全的治疗选择，但治疗决策最终需要主治医生的参与和临床判断，没有任何技术可以取代医生的工作，也没有任何技术可以取代医生对自己病人的了解。”