医疗保健AI旨在节省成本，却需要大量昂贵的人力
作者：Darius Tahir
2024年12月23日 / 上午5:00 / KFF健康新闻
关注美国：AI革命
关注美国：医疗保健、化妆品及其他领域的AI进展 19:37
为癌症患者准备面对艰难决策是肿瘤学家的工作。然而，他们并不总是记得这样做。在宾夕法尼亚大学卫生系统，医生们被一种预测死亡几率的人工智能算法提示，讨论患者的治疗方案和临终愿望。
但这远不是一种设置后就可以置之不理的工具。一项常规技术检查发现，该算法在新冠疫情期间性能下降，预测死亡率的能力降低了7个百分点，根据2022年的一项研究。
这可能产生了实际影响。该研究的主要作者、埃默里大学肿瘤学家Ravi Parikh告诉KFF健康新闻，该工具多次未能促使医生进行重要讨论——可能避免不必要的化疗——与需要这些讨论的患者。他认为，许多旨在改善医疗服务的算法在疫情期间都减弱了，而不仅仅是宾夕法尼亚医学中心的那一个。“许多机构并未定期监测其产品的性能”，Parikh说。
算法故障是计算机科学家和医生长期以来承认的一个难题，但开始让医院管理人员和研究人员感到困惑：人工智能系统需要持续的监控和人员配置，以确保它们正常运行。
本质上：你需要人力和更多的机器来确保新工具不会出错。
“每个人都认为AI将帮助我们提高访问和容量，改善护理等。”斯坦福健康护理首席数据科学家Nigam Shah说，“所有这些都是美好而有益的，但如果它使护理成本增加20%，这可行吗？”
政府官员担心医院缺乏资源来验证这些技术。FDA专员Robert Califf在最近的一次AI机构小组会议上说：“我到处寻找，我不相信美国有任何一家医疗机构能够在临床护理系统中验证一个AI算法。”
AI已经在医疗保健中广泛使用。算法用于预测患者死亡或恶化的风险，建议诊断或分诊患者，记录和总结访问以减少医生的工作量，以及批准保险索赔。
如果技术传道者是对的，这项技术将成为普遍存在的——并且有利可图。投资公司Bessemer Venture Partners已经确定了大约20家健康重点的AI初创公司，每家公司的年收入有望达到1000万美元。FDA已经批准了近一千种人工智能产品。
评估这些产品是否有效具有挑战性。评估它们是否继续有效——或者是否出现了软件等同于爆缸或漏油的问题——更为棘手。
耶鲁医学最近的一项研究评估了六个“早期预警系统”，这些系统会在患者可能迅速恶化时提醒临床医生。芝加哥大学的医生Dana Edelson和提供其中一个算法的公司联合创始人表示，超级计算机运行了几天的数据。这个过程非常有成效，显示了六种产品之间巨大的性能差异。
医院和供应商选择最适合他们需求的最佳算法并不容易。普通医生身边没有超级计算机，也没有AI版的《消费者报告》。
“我们没有标准”，美国医学会前任主席Jesse Ehrenfeld说，“今天我没有可以指给你看的标准，关于如何评估、监控、查看已部署模型或算法的性能，无论是否AI支持。”
医生办公室中最常见的AI产品称为环境记录，这是一种技术辅助助手，可以监听和总结患者访问。今年迄今为止，Rock Health的投资者已经追踪到3.53亿美元流入这些记录公司。但是，Ehrenfeld说，“目前还没有比较这些工具输出的标准。”
这是一个问题，即使是小错误也可能造成毁灭性的影响。斯坦福大学的一个团队尝试使用大型语言模型——支持流行AI工具如ChatGPT的技术——来总结患者的病史。他们将结果与医生的记录进行了比较。
“即使在最佳情况下，模型的错误率也达到了35%”，斯坦福大学的Shah说。在医学中，“当你写总结时遗漏了一个词，比如‘发烧’——我是说，这是个问题，对吧？”
有时，算法失败的原因相当合理。例如，基础数据的变化会削弱其有效性，就像医院更换实验室提供商一样。
然而，有时陷阱却毫无明显原因地出现。
波士顿麻省总医院布里格姆个性化医学项目的科技执行官Sandy Aronson表示，当他的团队测试一个旨在帮助遗传咨询师查找有关DNA变异相关文献的应用程序时，该产品遭受了“非确定性”——也就是说，在短时间内多次询问相同问题时，它给出了不同的结果。
Aronson对大型语言模型为负担过重的遗传咨询师总结知识的潜力感到兴奋，但“这项技术需要改进”。
如果指标和标准稀缺，错误可能因奇怪的原因出现，那么机构该怎么办？投入大量资源。Shah说，在斯坦福大学，审计两个模型的公平性和可靠性花了8到10个月的时间，耗时115个人工小时。
接受KFF健康新闻采访的专家提出了让人工智能监控人工智能的想法，由一些（人类）数据专家同时监控两者。所有人都承认，这将要求组织花费更多资金——鉴于医院预算的现实和AI技术专家的有限供应，这是一项艰巨的任务。
“拥有一个愿景，融化冰山以监控他们的模型，这很棒。”Shah说，“但真的是我想要的吗？我们还需要多少人？”
KFF健康新闻是一个全国性的新闻室，专门报道健康问题的深度新闻，是KFF的核心运营项目之一——KFF是独立的健康政策研究、民意调查和新闻来源。
(全文结束)