耶鲁大学医学院的一项新研究展示了数据完整性问题在每个阶段——训练、模型开发、出版和实施——如何对患者结果产生不利影响。耶鲁医学院的临床医生表示，这项研究具体关注AI模型开发的不同阶段，展示了数据完整性问题如何影响健康公平和护理质量。
为何重要
该研究本月早些时候发表在《PLOS数字健康》上，通过现实世界和假设的例子说明了AI偏见如何对医疗服务产生不利影响——不仅在护理点，而且在医学AI开发的每一个阶段：训练数据、模型开发、出版和实施。
“偏见进；偏见出，”该研究的高级作者、耶鲁医学院放射学与生物医学影像学及泌尿学助理教授约翰·奥诺弗雷（John Onofrey）在一份新闻声明中说。“多年来一直在机器学习/AI领域工作，算法中存在偏见这一想法并不令人惊讶。然而，列出所有可能进入AI学习过程的偏见方式是令人难以置信的。这使得偏见缓解似乎是一项艰巨的任务。”
正如研究指出的那样，偏见几乎可以在算法开发管道的任何地方出现。研究人员说：“偏见可以出现在数据特征和标签、模型开发和评估、部署和出版中。某些患者群体样本量不足可能导致性能不佳、算法低估和临床上无意义的预测。缺失的患者发现也可能导致模型行为偏见，包括可捕捉但非随机缺失的数据，如诊断代码，以及通常或不易捕捉的数据，如健康的社会决定因素。”
同时，“用于训练监督学习模型的专家注释标签可能反映隐性认知偏见或次标准护理实践。在模型开发过程中过度依赖性能指标可能会掩盖偏见并降低模型的临床效用。当应用于训练队列之外的数据时，模型性能可能会从之前的验证中恶化，并且可能在不同子群体之间差异地恶化。”当然，临床最终用户与AI模型的互动方式也可以引入自己的偏见。
最终，“谁开发和发布了这些AI模型，以及由谁开发，影响着未来医学AI发展的轨迹和优先事项，”耶鲁研究人员说。他们指出，任何缓解偏见的努力——“收集大型和多样化的数据集、统计去偏方法、彻底的模型评估、强调模型可解释性以及标准化的偏见报告和透明度要求”——都必须谨慎实施，密切关注这些防护措施如何防止对患者护理的不利影响。“在临床环境中实际实施之前，通过临床试验进行严格的验证至关重要，以证明其无偏应用，”他们说。“解决模型开发各阶段的偏见对于确保所有患者都能平等地受益于未来的医学AI至关重要。”
但该报告《医学AI中的偏见：对临床决策的影响》提出了一些缓解偏见的建议，旨在改善健康公平。例如，先前的研究发现，使用种族作为估计肾功能的因素有时会导致黑人移植患者等待名单上的时间更长。耶鲁研究人员提出了几项建议，以帮助未来的AI算法使用更精确的措施，如邮政编码和其他社会经济因素。
记录在案
“在医学AI模型中更大程度地捕获和使用健康的社会决定因素进行临床风险预测将是至关重要的，”耶鲁医学院一年级医学生、该研究的第一作者詹姆斯·L·克罗斯（James L. Cross）在一份声明中说。“偏见是一个人类问题，”耶鲁放射学与生物医学影像学副教授、研究合著者迈克尔·乔马（Michael Choma）博士补充道。“当我们谈论‘AI中的偏见’时，我们必须记住，计算机是从我们这里学习的。”
(全文结束)