美国国防部（DoD）已经完成了Crowdsourced AI Red-Teaming (CAIRT) 保障计划试点项目，该计划旨在将AI聊天机器人整合到军事医疗服务中。这项由拜登政府支持的项目标志着美国国防部在AI技术应用于军事医疗方面的重要进展。
CAIRT计划幕后
根据国防部的说法，非营利组织Humane Intelligence与国防卫生局（DHA）和国防医疗管理系统项目执行办公室（PEO DHMS）合作进行了CAIRT大语言模型（LLM）试点。Humane Intelligence使用红队方法论来识别系统中的特定问题，包括通过内部测试系统的弹性，采用对抗性技术。此外，红队还吸引了对新兴技术感兴趣以及作为未来潜在受益者的参与者，他们有机会为系统的改进做出贡献。
在该计划中，Humane Intelligence使用了众包红队方法来解决军事医学中的两个潜在应用：临床笔记总结和医疗咨询聊天机器人。尽管发现了漏洞，但国防部指出，“这些发现将在塑造国防部关于生成式AI（GenAI）负责任使用的政策和最佳实践中发挥重要作用，最终改善军事医疗服务。”
AI在医疗领域的安全性
尽管AI对医学科学有着巨大的积极影响，但也伴随着显著的风险和挑战。AI系统依赖特定算法，需要大量数据集来提高准确性，这使得敏感患者数据面临安全、隐私和保密风险。制药和保险公司对这些数据集的兴趣也增加了黑客攻击的可能性。此外，数据投毒（即故意修改医疗数据以引入错误或偏见）是另一种重大风险，它会损害医疗建议的准确性和可靠性。AI使用不同的流行病学数据模型（如新冠疫情期间的数据）可能会产生不同的结果。
另一个问题是存在缺陷的医疗算法，可能由于缺乏足够的算法测试标准而出现。例如，双盲试验是证明治疗方法最有效的方法之一。然而，谁应该对这种错误负责——私人医生、医院、设备提供商还是算法开发者？因此，由机器故障引起的医疗错误引发了严重的法律问题。
此外，AI可能会削弱医患关系。医生需要了解AI评估和性能，以便向患者解释其作用，减少患者的焦虑。最后，存在所谓的“懒惰医生”现象。如果医生完全依赖AI算法进行诊断和治疗，可能导致实践技能、智力创造力和解决问题能力的不可逆丧失。
尽管如此，人们已经习惯了日常生活中的聊天机器人。通过适当的研究，AI聊天机器人可以消除医生的小错误，从而提高医疗环境的安全性。
(全文结束)