美国国防部的首席数字和人工智能办公室（CDAO）已经完成了一项针对在军事医疗服务中使用AI聊天机器人的试点项目。据1月2日的公告，国防部表示，此次众包AI红队测试（CAIRT）保障计划试点项目专注于使用大型语言模型（LLM）进行临床笔记总结以及作为军事医疗顾问。
越来越多的人工智能公司开始向美国军方和国防承包商提供其产品，以调查这些产品在军事应用中的实用性。根据国防部的说法，此次试点是由技术非营利组织Humane Intelligence进行的红队测试工作。该试点吸引了超过200名独立外部参与者，包括临床提供者和医疗分析师，他们比较了三个主要的聊天机器人模型。国防健康机构和卫生科学统一服务大学的分析师也与其他参与者合作，测试了这些聊天机器人在使用过程中可能存在的系统弱点和缺陷。
国防部表示，试点项目发现了数百个在军事医疗应用中使用聊天机器人时可能出现的问题。具体来说，“此次演习发现了800多个与在这些预期用例中使用这些功能相关的潜在漏洞和偏见。”国防部还表示：“此次演习将通过开发基准数据集产生可重复和可扩展的输出，这些数据集可用于评估未来的供应商和工具是否符合性能预期。”
CDAO的项目负责人马修·约翰逊（Matthew Johnson）表示，试点结果还将用于指导未来国防部对生成式人工智能（GenAI）系统的研发，这些系统可能会在未来部署。CDAO于2022年6月成立，旨在监督和推进美国军队和国防行动中数字和人工智能技术的整合。
(全文结束)