使用人工智能进行心理健康支持的兴趣日益增长，但新的证据表明，基于AI的聊天机器人可能对抑郁症患者带来微妙而重要的风险。最近发表在arXiv上的一项名为《AI聊天机器人用于心理健康：来自抑郁症患者经历的价值和危害》的研究，详细探讨了抑郁症患者如何看待与AI聊天机器人（如GPT-4o）互动的好处和危险。印第安纳大学印第安纳波利斯分校和伊利诺伊大学厄巴纳-香槟分校的研究人员开发了一种名为“Zenny”的技术探针，并与17名参与者进行了访谈，揭示了用户价值观、潜在危害和伦理设计挑战的关键见解。
抑郁症患者在使用AI聊天机器人时优先考虑哪些价值？
研究旨在探索具有抑郁症经历的人在使用AI聊天机器人进行自我管理时所优先考虑的基本价值观。通过广泛的场景式访谈，研究确定了五个核心价值观：信息支持、情感支持、个性化、隐私和危机管理。
参与者一致强调需要准确且可操作的信息支持，这反映了他们对聊天机器人的依赖，以获取日常抑郁管理策略的指导。情感支持同样重要，许多用户赞赏聊天机器人的同理心语气和认可，尽管大多数人仍然更喜欢与人进行深层次的情感交流。个性化响应受到高度重视，用户寻求基于个人情况的定制建议，而不是通用建议。然而，隐私问题贯穿整个访谈，特别是对于敏感的心理健康数据被滥用的担忧，如果聊天机器人缺乏强有力的保护措施。最后，危机管理成为关键期望：用户对AI聊天机器人处理紧急情况（如自杀念头或严重情绪崩溃）的能力表示严重担忧。
研究表明，用户的优先事项不是抽象或普遍的，而是深深植根于管理和应对污名化和复杂疾病的日常生活现实中。这些从实际经验而非假设用例中得出的价值观，为理解聊天机器人可能引入的具体风险奠定了基础。
AI聊天机器人在心理健康方面可能会带来哪些潜在危害？
研究结果描绘了当AI聊天机器人在没有足够保障的情况下用于心理健康自我管理时，可能出现的详细且令人担忧的危害画面。
一个主要问题是不准确或不适用的信息支持。参与者描述了聊天机器人提供误导性医疗信息或未考虑到身体残疾或共病的情况，这可能会恶化他们的心理健康状况。错误或无关建议导致的情感损害被标记为一个直接的设计缺陷。
虽然聊天机器人提供的即时情感支持是有帮助的，但它也引发了对过度依赖机器满足情感需求的担忧。参与者担心大量使用聊天机器人可能会加剧社交孤立，这是抑郁症的一个关键因素。尽管用户欣赏无偏见的环境，但他们认识到真正的人类同情是不可替代的。
一个更深层次、更具系统性的风险是所谓的个性化-隐私困境。用户寻求个性化的支持，但又对与AI系统共享私密个人信息持谨慎态度。许多人描述了自我保护行为，如使用隐身模式、在查询中掩盖个人细节或维护独立的电子邮件身份。高度个性化建议的需求与强烈的保护个人隐私本能之间存在冲突，特别是在对数据泄露和企业滥用的担忧日益增加的情况下。
最后，有一个压倒性的共识认为，聊天机器人并不具备处理危机情景的能力。参与者强调，如果没有适当的危机检测和干预协议，AI工具可能会在心理健康紧急情况下提供虚假的安全感，导致悲剧后果。风险不仅在于糟糕的建议，还在于在关键时刻创造一种虚假的安全感。
如何负责任地设计用于心理健康支持的AI聊天机器人？
该研究不仅提出了警告，还为塑造未来医疗保健领域AI的研究人员、开发者和政策制定者提供了切实可行的建议。
对于信息支持，研究人员建议聊天机器人明确披露其信息限制，敦促用户交叉检查医疗建议并咨询人类专业人士。建议应通过动态跟进问题来收集必要的上下文信息，然后再提供建议。
为了解决情感支持方面的担忧，聊天机器人应鼓励用户保持人际社交联系，并将自己定位为治疗师或现实世界支持网络的补充工具。可以推动用户进行人际连接的功能可以减轻社交孤立的风险。
为了解决个性化-隐私困境，研究提倡用户控制的数据模型，使个人能够查看、管理和删除聊天机器人收集的信息。透明沟通关于存储、推断和使用的内容应成为行业标准。
对于危机管理，未来的聊天机器人必须嵌入关于其在危机情况下局限性的明确免责声明，整合基本的危机响应协议，并在检测到某些风险信号时无缝重定向到专业求助热线和紧急服务。应建立治理机制，确保敏感心理健康应用中的安全标准得到执行。
(全文结束)