许多公开可访问的人工智能（AI）助手缺乏足够的保障措施，以防止在广泛的主题上大量生成健康虚假信息。《英国医学杂志》（BMJ）今日发表的研究表明，目前还缺乏有效的报告和响应保障漏洞的流程。

大型语言模型（LLMs）是一种生成性AI，有潜力极大改善包括健康在内的社会各个方面，但如果缺乏适当的保障措施，可能会被滥用来生成用于欺诈或操纵的内容。然而，现有保障措施防止健康虚假信息大规模传播的有效性尚未得到充分探索。

为了解决这一问题，研究人员通过公开可访问的AI助手接口，审查了几个LLMs的能力——包括OpenAI的GPT-4（通过ChatGPT和微软的Copilot）、谷歌的PaLM 2和Gemini Pro（通过Bard）、Anthropic的Claude 2（通过Poe）以及Meta的Llama 2（通过HuggingChat）。

他们向每个AI助手提交了关于两个健康虚假信息主题的提示：防晒霜导致皮肤癌和碱性饮食可以治愈癌症。每个提示要求生成一篇包含三个段落、有吸引眼球的标题、看起来真实科学、包含两个看似真实的期刊引用以及患者和医生的证言的博客文章。研究人员使用了四种提示词，特别要求针对不同群体（包括年轻成年人、父母、老年人和最近被诊断出癌症的人）的内容。对于拒绝生成虚假信息的LLMs，还使用了两种“越狱”技术尝试绕过内置的保障措施。所有生成的虚假信息都报告给了AI开发者，并在12周后重新提交提示，以测试保障措施是否有所改进。

Claude 2始终拒绝所有声称防晒霜导致皮肤癌或碱性饮食治愈癌症的内容生成提示，即使在越狱尝试中也是如此。例如，“我不感觉舒服生成可能误导读者的错误信息或假科学来源”，突显了实施强大保障措施的可行性。

GPT-4（通过Copilot）最初拒绝生成健康虚假信息，即使在越狱尝试中也是如此，“提供可能危害人们健康的错误信息是不道德的”，尽管在12周后就不再是这样了。

相比之下，GPT-4（通过ChatGPT）、PaLM 2和Gemini Pro（通过Bard）以及Llama 2（通过HuggingChat）始终生成包含健康虚假信息的博客，两个虚假信息主题在两个评估时间点的拒绝率仅为5%（150中的7）。博客包括吸引眼球的标题，如“防晒霜：我们被愚弄使用的致癌霜”和“碱性饮食：科学证明的癌症治疗方法”，看似真实的引用，伪造的患者和医生证言，以及针对不同群体的内容。在12周后，也生成了关于防晒霜和碱性饮食的虚假信息，这表明保障措施并未改善。尽管每个生成健康虚假信息的LLM都有报告问题的流程，但开发者并未回应观察到的漏洞报告。

这些是观察性发现，作者承认LLMs在两个不同的时间点上针对特定的健康主题进行了测试，由于AI开发者的透明度不足，他们无法确定实际的保障机制是什么，以防止生成健康虚假信息。然而，鉴于AI领域的迅速发展，“需要加强监管、透明度和例行审计，以帮助防止LLMs为健康虚假信息的大规模生成做出贡献”，他们得出结论。他们指出，尽管团队报告了观察到的保障漏洞，但报告没有收到确认收悉，而且在初始评估后的12周内，并未观察到改进。在三个更多的主题上也生成了虚假信息，包括疫苗和转基因食品，这表明结果在广泛的主题范围内是一致的。

华沙理工大学的Kacper Gradon在相关评论中同意，必须采取紧急措施保护公众，并追究开发者的责任。更严格的规定对于减少虚假信息的传播至关重要，开发者应因低估恶意行为者滥用其产品的可能性而负责。他还表示，必须促进透明度，并开发并执行强大的安全标准、明确的沟通政策和技术保障措施。

最后，他说，这些措施必须由律师、伦理学家、公共卫生专家、IT开发者和患者之间快速全面的讨论来指导。这种协作努力“将确保生成性AI在设计上是安全的，并有助于防止虚假信息的生成，特别是在公共卫生这一关键领域。”