纽约大学研究揭示大型语言模型在医学信息训练中的潜在风险

数据 “投毒” 的隐患

1 月 14 日消息,纽约大学的一项研究揭示了大型语言模型（LLM）在医学信息训练中的潜在风险。研究表明,即使训练数据中仅含有 0.001% 的错误信息,也可能导致模型输出不准确的医学答案。数据 “投毒” 是一个相对简单的概念,通过在训练数据中注入特定信息,可以使模型在生成答案时将这些信息视为事实。

研究方法与结果

研究团队选择了一个常用于 LLM 训练的数据库 “The Pile” 作为研究对象。该数据库包含大量医学信息,其中约四分之一的来源未经人工审核,主要来自互联网爬取。研究人员在三个医学领域（普通医学、神经外科和药物）中选择了 60 个主题,并在 “The Pile” 中植入了由 GPT-3.5 生成的 “高质量” 医学错误信息。结果显示,即使仅替换 0.5% 至 1% 的相关信息,训练出的模型在这些主题上生成错误信息的概率也显著增加,且这些错误信息还会影响其他医学主题。

错误信息的影响门槛

研究人员进一步探讨了错误信息的最低影响门槛。以疫苗错误信息为例,即使错误信息仅占训练数据的 0.01%,模型生成的答案中就有超过 10% 包含错误信息；当错误信息比例降至 0.001% 时,仍有超过 7% 的答案是有害的。针对拥有 700 亿参数的 LLaMA 2 模型进行类似攻击,仅需生成 4 万篇文章（成本低于 100 美元）便可。这些 “文章” 可以是普通的网页,可以把错误信息放置在网页中不会被正常浏览到的区域,甚至可以通过隐藏文本来实现。

现有错误信息问题

现有的错误信息问题同样不容忽视。许多非专业人士倾向于从通用 LLM 中获取医学信息,而这些模型通常基于整个互联网进行训练,其中包含大量未经审核的错误信息。研究人员设计了一种算法,能够识别 LLM 输出中的医学术语,并与经过验证的生物医学知识图谱进行交叉引用,从而标记出无法验证的短语。虽然这种方法未能捕捉所有医学错误信息,但成功标记了其中大部分内容。

医学数据库的局限性

然而,即使是最好的医学数据库（如 PubMed）也存在错误信息问题。医学研究文献中充斥着未能实现的理论和已被淘汰的治疗方法。研究表明,即使依赖最优质的医学数据库,也无法保证训练出的 LLM 完全免受错误信息的影响。医学领域的复杂性使得打造一个始终可靠的医学 LLM 变得尤为困难。

总结

纽约大学的研究揭示了大型语言模型在医学信息训练中的潜在风险,尤其是数据 “投毒” 带来的隐患。即使是微小比例的错误信息,也可能对模型的输出产生重大影响。随着 AI 技术的发展,如何确保训练数据的准确性和可靠性,成为了一个亟待解决的重要问题。在医学领域,打造一个始终可靠的 LLM 更是面临巨大的挑战。