专家警告：OpenAI Whisper 工具广泛应用中存 “幻觉” 风险

问题概述：Whisper 工具的广泛应用与隐患

专家们认为,OpenAI 的 Whisper 工具在全球多个行业中被广泛应用,包括翻译和转录访谈内容、生成常见消费科技文本及制作视频字幕。然而,这一工具存在的 “幻觉” 现象令人担忧,尤其是在高风险领域的应用。

高风险领域：医疗行业的匆忙采用

尽管 OpenAI 已提醒不应在 “高风险领域” 使用 Whisper,但一些医疗机构仍在匆忙采用基于 Whisper 的工具来记录医生与患者的咨询记录。这一现象带来了潜在的风险,因为错误的转录内容可能对医疗决策产生严重影响。

研究发现：幻觉现象普遍存在

报道称,研究人员和工程师在工作中经常遇到 Whisper 的 “幻觉” 现象,问题的整体规模尚不清楚。例如,密歇根大学一位研究员在研究公共会议时发现,在尝试改进模型前,他所检查的十份音频转录中,八份含有虚构内容。一位机器学习工程师透露,在最初分析的超过 100 小时 Whisper 转录中,大约一半的内容存在 “幻觉” 现象。一位开发人员进一步指出,在他用 Whisper 生成的 26000 份转录中,几乎每一份都带有虚构内容。

音质良好样本也未能幸免

即便是音质良好的简短音频样本,也未能幸免于这些问题。计算机科学家们的最新研究表明,他们审查的 13000 多段清晰音频片段中,有 187 段出现了 “幻觉” 现象。研究人员认为,这一趋势意味着,在数百万条录音中将可能出现数以万计的错误转录。

OpenAI 的回应：持续改进与反馈采纳

OpenAI 的发言人表示,该公司持续研究如何减少幻觉,并且感谢研究者的发现,将会在模型更新中采纳反馈。这表明 OpenAI 正在积极应对这一问题,并致力于提升 Whisper 工具的准确性。

总结

OpenAI 的 Whisper 工具在全球多个行业中被广泛应用,但其 “幻觉” 现象引发了专家们的担忧。尽管 OpenAI 已提醒不应在高风险领域使用该工具,一些医疗机构仍在匆忙采用,带来了潜在的风险。研究发现,Whisper 的幻觉现象普遍存在,甚至在音质良好的样本中也未能幸免。

OpenAI 表示将持续研究如何减少幻觉,并在模型更新中采纳反馈。这一回应表明 OpenAI 正在积极改进 Whisper 工具,以提升其准确性和可靠性。用户在使用 Whisper 工具时,应保持谨慎,特别是在高风险领域,以避免因错误转录带来的负面影响。