据报道，医院使用的人工智能转录工具发明了一些没人说过的话

科技巨头OpenAI吹嘘其人工智能转录工具Whisper具有接近“人类水平的稳健性和准确性”。

但对十几名软件工程师、开发人员和学术研究人员的采访显示，Whisper有一个重大缺陷：它很容易编造大块文本，甚至是整个句子。这些专家说，一些虚构的文字——在业内被称为幻觉——可能包括种族评论、暴力言论，甚至是想象出来的医疗方法。

专家表示，这种捏造是有问题的，因为Whisper在世界各地的许多行业都被用于翻译和转录采访，为流行的消费技术生成文本，以及为视频创建字幕。

2:05听起来像“她”：斯嘉丽·约翰逊声称OpenAI模仿了她的声音

他们说，更令人担忧的是，医疗中心急于利用基于whisper的工具来记录患者与医生的咨询，尽管OpenAI警告说，该工具不应在“高风险领域”使用。

下面的故事继续

这个问题的全面程度很难辨别，但研究人员和工程师说，他们在工作中经常遇到Whisper的幻觉。例如，密歇根大学（University of Michigan）的一名研究人员对公共会议进行了研究，他说，在他开始尝试改进该模型之前，他在检查的每10个音频转录中发现8个存在幻觉。

一位机器学习工程师说，在他分析的100多个小时的Whisper转录中，他最初发现了大约一半的幻觉。第三位开发人员说，他在用Whisper编写的2.6万份抄本中，几乎每一份都发现了幻觉。

即使在录制良好的短音频样本中，问题仍然存在。计算机科学家最近的一项研究发现，在他们检查的13000多个清晰音频片段中，有187种幻觉。

研究人员表示，这种趋势将导致数百万份录音中出现数万份错误转录。

阿隆德拉·纳尔逊（Alondra Nelson）说，这样的错误可能会产生“非常严重的后果”，特别是在医院环境中，他曾在拜登政府的白宫科技政策办公室（Office of Science and Technology Policy）担任主任，直到去年。

2:43商业事务：OpenAI首席技术官Mira Murati宣布令人震惊的离职

“没有人希望误诊，”新泽西州普林斯顿高级研究所（Institute for Advanced Study）的教授尼尔森说。“应该有一个更高的标准。”

下面的故事继续

Whisper还被用于为聋哑人和重听人制作封闭字幕，这是一个特别容易出现错误转录的人群。这是因为聋人和重听人没有办法识别“隐藏在所有其他文本中”的捏造，Christian Vogler说，他是聋人，同时也是加劳德特大学技术获取项目的负责人。

获取每周健康资讯每周日为您提供最新的医学新闻和健康资讯。注册每周健康通讯注册通过提供您的电子邮件地址，您已阅读并同意环球新闻的条款和条件以及隐私政策。

OpenAI迫切需要解决这个问题

这种幻觉的普遍存在导致专家、倡导者和OpenAI前员工呼吁联邦政府考虑制定人工智能法规。他们说，OpenAI至少需要解决这个缺陷。

“如果公司愿意优先考虑这个问题，这个问题似乎是可以解决的，”总部位于旧金山的研究工程师威廉·桑德斯（William Saunders）说。今年2月，由于担心OpenAI的发展方向，他退出了OpenAI。“如果你把它放在那里，人们对它的功能过于自信，并将它集成到所有其他系统中，这是有问题的。”

2:32商业事务：OpenAI表示，埃隆·马斯克同意ChatGPT制造商应该成为营利性公司

OpenAI发言人表示，该公司一直在研究如何减少幻觉，并对研究人员的发现表示赞赏，并补充说，OpenAI在模型更新中纳入了反馈。

下面的故事继续

虽然大多数开发人员认为转录工具会拼错单词或犯其他错误，但工程师和研究人员表示，他们从未见过另一种人工智能转录工具像Whisper一样产生如此多的幻觉。

耳语的幻觉

该工具被集成到OpenAI的旗舰聊天机器人ChatGPT的某些版本中，并且是甲骨文和微软云计算平台的内置产品，这些平台为全球数千家公司提供服务。它也被用来转录和翻译文本成多种语言。

仅上个月，一个最新版本的Whisper就在开源人工智能平台HuggingFace上被下载了420多万次。该公司的机器学习工程师桑吉特·甘地（Sanchit Gandhi）说，Whisper是最受欢迎的开源语音识别模型，从呼叫中心到语音助理，它都被内置在其中。

[03:29] OpenAI动荡一周后，人工智能先驱反思技术未来

康奈尔大学的Allison Koenecke教授和弗吉尼亚大学的Mona Sloane教授检查了他们从TalkBank（卡耐基梅隆大学托管的研究存储库）获得的数千个简短片段。他们确定，近40%的幻觉是有害的或令人担忧的，因为说话者可能被误解或歪曲。

下面的故事继续

在他们发现的一个例子中，一个说话的人说，“他，那个男孩，我不确定，要拿伞。”

但转录软件补充说：“他拿了一大块十字架，一小块……我确信他没有恐怖刀，所以他杀了很多人。”

健康问题：加拿大卫生部批准口服脑癌治疗致命的大肠杆菌爆发与麦当劳的四分之一磅汉堡有关健康问题：麦当劳的大肠杆菌爆发与洋葱有关bc省妇女死于有毒药物的人数在增加

研究人员不确定为什么Whisper和类似的工具会产生幻觉，但软件开发人员表示，这种幻觉往往发生在停顿、背景声音或音乐播放中。

OpenAI在其在线披露中建议，不要在“决策环境中使用Whisper，因为准确性的缺陷可能导致结果出现明显缺陷”。

记录医生预约

这一警告并没有阻止医院或医疗中心使用包括Whisper在内的语音转文本模型来转录医生在就诊期间所说的话，从而使医疗服务提供者减少记笔记或写报告的时间。

超过3万名临床医生和40个卫生系统，包括明尼苏达州的曼卡托诊所和洛杉矶儿童医院，已经开始使用Nabla开发的基于whisper的工具，Nabla在法国和美国都设有办事处

下面的故事继续

Nabla的首席技术官马丁·雷森（Martin Raison）说，该工具对医学语言进行了微调，可以转录和总结患者的互动。

4:19 公元前加入渥太华ChatGPT隐私调查

公司官员表示，他们已经意识到Whisper会产生幻觉，并正在缓解这个问题。

雷森说，无法将Nabla的人工智能生成的文本与原始录音进行比较，因为Nabla的工具出于“数据安全原因”会删除原始音频。

Nabla表示，该工具已被用于记录约700万次医疗访问。

前OpenAI工程师桑德斯表示，如果文本没有经过双重检查，或者临床医生无法访问录音以验证其正确性，那么删除原始音频可能会令人担忧。

他说：“如果你把基本事实拿走，你就抓不到错误。”

下面的故事继续

Nabla说，没有一个模型是完美的，目前他们的模型要求医疗提供者快速编辑和批准转录的笔记，但这可能会改变。

隐私问题

由于患者与医生的会面是保密的，因此很难知道人工智能生成的记录对他们有何影响。

加利福尼亚州议员丽贝卡·鲍尔-卡汉（Rebecca Bauer-Kahan）说，今年早些时候，她带着一个孩子去看医生，并拒绝签署医疗网络提供的一份表格，该表格要求她允许她与供应商分享咨询音频，其中包括OpenAI最大投资者运营的云计算系统微软Azure。鲍尔-卡汉说，她不希望这种亲密的医疗谈话与科技公司分享。

美国国会就人工智能的风险和监管举行听证会：“人类已经退居次要地位”

鲍尔-卡汉是一名民主党人，他在州议会中代表旧金山郊区的部分地区，他说：“公告非常明确地规定，营利性公司有权使用这项技术。”“我说‘绝对不行’。”

下面的故事继续

约翰·缪尔健康中心发言人本·德鲁说，医疗系统遵守州和联邦隐私法。

谢尔曼在纽约报道。

这个故事是与普利策中心的人工智能问责网络合作制作的，该网络也部分支持学术研究Whisper。