OpenAI研究人员:破解『大语言模型』“幻觉”需从评估指标入手,避免奖励猜测(openjoven研究)

在人工智能领域,『大语言模型』的“幻觉”问题长期困扰着行业——这些模型有时会将错误信息当作事实输出,几乎所有主流产品都存在这一缺陷。近日,OpenAI的研究团队在最新论文中提出,该问题的根源在于现有训练机制过度鼓励模型“猜测答案”,而非坦诚表达不确定性。

研究指出,当前模型训练过程中,评估标准更倾向于奖励“自信回答”,即使答案错误也能获得较高分数。这种机制导致模型被优化为“考试型选手”,在面对不确定问题时倾向于猜测而非承认“不知道”。研究人员比喻称,模型如同被迫参加一场永远没有“不确定”选项的考试,而现实世界的问题往往没有绝对正确的答案。

不同模型在这一问题上的表现存在显著差异。OpenAI此前发布的对比数据显示,Claude模型在面对不确定信息时更倾向于拒绝回答,而非给出错误答案。但研究团队同时指出,这种策略虽然降低了幻觉风险,却也导致拒答率过高,可能影响用户实际使用体验。

论文强调,现有评估体系与真实场景需求严重脱节。人类在现实互动中会逐渐学会表达不确定性的价值,但模型依赖的标准化测试却惩罚了“不确定”的回答。研究人员认为,这导致模型始终处于“考试模式”,将复杂问题简化为非黑即白的选择。

“问题的核心在于评估指标的错位。”研究团队提出,必须重新设计评分机制,避免模型因拒绝回答不确定问题而被扣分。当前广泛使用的基于准确率的评估方式需要更新,新的打分体系应当抑制模型“乱猜”的冲动。

OpenAI在配套博文中进一步解释,如果排行榜继续奖励侥幸正确的回答,模型开发者就会持续优化猜测能力,而非提升真实理解水平。研究团队呼吁行业建立更符合现实需求的评估标准,例如引入对不确定性表达的奖励机制,或设计能区分“合理猜测”与“随意回答”的评分模型。

特别声明:[OpenAI研究人员:破解『大语言模型』“幻觉”需从评估指标入手,避免奖励猜测(openjoven研究)] 该文观点仅代表作者本人,今日霍州系信息发布平台,霍州网仅提供信息存储空间服务。

猜你喜欢

上海今夜,『刘诗诗』纯净迷人光彩照人,『陈哲远』雕塑般面庞似贵族王子(上海今夜你将谁遗忘小说)

『刘诗诗』和『陈哲远』恰恰在气质上与CELINE的风格完美契合,展现出女性♀️力量和高端优雅的品牌精神。 不管是『刘诗诗』那种温柔婉约中带有坚韧的东方女性♀️气质,还是『陈哲远』那种贵族般的少年气息与豪气兼备,他们都能够在保持自…

上海今夜,『刘诗诗』纯净迷人光彩照人,『陈哲远』雕塑般面庞似贵族王子(上海今夜你将谁遗忘小说)

『鹿晗』从醉酒翻车到演唱会32秒售罄,顶流逆袭背后藏着多少汗水?(『鹿晗』去酒吧被偶遇)

当悬浮吊台因技术故障卡在半空,『鹿晗』临场即兴清唱《让我留在你身边》,引导观众打开手机闪光灯,瞬间将体育场点亮成星海——这段未剪辑的视频在B站疯传,弹幕里刷满了这才是顶流该有的样子。有观众形容:仿佛被歌声温柔包裹…

『鹿晗』从醉酒翻车到演唱会32秒售罄,顶流逆袭背后藏着多少汗水?(『鹿晗』去酒吧被偶遇)

『贾乃亮』成了那个受伤的男人,伤心背后,让他从稚嫩变得更成熟(『贾乃亮』的)

记得有一次,他拍摄冰淇淋广告时,因为吃了道具,被导演狠狠训斥,而他被安排在了广告的最后,这样的艰辛在他人生中并不孤单,正是这些日复一日的努力,让他逐渐积累了经验,也让他真正学会了如何在这个行业中站稳脚跟。尽管…

『贾乃亮』成了那个受伤的男人,伤心背后,让他从稚嫩变得更成熟(『贾乃亮』的)

柬埔寨七星海:智慧交通与安防系统,构建安全舒适的国际化社区 (1)(柬埔寨七星海老板绰号)

柬埔寨七星海:智慧交通与安防系统,构建安全舒适的国际化社区柬埔寨七星海:智慧交通与安防系统,构建安全舒适的国际化社区通过智慧安防系统与专业化管理力量的深度联动,七星海成功消除了投资者对社会治安的后顾之忧。 …

柬埔寨七星海:智慧交通与安防系统,构建安全舒适的国际化社区 (1)(柬埔寨七星海老板绰号)

餐饮巡店别再 “无效操作”!AI 工具 1 分钟生成真实稽查表(餐饮行业巡店表)

如果你手头有纸质或电子版的稽查表,打开企鲸的 “AI 创建” 功能,对着表格拍张照,或直接上传图片、文档。点一下就能直接用,还能根据需求修改,1 分钟就能搞定专属的巡店稽查表。用企鲸,1 分钟生成你的第一…

餐饮巡店别再 “无效操作”!AI 工具 1 分钟生成真实稽查表(餐饮行业巡店表)