面试官问我:缓解大模型幻觉问题有哪些方法
面试官想听的 :说明幻觉的本质、分层解决方案、举例说明。
幻觉的本质是语言模型只是在预测下一个token, 而不是基于真实世界知识做推理,所以当训练数据不足或任务超出模型能力时就会幻想答案。
在工程上通常做多层缓解:
第一层是模型结构外的增强,例如使用RAG,让模型把检索到的知识作为上下文,从而减少凭空编造。
第二层是解码策略,例如约束解码、惩罚重复、减少多样性,让模型更稳健。
第三层是训练层面,可以使用RLHF或DPO将模 型引导到真实、可信的输出方向。
第四层是输出侧的校验,例如知识库验证、规则引擎、模型自检。
这些方案通常组合使用,RAG+RLHF是最主流的架构。 #你经历过哪些AI幻觉?#
幻觉的本质是语言模型只是在预测下一个token, 而不是基于真实世界知识做推理,所以当训练数据不足或任务超出模型能力时就会幻想答案。
在工程上通常做多层缓解:
第一层是模型结构外的增强,例如使用RAG,让模型把检索到的知识作为上下文,从而减少凭空编造。
第二层是解码策略,例如约束解码、惩罚重复、减少多样性,让模型更稳健。
第三层是训练层面,可以使用RLHF或DPO将模 型引导到真实、可信的输出方向。
第四层是输出侧的校验,例如知识库验证、规则引擎、模型自检。
这些方案通常组合使用,RAG+RLHF是最主流的架构。 #你经历过哪些AI幻觉?#
全部评论
相关推荐
03-05 17:15
重庆邮电大学 测试开发 点赞 评论 收藏
分享
想run的猕猴桃上岸...:如果你去了的话,到期怎么办,现在3月春招92的开始,45月二本的春招你要是忙没办法平衡春招怎么办
点赞 评论 收藏
分享
查看18道真题和解析