【拼多多集团-PDD实习生招聘】

大模型幻觉（Hallucination）是指模型生成与事实不符、缺乏依据或逻辑混乱的内容，其产生根源可从多个维度分析：数据驱动缺陷训练数据的噪声与偏见：大模型依赖海量互联网文本训练，而网络数据本身包含错误信息、主观偏见、过时知识甚至虚构内容。模型无法辨别数据真伪，可能将错误模式内化为“知识”。长尾知识覆盖不足：即使训练数据规模庞大，某些冷门领域或细节知识仍可能缺失。当模型被迫生成此类内容时，可能通过“脑补”填补空白，导致虚构。数据时效性滞后：模型训练存在时间差（如GPT-4数据截止到2023年10月），无法获取最新事件或研究成果，可能生成过时信息。概率生成的本质：模型通过最大化token预测概率生成文本，目标是“流畅合理”而非“真实准确”。当高概率路径与事实冲突时，模型优先选择语言连贯性。缺乏现实世界感知：模型仅学习文本间的统计关联，缺乏对物理世界、因果关系或社会常识的深层理解。例如，可能生成“太阳从西边升起”的合理句式，但违背常识。自回归生成误差累积：生成过程逐步依赖前文，早期错误（如错误的前提假设）会导致后续内容偏离事实，形成“幻觉链”。训练目标与评估偏差损失函数局限性：训练时以预测下一个token的准确性为目标，未直接优化事实正确性。模型擅长模仿语言模式，但缺乏事实核查能力。缺乏显式知识验证机制：传统架构未内置实时知识检索或逻辑推理模块，无法在生成过程中交叉验证信息真实性。应用场景的复杂性模糊性指令的过度泛化：当用户需求模糊（如“写一篇关于量子物理的论文”）时，模型可能虚构术语、引用不存在的文献以完成响应。对抗性提示诱导：特定提问方式（如“请描述历史上不存在的某场战争”）可能触发模型的创造性生成模式，混淆虚构与事实边界。缓解幻觉的常见策略知识增强：引入检索增强生成（RAG），实时调用权威数据库辅助生成。强化对齐：通过RLHF（基于人类反馈的强化学习）优化模型对“真实性”的偏好。不确定性标注：让模型主动标记低置信度内容，如“据某些资料显示…”。