百度 文心大模型算法 实习一面

发一下问题给大家参考，攒攒人品！项目拷打八股1.bert和gpt的区别？2.训练/微调一个LLM的流程？3.实习时用的 megatron 框架吗，对分布式训练框架了解多少？4.了解强化学习吗，跟SFT有什么区别？

给我面没招了，发点面经攒攒人品～实习拷打1.LangGraph相对其他开源智能体编排工具的优点是什么?(追问) LangGraph是否存在与其他工具不兼容的问题?如果有，你是如何解决的?2.在现有场景中是否需要用到LangGraph 的状态管理功能?(追问)LangGraph的状态管理功能是否帮助提高了任务的执行效率?可以分享使用经验吗?3.如何理解Long-termMemory的实现方式?(追问)你是否对Long-termMemory在模型中存储有效性进行评估?它在实际项目中的应用表现如何?4.若将电商场景中用户的购买、点击、兴趣等信息设计为长期记忆，有什么想法?(追问)如何确保电商场景中的长期记忆不会过时或冗余?你认为应该如何更新这些记忆?

继续来分享下之前的面经~欢迎友好讨论，信息共享1.论文拷打2.模型困惑度3.项目使用了哪些评估指标？4.项目的DPO数据如何构造，为什么？5.项目中的Reward模型怎么训练的，为什么自己训？6.GRPO过程中遇到过什么问题，怎么解决的？7.介绍DPO，PPO，GRPO过程和区别8.GRPO中奖励值可以怎么得到，有哪些方法？9.手撕MHA

攒人品中，祝大家都能拿到满意的Offer！1.构建训练数据时如何滤除低质量数据，如何保证数据中没有低质量数据2.你觉得pretrain的模型和distill的base模型在做sft时有什么区别3.sft时学习率是如何调的，如何做的消融实验4.直接用余弦退火学习率和加一个warm up有什么区别，加warm up的意义是什么5.如果计算资源有限，对于32b的大模型，如何快速找到最佳的超参如何设计高效的消融实验6.合成数据是用的什么模型，如何部署的，用的什么框架7.sft时用的什么框架8.讲一讲moe的架构9.讲一讲qwen3的moe10.你觉得deepseek的moe中的共享专家有什么用11.讲一讲ppo算法