LLM实习小厂算法面经

1．自我介绍2．你做的上下文扩大具体是怎么做的，原理是什么？3．相关长文本是怎么做几阶段训练的？4．除了所用的扩展方式， Deepseek 、 Llama 的长文本扩展方案是什么，为什么选择当前方案而非其他？5．若要将模型训练到1000K的上下文长度，该从哪些方面实现，其中的难点是什么？6.32B模型训练用到了多少显卡？7．若将上下文扩展到1000K，该如何估算训练的算力用量？8．上下文扩展到1000K后，训练时显存会在哪些地方暴涨？9．用 GRPO 做后训练的过程中，遇到的典型或较难的问题是什么？10．针对上述问题，训练 Skill 的具体方式是什么？11．从算法设计角度，该如何解决模型无效调用工具、工具调用参数失败的问题？📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

写在前面本人目前负责后端技术团队，最近一个月面试了 10+ 位 27/28 届的同学，涵盖日常实习和暑期实习岗位。整理了一份高频面试题汇总，包含传统后端基础和AI 工程化两个方向，希望能帮助各位同学更好地准备面试。另外强调一点，跟自己简历相关的内容请务必多准备，尤其是项目经验和项目相关的基础知识。一、Java 基础篇（必考）1. HashMap 底层原理及扩容机制考察点： 集合类理解、数据结构、源码阅读能力高频问题：HashMap 线程安全吗？如何保证线程安全？为什么负载因子是 0.75？建议：工作中会大量用到HashMap，所以可能出现较多结合项目经验的问题2. JVM 内存模型与 GC 算...

被横向挂了，希望发出来对大家有帮助！1.项目介绍2.训练样本大概多少条3.用户反馈怎么做的4.MOE 激活的分布，怎么确定是 MOE 的效果而不是单纯 ffn 参数量增大的效果5.有考虑用别的强化学习的方法吗6.dpo 的公式是什么7. grpo 了解吗8.kvcache 怎么做的，了解大模型中别的提高效率的办法吗9.sgd 是什么， Adam 相对于 sgd 改进了什么位置编码10.手撕 transformer 并计算 flops 和内存开销

继续来分享下之前的面经~强度好大，俺不中咧。。。。1.实习中多智能体系统包含几个智能体？它们之间如何交互？2.意图识别模型需要识别多少个意图？3.750B 模型用于什么场景？4.实习中 Qwen3VL 模型是多少 B 的？用于什么场景？5.在实习中，你主要的贡献是什么？6.检索环节做了哪些优化？7.答案生成环节做了哪些优化？8.是否做了 SFT 或强化学习相关工作？在哪个环节做的？9.SFT 过程中是否对类别标签做了清洗或修正？10.强化学习的样本量是多少？11.基础模型经常分类分不准的案例有哪些？12.在校项目中，为什么用对话数据来增强数据集？13.在校项目任务的输出可以简单描述并举例吗？14.单智能体能否完成在校项目相关工作？为什么要使用多智能体？15.LangGraph 相对其他开源智能体编排工具的优点是什么？16.在现有场景中是否需要用到 LangGraph 的状态管理功能？17.如何理解 Long-term Memory 的实现方式？18.若将电商场景中用户的购买、点击、兴趣等信息设计为长期记忆，有什么想法？19.Context Window 能否储存大量电商交互信息？如何解决存储问题？20.推理时若将大量 Memory 以 Token 形式给到大模型，Token 长度过长该如何处理？21.强化学习有哪些常用技巧？22.若通过 SFT 进一步提升模型准确率，常用的手段有哪些？23.SFT 的理想数据量是多少？如何确定？24.SFT 数据分布一般怎么取？为什么选择该分布而非其他分布？