求助字节巨量星图大模型应用全栈开发面试

攒攒人品！有面试过同岗的朋友欢迎评论区交流1.项目拷打2.Transformer自注意力机制、位置编码、梯度消失/爆炸的解决方案。3.微调方法对比（Full Fine-tuning vs. LoRA/Adapter/P-Tuning）。4.推理加速技术（量化、动态批处理、FlashAttention）。5.如何优化大模型在长文本生成中的显存占用？6.RLHF中奖励模型（RM）的训练数据如何构建？7.为网易云音乐设计一个AI歌词生成系统，如何提升创意性和押韵效果？8.模型剪枝/量化（GPTQ、AWQ）、服务化框架（FastAPI+vLLM）。9.如何解决大模型API服务的响应延迟问题？

一面：1h （当晚约二面）二面：1h 还是聊实习，然后挂了……一面 （当晚过）算法题：扁平数组化成树（Easy）场景题： 用户在弱网环境下想上传一个G的视频，如何设计这个上传器用js设计一个线程并发池，讲一下思路100个进程，5个并发数并发多线程的工作基础八股题：http3和quic了解不简述一下大模型调用数据库工具的全链路如何用react中的hook封装一个web socket的链接，并在多个页面间进行复用promise和async之间的区别Agent相关：MCP的好处，以及它未来是否还会存在？cursor内置ide从设计稿直接转化为代码，如果要让产品经理直接生成生产可用的代码。中间会遇到什...

面试很难，还是要多多练习，感觉自己说不明白业务逻辑1.写一下attention公式(代码实现了下)2.训练时为什么要mask，推理时也需要吗?两处有什么区别?推理时的sequencelength和训练时一样吗3.transformer和传统seg2seg模型有什么区别?4.计算attention时为什么要除以dk，这个dk的含义是?attention计算时还有哪些scale处理?5.attention中softmax函数作用、公式、为什么有减去最值的处理?换个函数还能这样处理吗?6.解释数值上溢、下溢问题7.讲一下prompt书写的经验，如何判断prompt是否达标何改进prompt8.讲一下SFT，会对哪部分计算loss?为什么?9.讲一下deepspeed10.训练用一个7b模型要占用多少显存?不同zero阶段能够节多少显存?11.训练模型时用了几张卡，有遇到什么异常中断问题吗?

一、大语言模型基础1. 目前主流的开源模型体系有哪些？主流开源模型体系包括：LLaMA 系、Qwen 系、GLM/ChatGLM 系、Mistral/Mixtral 系、Baichuan 系、DeepSeek 系、InternLM、Yi 等。面试里建议从以下维度比较：参数规模（7B/13B/70B…）上下文长度（8K/32K/128K…）多语言能力工具调用能力（function calling / agent）推理成本与部署难度开源协议（是否可商用）2. Prefix LM 和 Causal LM 区别是什么？Causal LM：严格自回归，token 只能看左侧历史（下三角 mask）。Pr...