面试题：为何LoRA初始化B=0而A为高斯分布初

大家很多人私信我大模型应用开发具体是做啥，正好我讲讲在字节实习3个月+的体验。现在以字节为例我看很多岗位，其实大模型应用岗位已经被纳入后端开发（大多还是属于开发序列，至少我看不在算法序列）当中了，所以总的来说二者并没有特别明显的区别，起码在公司的角度来看。以我自己为例，我也是面的后端岗位然后进来做Agent的开发，Agent开发暂时不涉及模型的训练，最多包含一些模型的微调（而且公司有平台）。总的来说，Agent开发主要是搭建workflow，主要涉及Rag、微调、Mcp、Prompt这些方面，包含一些技术栈py：langgraph、langchain、langSmith，java: SpringAI、langchain4j？，所以我觉得后端的同学直接投问题不大，但是需要python or java or 大模型基本知识的landing。我之前也没接触过类似的知识，还在字节里面有LLM学习季的好东西，包含了大模型的基本知识Transformer、Prompt工程、Rag实战等等各种基本知识的解释和实操，让我非常循序并循序渐进的了解了这方面的知识，并且燃起了对大模型学习的兴趣，不得不说这一点还是很值得学习的。其次，就是在实习过程中，大家讨论的都是如何提高大模型产生的效果、以及有没有更加方便的Agent工具能够参与 or 使用提效，整体氛围很不错，而且都是去聊一些比较新的东西，例如之前刚出的Agent2Agent协议。在我看来，Agent主要是以Multi-Agent写作文的形式完成一系列任务，例如Deep-Research利用搜索、爬虫等工具，获取想要查询的网页并爬取文章内容，并且生成一篇分析报告，包括了一些意图识别、任务规划、记忆、工具调用等。在这个过程可以加很多环节去提高分析报告的效果（在Prompt的层面），例如反思、自问自答、知识库、human-in-loop等等，我觉得设计这些环节还是需要很多经验的，目前很多需要参考了类似的设计有比如cursor等。至于学历的要求，不知道现在岗位需不需要硕士的学历，但是我看来其实本科也能做，包括我在的组很多Agent内容在Cursor、Trae等工具的辅助下，前端也参与了不少（没错，前端也写Agent）。所以现在在各种Agent工具不断出现的今天，大厂更加需要“能够熟练使用AI工具的人”。举例，本组有个本科校招生，ld说后续会让他参与LLM的开发内容。当然，以上是我3个月浅薄的理解，我其实也看了不少内容的一些技术文章，整体来说大概是个这么情况，感觉技术壁垒不深，但是基于目前资料跟Java（黑马）比有所欠缺的情况下，还是筛掉了相当一部分人，感觉可冲（感觉比较缺人，至少我们组人很缺）；但是基于我之前很多段实习都是Java开发，我觉得大模型应用更在乎大模型的效果而不是性能，可能还是关注点会跟Java开发有一些区别，优先级不一样，很少用到一些中间件来做啥，目前我在整个过程中只用过Redis来缓存stream流。实习体验：1.需求：字节跟我实习过的其他大厂有很明显的区别，他是直接安排活让你去做，至于你做不做得了，这个就另说了（即使有mentor的帮助）。有个群友举的例子很好“就是把一个不会游泳的初学者丢进水池里，如果活下来了，就学会了哈哈”。所以在我很久没写py、langchain等内容的基础上、没在字节做过任何需求的时候，让我开发了一个我认为很大的一个需求，大概6-7000行（两周），我为了不延期，主动加班到10-11点，才在排期前做完。。2.福利：经历了字节下午茶的LastDay目前已经没啥福利了，零食、水果还是不错；其次，允许实习生出差，刚来没几天就团建 + 出差去北京（出差了一周），那段时间还是很滋润的，在北京也小小旅游了一下（带着女朋友一起去了，当然她的不报销，只是住在一起）3.博客：当初在快手实习的时候，基本上看遍了Kstack的文章，但是在字节我目前还没看完，而且受益匪浅，感觉文章整体含金量要高不少（可能快手现在也变好了，不尬黑）。4.带教：mentor和ld对我很好，也让我进入了一个新的领域，目前正好考虑通过这次机会往大模型应用甚至大模型算法转型.正好有学长跟我说过，“阿里很值得去实习体验一次，哪怕不留下来”，我觉得“字节也很值得去体验一次，哪怕不留下来”，之前在前几家公司反而没这么深刻的感悟。如果对各位有帮助的话，求求🥺给朵小红花，有问题可以在评论区交流～

bg：双非本+果壳硕研一，简历上有一个微调的RAG项目和一个multi-agent项目投的大模型算法实习生，感觉面试官可能对这些也不是很感兴趣，都是在问我八股害，叹口气。再找不到就要回所打工了，不想回所不懂到底还要做哪些项目才可以有亮点

目前在做 Java 后端，如果秋招想转大模型应用开发的话，请问该怎么准备呢？优先主攻大模型，还是先继续深入学习 Java（目前在实习，学大模型的时间也不多）？前景如何呢（主要薪资方面相比同体量公司的 Java 岗）？小白求教，谢谢各位佬。

面试公司：美团岗位：大模型应用开发一面1．自我介绍＋做过的项目，项目问的很细2．了解 Deepseek -R1吗？介绍一下。3.R1的 MLA 是如何实现 KV - Cache 的节约？4.R1在 SFT 时冷启动的目的？5．位置编码是什么？解释 ROPE6．一个14B的模型，推理和训练要多少显存？7．显存的占用和哪些因素相关？8．大模型灾难性遗忘是什么？如何解决？9.BF16、FP16、FP32对比10.Adam, AdamW 原理11.deepspeed的三个阶段手撕：合并两个有序链表