这篇大模型推理性能优化写的还不错～

二面: 1.项目介绍2. CogVideoX的模型结构、3D VAE的压缩率、MM-DiT的优势、4f+1为什么要+13.FLUX的结构，生成模型的优势4.SD3的架构，生成原理Flow matching5.VQ-VAE使用的的损失函数，训练过程6.VQ-VAE中codebook中的code有的被使用的概率很低，这个是怎么解决的7. Lora的原理，LORA在推理的时候怎么与原参数融合不带来时间成本8. Flow matching与DDPM的区别及优势9.Wan2.1的详细架构和训练细节10.代码题:0841.钥匙和房间

#牛友提问，有问必答#

1. 你的 Agent 系统Prompt 是怎么设计和迭代的？有没有做过 Prompt 自动优化？当用户提出不完整的请求时，如何补全用户意图的？2. 构建 Agent 的时候，遇到过哪些瓶颈？LangChain 的 memory 默认机制在多用户并发中怎么做隔离？你是如何保证线程安全的？3. 微调 Llama2 你是怎么选择训练样本的？清洗逻辑是什么？你有没有观察到哪些训练样本质量问题对模型行为有很大影响？举例说明。4. DPO相比 SFT，有哪些优劣？它在 Agent 任务上效果提升明显吗？你怎么构造偏好对？构造逻辑是自动的还是人工？5. 你说你服务部署在 vLLM 上，为何选择它？KV-cache 如何帮助推理加速？你自己做过哪些优化？6. 假如需要支持 Streaming 输出，但当前服务延迟又超标，你会怎么折中设计？7. 多轮对话上下文状态管理是如何做的？如何在高并发场景下保证一致性？8. 你做的 Agent 使用了多少个外部工具，在调用链条上如何保障故障容错和超时机制？追问：有没有做过工具调用失败后的feedback策略设计？9. 训练过程中数据来自用户行为日志，你是如何从这些数据中抽取训练对话的？有没有做过归一化或事件抽象？10. 有没有了解过带有时间窗口/偏移限制的对话系统？模型怎么“理解时间”？11. 你觉得 Agent 哪些模块最容易在真实业务中出问题？你会如何监控和定位的？反问环节

本文仅供参考，请友好讨论，不要抬杠。做一个简单的计算，如果去了阿里，拿到的薪资水平是大概30k * 16，交完五险一金和税，再抛去房租（实习期间在杭州住的很爽的50平可以2500），那么差不多还能剩22k左右，吃饭都是基本上公司包了，自己平时的消费主要是水电、出去玩等，那么一个月大概就是能攒下20k左右，一年的话加上年终奖还有100k左右。这样算一年能其实没有那么多，但是也不少了。如果要买房的话，公积金中有额外的储蓄；如果不买房，那么绰绰有余。现在在上学，出去玩打个车什么的有时候都可能感觉舍不得。而对于普通家庭来说，这个平台既是自己能获得更多资源，通过能力往上爬一爬的途径，又能改善自己的经济条件，去满足自己以前无法满足的一些心愿。当然，我理解进体制的那部分人的心理。可能家本就是在二线城市，条件已经不错了；可能家里不那么缺钱，不需要这部分工资的差异；也可能是非常的低物欲；抑或是无法持续学习。人贵在知道自己追求什么，去做出自己的选择，选择后就不要后悔，少受其他人的影响就好了。不过本人是经过实习后，希望留杭，可能不是真正的一线城市，还仅供参考。