招联金融秋招内推码

这个面经是群里 小伙伴分享的 社招, 2年的工作经验 双非本9硕 将近40分钟都在问项目细节 项目这里我全部砍掉了1. 自我介绍2. 大模型在推理时通常分哪两个阶段，每个阶段关注点是什么一般分成 prefill 和 decode 两个阶段。prefill 阶段主要是把输入 prompt 一次性编码进去，重点看吞吐、并行效率和长序列的计算开销；decode 阶段是逐 token 生成，重点看单步延迟、KV Cache 复用和 batch 调度效率。很多线上推理慢，不是模型本身慢，而是 prefill 太重或者 decode 阶段调度策略不合理。理解这两个阶段，才能知道为什么有些优化只对长输入有效...

Thank you Hellobike.

基础得先打牢。LLM的基本原理要懂，不需要能训练模型，但得知道prompt怎么写、上下文窗口是怎么回事、为什么模型会幻觉。这些是地基，地基不稳上面全是空中楼阁。然后是框架。LangChain和LlamaIndex是目前用得最多的，几乎每个Agent项目都绕不开。但别只会调API，得理解它们的设计思路，比如chain是怎么串联的、memory是怎么管理的、tool calling是怎么实现的。RAG是必学项。Agent大量依赖外部知识库，向量数据库至少要会用一个，embedding是怎么回事要清楚，检索策略怎么优化要有概念。工程能力别忽视。Agent本质上还是个软件系统，API设计、异步处理、错...