商汤27实习多模态大模型二面分享

1. package.json 的作用package.json 是 Node.js/npm 项目的核心配置文件，位于项目根目录，它的作用包括：描述项目信息：名称、版本、作者、许可证等。声明依赖：项目运行所需的包（dependencies）和开发所需的包（devDependencies）。定义脚本命令：通过 scripts 字段，让你可以用 npm run 执行自定义任务（如启动、测试、构建）。指定元数据：比如入口文件、浏览器兼容性等。2. 基本结构示例一个典型的 package.json 可能如下： { "name": "my-project", &qu...

## 思维转变：Agent开发的本质在讨论具体技术前，需要先理解Agent开发与传统AI/软件开发的根本不同。Agent的本质是 **LLM + Memory + Planning + Tool Use** 的集合体，要求开发者从"面向过程编程"转向"面向目标（Goal-Oriented）编排"。Agent构建的是一个能在开放环境中**感知-规划-行动-观察**的动态系统，而非传统的"输入-处理-输出"封闭流程。---## 六步学习路线图### 第一步：掌握大语言模型基础**Python**是目前Agent开发的绝对主力语言（其次是TypeScript、Go），在此基础上深入学习：- **Prompt工程**：从简单的指令设计升级为结构化编程，掌握思维链（Chain-of-Thought）、少样本学习（Few-Shot）、输出格式化（JSON/XML）等高级技巧- **函数调用（Function Calling）**：这是让LLM连接外部世界的关键协议，需精通如何定义、描述工具函数并解析LLM的调用请求- **上下文管理**：理解Token计算、上下文窗口限制及溢出处理，让Agent拥有持续对话和长期学习的能力### 第二步：精通编排框架- **LangChain / LangGraph**：LangChain生态中，LangGraph将Agent建模为"有向图"，通过节点和边管理复杂的循环和自我纠错，是生产环境使用最广泛的框架。入门时需要深入理解Chain和Graph概念，以及DAG（有向无环图）的执行逻辑- **LlamaIndex**：如果你的Agent核心任务是处理海量企业文档（RAG），LlamaIndex是最强大的数据连接器和索引技术首选### 第三步：构建记忆与检索体系Agent的智能很大程度上取决于它"记得什么"：- **向量数据库**：熟练使用Milvus、Pinecone、腾讯云VectorDB等- **RAG进阶**：掌握分块策略（Chunking）、重排序（Re-ranking）、混合检索（Hybrid Search），以及如何防止长短期记忆污染、保证检索准确率- **记忆机制**：理解对话记忆、摘要记忆、向量记忆等多种模式，让Agent具备长期学习能力### 第四步：工具调用与集成架构Agent的能力边界等于其可调用工具的集合。核心技能包括：- **工具抽象与封装**：将内部API、数据库查询甚至RPA流程封装成标准化的工具函数- **工具路由与编排**：设计逻辑让Agent根据上下文自动选择合适工具- **MCP协议**：2026年已成为连接模型与外部工具的事实标准，开发的工具插件可以在LangChain、Claude、AutoGen之间无缝通用- **安全性设计**：工具调用必须置于权限和审核机制之下，设计熔断策略和降级方案### 第五步：掌握核心架构模式两种最核心的智能体架构模式必须深入理解：| 模式 | 核心逻辑 | 适用场景 ||------|----------|----------|| **ReAct** | 每一步行动前先输出思考过程：Thought → Action → Observation → Thought... | 需要动态调整的开放式任务 || **Plan-and-Solve** | 先生成完整步骤清单，再逐一执行，执行后进行反思与修正 | 任务路径相对明确的场景 |此外，Multi-Agent Collaboration（多智能体协作）模式也已成为标配，让多个专精Agent分工合作完成复杂任务。### 第六步：工程化与评估这是Demo和生产级应用的核心区别：- **评估体系**：使用Ragas等工具建立自动化测试集，量化Agent表现- **鲁棒性设计**：当模型出现幻觉或死循环时，系统需有熔断机制- **可观测性**：使用LangSmith / LangFuse记录Agent每一步的思考轨迹，定位问题节点- **微调能力**：在必要时针对特定任务微调小参数模型（SLM）以降低成本---## 主流框架全景根据功能定位和技术复杂度，Agent框架可分为三类：| 类别 | 代表框架 | 特点与适用场景 ||------|----------|----------------|| **逻辑编排框架** | LangGraph、LangChain、LlamaIndex | 底层架构层，决定Agent如何思考、规划和执行任务 || **多智能体协作框架** | CrewAI、AutoGen | 当需要多个角色协作时使用，如CrewAI擅长角色扮演式分工 || **低代码/可视化平台** | Dify、Coze、n8n | 适合快速原型验证和非技术人员使用 |**选型速查**：- 追求**生产环境极致稳定** → LangGraph- 追求**快速原型和商业演示** → CrewAI- 追求**与企业现有系统深度集成** → Semantic Kernel 或 Dify- 核心任务是**海量文档RAG** → LlamaIndex---## 关键技术速查表| 技术领域 | 必学项 | 进阶项 ||----------|--------|--------|| 编程语言 | Python | TypeScript / Go || 编排框架 | LangChain / LangGraph | LlamaIndex || 多Agent协作 | CrewAI | AutoGen || 向量数据库 | Milvus / Pinecone | Tencent Cloud VectorDB || RAG技术栈 | 分块 + 混合检索 | 重排序 + 多模态检索 || 协议标准 | MCP 2.0 | Semantic Kernel || 评估调试 | LangSmith / LangFuse | Ragas + AgentRx || 架构模式 | ReAct + Plan-and-Solve | Multi-Agent Collaboration |---## 面试高频考点1. **ReAct与Plan-and-Solve的区别**：ReAct是动态逐步推理-行动循环，Plan-and-Solve是先生成完整计划再执行，各适用于什么场景？2. **如何设计Agent的记忆系统**：短期记忆（对话历史）和长期记忆（向量数据库）如何配合？如何防止记忆污染？3. **工具调用的安全性设计**：如何防止Agent越权操作？熔断机制如何设计？4. **多智能体协作的设计模式**：何时用中心协调模式，何时用对等协商模式？5. **Agent评估体系的设计**：如何量化一个Agent的好坏？Ragas等工具的核心指标是什么？---**一句话建议**：不要停留在Demo层面，动手构建一个能解决真实问题的Agent——比如自动分析日志的运维智能体或智能客服——才能真正掌握从胶水层到工程化的全链路能力。

1. 介绍下你实习学了什么 做过什么项目,为什么离职的2. MoE 为什么能在参数量很大的情况下还能把训练和推理成本压住，真正难点在哪MoE 的关键不是“参数变多了”，而是“每个 token 只激活一部分参数”。也就是说总参数量可以做得很大，但单次前向只走少数几个 expert，所以理论上计算量不会随着总参数线性增长。这个思路在大模型里很有吸引力，因为可以同时兼顾容量和成本。但真正难的地方是路由和负载均衡。路由器如果只偏爱少数 expert，训练会很不稳定，热门 expert 被打爆，冷门 expert 学不到东西。另一个难点是通信开销，尤其多机训练时，token dispatch 和 gat...

bg9本，暑期投了大概二十家，只有五家约了面，xhs笔试没过，华为今天晚上笔试，蚂蚁笔试过了不约面，剩下应该都是简历挂了。昨天晚上网易二面，感觉面试官全程严肃感觉不到情绪，没介绍组内业务，还是我反问环节提问才大概介绍了一下。面试大概三十多分钟，说hr3-5个工作日给结果，感觉凉了。美团面完快一周了也没消息，估计是要横向挂了。字节二面约到明天下午，如果没过就又要从零开始了。已经四月中旬，大厂的hc估计也快招够了。感觉鼠鼠的得失欲太重了，明知道面试是一件很看运气的事，自己的水平也没达到大佬级别，但是还是对每次面试抱有很大的期望，特别想要拿到一个offer，不自觉的给了自己很大的压力。npy也指出过我的问题，但是鼠鼠还是忍不住的去期望，因为暑期实习找不到大厂，秋招就又落后一大截了。最近一个月午休都睡不着，一闭上眼就是面试问到问题不会，手撕撕不出来的场景。早上也连着三天七点多梦见面试面的不好被吓醒了。每次洗澡都发现掉了一堆头发。开始找暑期实习以来最大的感触就是学历只能当敲门砖，在约到面以后学历就没有任何作用了，能不能进下轮面还是看知识储备，思维能力，代码水平。鼠鼠只恨自己目标规划不清楚，大一大二没怎么刷算法题学开发，想保研又不坚定，去导师组里做做研究又做不下去（也可能是我对cv实在不感兴趣），加上一门3学分的公选因为网课忘刷绩点爆炸了（本来在保研边缘线上努努力还是有机会的），于是直接放弃了。去年十一月去导师公司里实习了一个月，然后又开始左右脑互搏，到底是考研还是考公还是找工作。一直到二月底才终于下定决心准备找工作，只是时间已经太匆忙。一晃眼大学的时光竟然已经快要结束了，虽然忙忙碌碌但也一事无成，后悔的事多到数不清。当然鼠鼠也知道相比于双非的同伴们的处境已经好太多了，但还是忍不住抒发一下内心的想法。最重要的还是看开吧，如果网易和字节都寄了，就继续投继续面，实在面不到中大厂就去银行，就去小厂，我相信总能找到一份实习的。祝各位牛友们运气爆棚，都能拿到自己满意的offer后续更新：网易互娱4.16上午hr面，当天下午oc，祝大家跟鼠鼠一样好运