多模态算法实习一面-小红书

攒攒人品！有面试过同岗的朋友欢迎评论区交流1.论文拷打2.如何确定改进的方向，动机是什么3.问了一下实习做的工作，没细问4.深度学习基础知识，网络怎么初始化5.过拟合6.dropout，推理时dropout需要什么额外处理7.手撕，算sqrt()，要写两种方法，牛顿迭代和二分查找

1. Agent 工具调用你知道怎么训练吗？训练集应该包含哪些？怎么得到训练数据集？如果只是让模型“知道有工具”，那只需要在 SFT 里教会它工具名和参数格式；但如果想让它真的会用工具，训练集必须覆盖完整决策链路。至少要有三类样本：一类是该调用工具的，一类是不该调用工具的，还有一类是要调用多个工具且有依赖关系的。否则模型很容易学成“逢问题必调用”。训练数据来源一般有几种。最理想的是业务日志里已有高质量人工操作轨迹，把用户问题、检索条件、调用参数、返回结果和最终回复串起来。没有现成轨迹时，就要靠规则模板、专家构造、模型自蒸馏和人工校验混合生成。真正难的地方不在造正样本，而在构造反例，比如参数缺失...

刚面完一把大厂的 AI 核心业务线，遇到个懂行的总监，一直在大模型微调这块给我挖坑，估计想看我是不是那种只会调第三方 API 的“外包型开发”。顺手把面试过程复盘一下，供后端转 AI 方向的兄弟们参考。一、 避坑：千万别在简历上乱吹“全量微调”很多后端兄弟为了简历好看，上来就写自己主导了全量微调（Full Parameter Fine-tuning）。这在懂行的人听来挺扯的，全量微调极其烧钱，动辄几百张 A100 显卡，普通业务线哪来这个算力和预算去给你折腾。面试时我直接兜了底：结合咱们真实的业务场景，我只参与了指令微调（SFT）和参数优化。其实大厂现在勒紧裤腰带，最看重的就是“花小钱办大事”，精准踩中降本增效和 ROI 才是正解。二、 被追问的深水区：怎么防“灾难性遗忘”后来聊到把公司的私有业务数据喂给开源大模型时，总监顺理成章地问到了“灾难性遗忘”——模型学了公司的业务黑话，结果连基础的逻辑推理都不会了。应对这个，我切入了用正则化（Regularization）做权重约束的方案。作为 Java 开发，能把这俩概念用大白话解释清楚，面试官基本就认可你的算法底子了：L1 正则化 (Lasso)： 核心在于惩罚项 \lambda \sum |w|。它的特性是会产生稀疏矩阵，能把大模型里很多不重要的特征权重直接清零。我结合了他们公司的端侧场景聊：在智能硬件上部署模型，内存和算力死贵。利用 L1 的稀疏性可以大幅压缩模型体积，在不怎么掉精度的情况下，保住端侧的推理速度。L2 正则化 (Ridge)： 核心是 \lambda \sum w^2。它不会把权重变 0，而是让其变得平滑。大模型的底座参数是跑了万亿 Token 炼出来的完美状态，加新知识时，L2 就像个限流器，防止底座权重发生剧烈漂移。这样既吸收了业务知识，又不会过度拟合。三、 找准后端的生态位：不抢算法的活最后面试官试探性地问：“既然算法原理这么熟，那这微调的训练代码是你用 Python 写的吗？”这绝对是个坑。做后端的一定要守住自己的边界，不能瞎揽活，我当时直接拉回 Java 主场：“炼丹跑 PyTorch 脚本主要是算法团队在搞。作为后端，我在微调链路里的核心价值是做‘数据工程化’。大家都知道 Garbage in, Garbage out，微调的上限全看数据质量。我主要用 Java 跑高并发的 ETL 任务，从 MySQL/ES 里把真实的业务日志抽出来，洗掉敏感词和废话，组装成严格的 {"instruction": "...", "input": "...", "output": "..."} 格式。没有后端的这条数据流水线，算法团队连干净的‘饲料’都拿不到。”总结：后端面 AI 岗位，最吃香的画像其实是：懂点算法底层逻辑（知道显存怎么省、遗忘率怎么控），但核心精力全扎在工程落地（清洗海量数据、保障系统并发）上的务实派。希望对大家有帮助。

1. 你的RAG项目主要什么作用2. RAG项目工作流程是什么3. 你的RAG项目出现问题，怎么进行排错4. 大模型微调过程中数据预处理的步骤有哪些？5. 如何解决大模型Agent的工具调用 幻觉问题？6. LoRA微调技术是什么？7. 大模型Agent的记忆机制分为哪几类？8. 大模型后端部署常用的框架有哪些？9. 全参数微调与轻量化微调的适用场景分别是什么？10. 大模型Agent实现复杂任务规划的核心方法有哪些？11. 大模型推理服务的性能优化手段有哪些？12. 如何设计大模型微调后的效果评估体系？13. 大模型Agent对接第三方API时，后端如何做接口鉴权、限流与异常捕获？14. 大...