高德机器学习算法面经

给我面没招了，感觉自己好菜1. 介绍项目，主要只问了和强化学习相关的那个项目。2.项目强化学习部分，为什么用 DPO 而不是 PPO？GRPO效果怎么样？为什么要用GRPO3.DPO 的目标函数 / 损失函数大概是什么思路？和 PPO 区别在哪？为什么要加 KL 散度限制？为什么要防止和原模型偏差太大？4. 你对 Transformer 的 Encoder-Decoder 结构理解如何？Self-attention 公式是什么？5. 了解 Multi-Head Attention、Group Attention、MLA、KV Cache 这些优化吗？Group Attention是哪两个可以复用？无手撕

1. 详细介绍一下你最有成就感的项目，技术架构是怎样的？我参与开发过一个在线教育平台的后端系统。这个项目采用微服务架构，主要技术栈包括：技术架构：后端框架：Spring Boot + Spring Cloud服务注册与发现：Nacos网关：Spring Cloud Gateway负载均衡：Ribbon熔断降级：Sentinel远程调用：OpenFeign数据库：MySQL 8.0（主从复制）+ Redis消息队列：RabbitMQ对象存储：阿里云OSS搜索引擎：Elasticsearch我主要负责课程管理模块和订单支付模块。课程管理涉及课程的增删改查、分类管理、课程搜索等功能。订单支付模块对接...

给我面没招了。。。1. 项目拷打2. 详细阐述Transformer的底层原理，并说明其能够替代RNN的核心优势；结合Transformer架构的成熟度，分析Self-Attention机制在多模态对齐任务中是否存在瓶颈，以及在实际业务场景中，是否出现过注意力权重完全偏移的情况。3. 讲解LoRA的技术原理，说明LoRA是否仅能嵌入Linear层；分析LoRA无法在LayerNorm层之后插入的原因，以及该操作会对模型训练稳定性产生哪些具体影响。4. 结合实操经验，说明QLoRA降低训练资源成本的核心逻辑；列举常见的模型量化方式，并解释QLoRA选择NF4与FP16组合而非其他方案的原因，阐述NF4的分布拟合逻辑。5. 针对采用multi-query attention优化后，decoder延迟仍居高不下的问题，分析潜在性能瓶颈；探讨vLLM自带的KV Cache是否会成为推理过程中的负担。6. 分别说明Embedding模型与Rerank模型处理文本语料的核心流程，并结合实际应用场景举例说明。7. 结合过往RAG项目经验，讲解从数据清洗到检索服务上线的完整链路搭建流程，重点说明chunk切分的具体策略。8. 分析当前RAG技术落地的最大瓶颈，并阐述你在项目中采取过哪些优化手段来提升检索召回率（Recall）。9. 针对XX领域大模型的训练工作，说明SFT（监督微调）数据集的构造方法与核心思路。10. 结合LoRA微调实操经历，说明rank值的选择依据；在合并adapter权重的过程中，是否遇到过梯度爆炸问题，以及对应的解决方法。11. 结合你的模型部署相关经验，说明模型参数量与硬件算力需求之间的对应关系（例如不同参数量级模型所需的算力配置标准）；以部署一个稀疏率千分之三的235B参数量MOE架构模型为例，估算其所需的算力规模。12. 在搭建RAG知识库时，若需对文档进行动态更新，你采用的是全量嵌入还是增量处理方案？若为增量处理，如何规避新旧文档数据分布不一致导致的检索偏差问题。

本专栏整理了国内主流科技公司和制造企业的嵌入式岗位面试题，涵盖互联网、AI、汽车、硬件等多个领域，帮助求职者系统准备面试。📚 目录结构禾赛科技 嵌入式软件工程师一面禾赛科技 嵌入式软件工程师二面大疆智能驾驶软件工程一面大疆智能驾驶软件工程二面特斯拉-嵌入式软件开发方向-一面特斯拉-嵌入式软件开发方向-二面安克创新 嵌入式 一面安克创新 嵌入式 二面龙旗科技Linux驱动开发 一面试题龙旗科技Linux驱动开发 二面试题龙旗科技Linux驱动开发 HR面英诺菲特科技 嵌入式软件开发 一面英诺菲特科技 嵌入式软件开发 二面北京零零科技 嵌入式软件开发一面北京零零科技 嵌入式软件开发二面移远通信 ...