端侧部署C++项目:基于DeepSeek与RK3576的模块化离线语音交互系统

先打基础：弄懂端侧 AI 与云端 AI 的区别，理解低功耗、低延迟、本地推理的核心要求；掌握嵌入式基础，熟悉 C/C++、ARM 架构、MCU/SOC 常识，看懂内存与算力约束。再啃核心技术：模型量化压缩是重中之重，先学 PTQ 后训练量化，快速把 FP32 转 INT8/FP16，缩小体积、提速；进阶学 QAT 量化感知训练，保住精度；顺带了解剪枝、蒸馏、轻量化网络设计。工具链必须熟练：PyTorch/TensorFlow 模型导出、ONNX 格式转换、TensorFlow Lite Micro/NCNN/MNN 端侧推理框架、量化工具使用，能跑通 “训练→压缩→移植→部署” 全流程。

#牛客AI配图神器#引言"学 AI 需要掌握什么技术？"——这个问题本身就有问题。AI 岗位已经分化得很厉害了。2023 年你说"做 AI 的"，大家默认你在训模型。2026 年你说"做 AI 的"，你可能是在写 Agent 的工具调度逻辑、在搭 GPU 集群的推理服务、在优化 RAG 的检索链路、在做端侧模型的量化部署——这些岗位需要的技术栈重叠度可能不到 30%。笼统地说"学 Python、学 PyTorch、学 Transformer"就像说"做互联网要学编程"一样正确但没用。以下按四个主...

📍面试公司：小米🕐面试时间：2026/03/26（二十分钟草草收场，都不想去看结果就知道挂了）💻面试岗位：大模型推理优化❓面试问题：一、自我介绍二、八股问题拷打，其实上来就是手撕1、直接在编辑器上手撕MGA，要求写出init、forward、注意力层   ——丢人现眼了，基本不会写2、追问，不会写的话讲一下整个过程，输入到输出怎么样的？         ——讲了讲transformer，注意力机制3、vllm和sglang的底层代码有看过吗？                                          ——没看过（其实看过，但我不敢说，怕叫我写）4、kv cache有哪些加载方式？                                                        ——在胡言乱语，啊这个，啊那个5、PD分离机制是干什么的？你怎么实现的？                                   ——唯一能回答的问题6、有没有用vllm部署过模型？吞吐量是多少？                                 ——脑子昏了，沉默（跑了demo，没测过）7、MTP（可能是MCP？没听清）是什么，介绍一下？                     ——我估计想问Medusa？反正我没回答，沉默。到这他问不下去了。。。三、反问两个人尴尬一笑，没什么要问的了。🙌面试感想：应该是史上最无悬念的秒挂，第一个手撕不会之后我已经晕头转向了，加上昨天熬夜到五点，到后面我都有点不好意思了，感觉在浪费他的时间，在这里跟他道个歉😀。十月到现在算上开发+infra可能面了二十多家吧，大部分都是秒挂，感觉车企infra这块的要求都特别高吧，问的特别细，就是最新的技术一定都要掌握，这一块技术迭代感觉特别特别快，光背八股面经给我感觉不太行。鼠鼠也累了，但自觉已经尽力了。也感谢这些至少还给机会面试的公司吧，有些简历直接投垃圾桶里了。（希望下一届的同学早早准备，不要像鼠鼠一样还在为春招奔波）。

今天刚完成毕业论文初稿，一直拖着没写秋招总结，来补一下，本人很菜单纯分享。bg双非本硕，研究生读的方向主要是cv相关，因为项目接触到nvidia orin一系列嵌入式板子，所以一开始实习找的方向是嵌入式AI应用，技术栈也是c++，python为主。因为项目跟orin芯片相关，被当时高通的mentor看中，运气很好找到了高通实习。实习内容跟智驾infra相关，由此接触部分ai infra知识。（由于原本一点基础没有，甚至没学过cuda）之后去b站和github上学习相关技术栈，通过傅哥的介绍视频了解到ai infra大概方向，后续便把重点方向放在推理方向（这个了解最多）。以下是秋招投递offer情况（因为过了很久，好多忘记了，记录不太准）：简历挂：vivo、寒武纪、地平线、小鹏、理想、阿里云、高德、阿里国际、平头哥(阿里系没过几个)、深信服、联发科  、商汤笔试挂：影石、大疆、淘天、饿了么（淘宝闪购）、海尔、海信一面挂：oppo ostar、荣耀、轻舟、蔚来、元戎、字节、海康终面挂：百度(百度换岗来回面了六面)泡池没泡出来：华为offer：小米相机部门infra、科大讯飞人才计划转普通批大模型推理优化岗位、高通转正最终去向：高通。虽然原部门没转正但是换部门转正了，这里非常感谢高通hr团队，高通hr真的很尽职专业，目前遇到的最好评的hr。并且高通这边做的方向个人很感兴趣，加上base也是理想base，直接决定去高通了。找工作时候非常内耗，面试阶段几乎一天两面，而且挂了这个新的面试又来了，并且面试要么一面挂要么终面挂，每天处于心态已崩和在崩的路上两种状态，好在结果个人还挺满意。秋招和实习一样，运气占一部分，剩下的就靠个人能力了，打铁还需自身硬。最后祝大伙都收获比较满意的offer。