模型端侧部署/AI Agent/嵌入式/前端

纯刷模型、调API的通用AI能力已经泛滥了，但能把轻量化模型部署到边缘设备、优化嵌入式AI推理性能的人才很稀缺。用TensorRT Lite或ONNX把神经网络压缩到MCU上，实现低功耗的语音唤醒或视觉检测。是智能硬件工业控制领域急需的。AI工具辅助开发用AI生成嵌入式代码框架自动注释排查硬件驱动bug。才能求职中拉开差距

1、实时生成的聊天代理模型，如果线上出问题了，怎么定位这种问题一般先按链路拆。如果是实时生成类聊天代理，通常一条请求会经过网关、会话层、Prompt 拼装、模型推理、工具调用、结果后处理和流式返回几个阶段。线上出问题时，先判断是全量故障还是部分故障，是所有请求都失败，还是只有某一类请求延迟高、返回空、内容异常。定位时先看监控和日志。监控上看 QPS、平均延迟、P95/P99、错误率、超时率、GPU 利用率、显存占用、容器重启次数。日志上重点看 request_id，把一次请求链路串起来，看是卡在 Prompt 构造、模型推理、下游工具调用，还是 SSE/流式返回阶段。如果是模型输出异常，要回看...

攒人品攒人品～～1.实习拷打2.推理相关知识点：1.transformer架构（encoder-only、decoder-only、encoder-decoder各自优缺点，模型举例）2.prefill/decode 结合roofline讲3.nv基础（grid、block、thread、warp、l0cache/l1cache(shared memory)/l2cache/global memory、sram/hbm、tensor core、tma等）4.vllm相关（pagedattention、连续批处理、v0/v1架构、chunked prefill、prifix caching等）5.sglang相关 （radixattention，sglang代码没怎么看，问的不多）flashattention v1-v3、flashdecoding6.量化（LLM.int8()、SmoothQuant、AWQ、GPTQ等、量化的好处）7.投机解码（什么是投机解码、lookahead、n-gram、medusa、eagle）8.并行（dp/tp/pp/ep各自是什么，在vllm中如何实现）9.通信（reduce、gather、开销考虑）10.主流模型架构（llama1-3的演变、qwen3的moe怎么做的、deepseek的mtp）11.kvcache压缩手段（MHA、MQA、GQA、MLA）12.pd分离3.其他知识点计网、操作系统、python八股 都很基础4.手撕leetcode：反转链表、链表重排（lc143）、中序遍历二叉树的递归和非递归实现、最长连续序列（lc128）triton/cuda：layer norm、大矩阵规约求和、online-softmax

想入门模型部署，问了一下Gemini，他的回答如下，大佬们看看这路径可行吗？？？第 1-2 个月：打地基（Modern C++ & CMake & Linux）目标：能看懂推理引擎源码，能独立构建多文件 C++ 项目。核心内容：Modern C++：跟着 HKL 视频，重点吃透 智能指针 (RAII)、移动语义 (Move)、Lambda 表达式和简单的模板。CMake：掌握如何链接第三方库（OpenCV, CUDA, TensorRT），学会编写 find_package。CSAPP：重点精读 第 6 章（存储层次）。理解什么是 Cache Latency。里程碑：在 Linux/WSL 下用 CMake 构建一个调用 OpenCV 处理视频流的小项目。手动实现一个包含智能指针管理的简易内存池。📅 第 3 个月：拿手术刀（CUDA 编程入门）目标：理解 GPU 并行逻辑，能手写并优化基础算子。核心内容：核心概念：Thread, Block, Grid, Shared Memory, Warp Shuffle。实战任务：手写一个 矩阵乘法 (GEMM)。版本 1：朴素版（跑通）。版本 2：使用 Shared Memory 优化（速度提升 5-10 倍）。性能分析：学会使用 nsight-systems 查看 Kernel 执行时间。里程碑：手写一个自定义的图像预处理 Kernel（比如把 BGR 转成 RGB 并归一化）。📅 第 4 个月：炼金术（模型转换与 TensorRT）目标：把 PyTorch 模型变成 1660 Ti 上的极致推理引擎。核心内容：ONNX：学习如何导出 ONNX，如何用 onnx-simplifier 简化模型。TensorRT：掌握 trtexec 工具，学习编写 TensorRT 的 C++ API 推理代码（创建 Runtime、Engine、Context）。插件编写：尝试为一个 TensorRT 不支持的算子写一个 CUDA Plugin。里程碑：将 YOLOv8 导出为 TensorRT 引擎，并在 1660 Ti 上跑到极致 FPS。📅 第 5 个月：工业化（量化与性能压榨）目标：攻克部署最难的一环——精度与速度的平衡。核心内容：量化原理：学习对称量化 vs 非对称量化，理解 KL 散度。PTQ 实战：使用 TensorRT 的 Int8EntropyCalibrator 进行训练后量化。多线程部署：学习 C++ std::thread 或生产消费者模型，实现“视频读取-模型推理-结果渲染”的异步并行流水线。里程碑：完成一个低延迟、多线程的实时检测系统，对比 FP16 和 INT8 的精度损失与速度提升。📅 第 6 个月：破圈与冲刺（国产迁移 & 算法 & 面试）目标：将能力迁移，准备实习面试。核心内容：国产迁移：如果有条件，借或买一个 RK3588 开发板，学习 RKNN-Toolkit。你会发现，因为你有了前 5 个月的底子，这部分 2 周就能上手。算法刷题：每天 1-2 道 LeetCode，重点是数组、链表、排序。八股文复习：回顾 C++ 内存模型、操作系统基础。里程碑：整理简历，把“手写 CUDA Kernel 优化”、“TensorRT INT8 量化实战”作为核心项目写上去。