什么是嵌入式AI

嵌入式 AI（Embedded AI）是指将人工智能技术与算法集成到嵌入式系统中，使设备能够在本地（无需依赖云端服务器）实现数据处理、分析和决策的技术形态。它融合了嵌入式系统的实时性、低功耗特性与AI 的智能化能力，让传统硬件设备具备 “边端智能”，适用于对响应速度、隐私保护、网络依赖性要求高的场景。

核心特点

本地化运行

无需联网即可完成数据处理和决策，避免网络延迟和断网风险（如自动驾驶汽车在隧道中实时避障）。

保护用户隐私：敏感数据（如人脸、医疗信息）无需上传云端，直接在设备端处理。

低功耗与轻量化

受限于嵌入式设备的算力和电池容量（如智能手环、智能家居设备），需对 AI 模型进行压缩优化（如模型剪枝、量化、知识蒸馏），使其适配低功耗芯片（如 ARM 处理器、NPU 神经处理单元）。

实时性与可靠性

适用于对延迟敏感的场景（如工业机器人实时抓取、智能摄像头动态追踪），要求算法响应时间在毫秒级。

技术架构与关键组件

1. 硬件层

嵌入式处理器：

传统 MCU（微控制器，如 STM32）：算力较低，适合简单 AI 任务（如传感器数据分类）；

异构计算芯片：

CPU+GPU（如 NVIDIA Jetson 系列）：适合中高算力需求（如图像处理）；

CPU+NPU（如华为海思麒麟芯片）：专为 AI 设计的神经处理单元，高效处理矩阵运算。

传感器：摄像头、麦克风、加速度计等，为 AI 模型提供输入数据（如视觉识别、语音唤醒）。

2. 软件层

AI 框架与工具链：

轻量化框架：TensorFlow Lite、PyTorch Mobile、ONNX Runtime，用于模型部署和推理；

模型优化工具：量化（将浮点运算转为定点运算）、剪枝（删除冗余神经元）、蒸馏（用小模型学习大模型知识）。

实时操作系统（RTOS）：如 FreeRTOS、QNX，确保 AI 任务与设备控制任务的调度协同。

3. 算法层

适配嵌入式场景的 AI 算法：

计算机视觉：轻量化 CNN（如 MobileNet、ShuffleNet）用于目标检测、人脸识别；

语音处理：Keyword Spotting（关键词检测）、语音命令识别（如 “开灯”），模型参数量可压缩至数百 KB；

传感器融合：结合多传感器数据（如摄像头 + IMU），通过卡尔曼滤波等算法提升决策可靠性。

典型应用场景

1. 智能硬件与消费电子

智能家居：智能音箱本地语音唤醒（无需联网即可响应 “小爱同学”）；智能门锁实时人脸识别开锁。

可穿戴设备：智能手表通过心率数据本地分析异常心跳（如房颤预警），减少云端数据传输。

2. 工业与智能制造

智能质检：嵌入式视觉系统在生产线上实时检测产品缺陷（如电路板焊点不良），替代人工目检。

工业机器人：机械臂通过本地 AI 算法动态避障（如识别工人靠近时减速），提升协作安全性。

3. 汽车与自动驾驶

车载 AI：ADAS（高级驾驶辅助系统）本地处理摄像头数据，实现车道偏离预警、行人检测；

智能座舱：驾驶员疲劳监测（通过摄像头分析眨眼频率）、手势控制空调调节，响应时间 < 100ms。

4. 医疗与健康

便携式医疗设备：血糖仪通过图像识别本地分析试纸结果，避免数据泄露；

手术机器人：嵌入式 AI 实时计算手术器械位置，辅助医生精准操作。

涉及到的技能 

嵌入式系统与 AI 的结合（如边缘 AI、智能物联网设备）需要在有限的计算资源（如 MCU、FPGA、边缘计算芯片）上实现 AI 模型的部署和运行，因此对 AI 知识的掌握需兼顾算法轻量化、硬件适配性和实时性。以下是需要重点掌握的 AI 方向知识和技能：

一、核心 AI 基础：轻量化模型与算法

1. 轻量级深度学习模型

目标：在低算力设备上运行 AI 任务，需平衡模型精度与计算量。

关键模型：

图像领域：MobileNet 系列（轻量级 CNN）、ShuffleNet、SqueezeNet；

自然语言处理（NLP）：DistilBERT、ALBERT（BERT 轻量化版本）、T5 小型化模型；

语音处理：MobileNetV3-SSLD（语音识别）、EfficientNet-Lite（音频分类）；

通用轻量化框架：TensorFlow Lite Micro、PyTorch Mobile、ONNX Runtime Lite。

技能要求：掌握模型压缩技术（如剪枝、量化、知识蒸馏），能将预训练模型转换为适合嵌入式的格式（如.tflite、.ptlite）。

2. 传统机器学习算法

适用场景：数据量小、实时性要求高的简单任务（如传感器数据分类）。

常用算法：

决策树、随机森林（用于状态预测）；

隐马尔可夫模型（HMM，用于时序数据处理，如电机故障检测）；

支持向量机（SVM，轻量级分类任务）。

优势：计算资源消耗低，无需大量数据训练，适合低端嵌入式设备（如 8 位 / 32 位 MCU）。

二、嵌入式 AI 开发全流程技能

3. 模型训练与部署流程

数据预处理：

针对嵌入式场景优化数据（如传感器噪声过滤、时序数据分帧）；

掌握边缘设备数据采集工具（如 ROS 2、MQTT 协议）。

训练框架：

使用 PyTorch/TensorFlow 训练模型，结合 NVIDIA Jetson 等边缘开发平台调试；

熟悉迁移学习（Transfer Learning），利用预训练模型微调适配小数据集。

模型部署：

使用模型转换工具（如 TensorFlow Lite Converter、ONNX Optimizer）压缩模型；

优化内存占用和计算效率（如定点化量化、层融合）。

4. 嵌入式硬件与 AI 加速

硬件选型：

了解主流嵌入式 AI 芯片：

MCU 级：ARM Cortex-M 系列（带 DSP/NN 加速器，如 STM32H7）、RISC-V（如玄铁 C906）；

边缘处理器：NVIDIA Jetson 系列（GPU+CPU）、高通 Hexagon（带 NPU）、地平线征程系列（BPU）；

FPGA/ASIC：Xilinx Zynq（可编程逻辑 + AI 加速）、Intel Movidius（VPU）。

硬件加速技术：

掌握神经网络加速器（NPU）原理，利用厂商 SDK（如 NVIDIA CUDA、ARM CMSIS-NN）优化模型推理；

了解异构计算（CPU+GPU+FPGA 协同），分配任务到最合适的硬件单元。

三、领域特定技术：结合嵌入式场景

5. 计算机视觉（CV）在嵌入式中的应用

典型任务：目标检测（如 YOLOv5s/Tiny YOLO）、姿态估计、二维码识别；

技能要求：

掌握轻量级 CV 框架（如 OpenCV Lite、TensorFlow Lite for Vision）；

优化图像预处理流程（如灰度化、直方图均衡化）以减少计算量；

结合硬件特性（如 FPGA 并行计算）加速卷积运算。

6. 传感器融合与时序数据处理

场景：智能设备通过多传感器（如 IMU、摄像头、雷达）感知环境，需融合数据并实时决策。

技术：

时序模型：LSTM、GRU（用于传感器信号预测，如设备故障预警）；

融合算法：卡尔曼滤波、扩展卡尔曼滤波（EKF），用于多传感器数据校准；

端到端模型：如 Temporal Convolutional Network（TCN）处理时序数据。

7. 语音与自然语言处理（NLP）

轻量化语音任务：关键词检测（KWS，如 “唤醒词识别”）、简单指令识别；

技术栈：

语音预处理：梅尔频率倒谱系数（MFCC）、短时傅里叶变换（STFT）；

轻量级模型：MobileNet-SSLD（语音识别）、Keyword Spotting 模型（如 TensorFlow Lite Micro 的 KWS 示例）；

端侧语音唤醒：基于能量检测和隐马尔可夫模型（HMM）的低功耗方案。

四、系统级优化与工程实践

8. 实时操作系统（RTOS）与任务调度

要求：AI 推理需与嵌入式系统的实时任务（如电机控制、通信）协同运行。

技能：

掌握 RTOS（如 FreeRTOS、Zephyr）的任务优先级管理、内存分配；

优化 AI 任务的执行周期，避免抢占关键实时线程。

9. 功耗与能效优化

嵌入式限制：电池供电设备需严格控制 AI 模型的功耗。

方法：

模型量化（如 8 位 / 4 位权重）降低计算能耗；

动态推理：根据输入数据特性选择性激活模型层（如 Skip Connection）；

利用硬件低功耗模式（如 ARM Cortex-M 的 Sleep 模式）在非推理阶段节能。

10. 调试与测试工具

模型调试：使用 Netron 可视化模型结构，通过 TensorFlow Lite Model Analyzer 分析层耗时；

嵌入式调试：借助 JTAG 调试器（如 OpenOCD）跟踪 AI 推理过程中的内存和寄存器状态；

性能测试：测量模型推理延迟（Latency）、吞吐量（Throughput），验证实时性要求。

全网最受欢迎的嵌入式面经

面经一共32篇文章，12w+字数，包含全部最新的面试必问考点，4.7w+同学学习，2800+订阅，非常适合在找工作面经薄弱的同学，3000+订阅还会涨价，提前订阅提前享受，持续更新中。

原帖链接：https://www.nowcoder.com/creation/manager/columnDetail/MJNwoMc