模型端侧部署/AI Agent/嵌入式/前端

严重性定义 产品场景下幻觉的容忍度，接受多少成本来解决评估和检测●业务角度：进行人工评估，比如标100条Case，从体感上感知主要问题●自动化评估：在垂直领域，构造数据集，利用LLM进行知识检索判断幻觉幻觉分类大致分为与真实世界信息不一致的事实性幻觉（包括编造事件、信息过时等）、与输入的上下文不一致的忠实型幻觉。需要不同的缓解措施幻觉如何缓解？调API的话1.首先是Prompt调优。比如输入更详细的任务指令、调优的过程中不断根据输出的Bad Case加入限制。比如COT。2.然后是上下文优化，这里指的可以是RAG的召回信息优化，也可以是特定场景的上下文处理优化，突出其重点部分更容易被大模型理解。3.还可以基于Agent思想，将其问题拆分成更细粒度的任务，每个步骤都使用RAG融入外部知识来降低幻觉。4.最后是成本较高的，使用另一个模型来检测幻觉，如果有幻觉则重新生成。自研模型的话，通常是在垂直场景需要蒸馏一个小模型，或者微调一个模型。除去上述部分，还可以参考一下思路1.SFT训练数据层面：通过合成指令微调，有助于缓解幻觉。2.强化学习：在强规则的领域，可以通过强化学习来缓解忠实型幻觉。比如特定格式输出、特定内容提取等。3.推理：在不同领域考虑不同的解码方式，多样性解码在专业领域诱发更多幻觉，贪心搜索在开放领域加剧幻觉

双非本科 25届软件工程专业，秋招最终上岸某大厂移动端 AI 算法岗。分享下三个能帮你在 AI 赛道脱颖而出的硬核项目：1. ncnn 手机端高性能神经网络前向计算框架项目实践：基于 ncnn 实现手机端 YOLOv8 目标检测模型部署，针对 ARMv8 架构做指令级优化，将单帧推理速度从 200ms 压缩至 80ms，无第三方依赖，适配 Android/iOS 双平台。项目地址:https://gitee.com/Tencent/ncnn求职价值：直接体现移动端 AI 部署、跨平台兼容和高性能优化能力，是软开专业在 AI 嵌入式 / 移动端方向的硬核加分项；该框架已在腾讯 QQ、微信等亿级用...

先打基础：弄懂端侧 AI 与云端 AI 的区别，理解低功耗、低延迟、本地推理的核心要求；掌握嵌入式基础，熟悉 C/C++、ARM 架构、MCU/SOC 常识，看懂内存与算力约束。再啃核心技术：模型量化压缩是重中之重，先学 PTQ 后训练量化，快速把 FP32 转 INT8/FP16，缩小体积、提速；进阶学 QAT 量化感知训练，保住精度；顺带了解剪枝、蒸馏、轻量化网络设计。工具链必须熟练：PyTorch/TensorFlow 模型导出、ONNX 格式转换、TensorFlow Lite Micro/NCNN/MNN 端侧推理框架、量化工具使用，能跑通 “训练→压缩→移植→部署” 全流程。

2023年，开源模型刚刚多起来的时候，上手AI做的最多的事情就是微调，那会儿我有一张3090，就足够微调GLM2-7B或者Llama2-8B的模型了，网上还有很多的教程，教你怎么找数据集、怎么构建数据集，怎么微调大模型。仿佛只要学会了微调，我就一脚踏进了大模型工程师的门槛。包括到现在，很多客户一开始就说：“我们要微调一个自己的模型，网上都这样说的。”然后14B也好，32B也好，拉一堆行业数据往里塞，觉得这样才算构建核心壁垒。但连续了解几个项目之后，我现在的结论很清晰：对大多数做AI应用的团队来说，微调就是个坑。甚至面试的时候也会出现这个问题：为什么不建议微调？到现在网上还有很多新发的教程，一张...