03-14 19:31 上海交通大学 算法工程师 发布于上海
关注
DeepSeek-V3.2读后感：稀疏注意力不只省算力，更影响智能体上限
今天啃完 DeepSeek-V3.2 技术报告，记3个我觉得最有启发的点：
1）架构层：DSA 把注意力从“全量看历史”改成“先索引再精读”，长上下文下计算压力明显更可控。
2）训练层：后训练不是点缀。报告里把大量算力放在 RL 和专家蒸馏上，说明“会推理+会调用工具”是靠系统工程堆出来的。
3）数据层：智能体能力提升的关键在任务构造。把真实工具链、可验证任务、难度递进放进训练闭环，比单纯堆问答数据更有效。
我的体感是：下一阶段做大模型应用，拼的不只是模型参数，而是“架构效率 × 训练策略 × 任务设计”的乘积。
你们最近在做的 Agent 项目里，最卡的是哪一环？
#大模型# #算法工程师# #深度学习# #AI求职#
1）架构层：DSA 把注意力从“全量看历史”改成“先索引再精读”，长上下文下计算压力明显更可控。
2）训练层：后训练不是点缀。报告里把大量算力放在 RL 和专家蒸馏上，说明“会推理+会调用工具”是靠系统工程堆出来的。
3）数据层：智能体能力提升的关键在任务构造。把真实工具链、可验证任务、难度递进放进训练闭环，比单纯堆问答数据更有效。
我的体感是：下一阶段做大模型应用，拼的不只是模型参数，而是“架构效率 × 训练策略 × 任务设计”的乘积。
你们最近在做的 Agent 项目里，最卡的是哪一环？
#大模型# #算法工程师# #深度学习# #AI求职#
全部评论
相关推荐
查看9道真题和解析