Momenta AI Agent开发 一面

1、自我介绍

2、项目介绍

3、离线数据处理咋做的

离线数据处理我一般会按“采集、清洗、标准化、切分、标注、校验、入库”这条链路来做。先把多来源数据接进来，比如文档、表格、对话日志、接口结果、历史工单，然后做编码统一、去重、去噪、脏字段修复和无效样本过滤。对于文本类数据，还要做特殊符号清理、HTML 去标签、分段切分、敏感信息脱敏和元信息补全。

如果是训练数据，还会进一步做 schema 对齐，比如统一成 instruction / input / output，或者统一成多轮消息格式 messages=[{role, content}]。如果是 RAG 知识数据，就会做 chunk 切分、标题挂载、来源保留和 embedding 入库。如果是 Agent 轨迹数据，还要保留 task_id、step_id、tool_name、tool_input、tool_output、status、error_type 这些字段，方便后面做回放和失败分析。

离线处理的重点不是把数据存进去，而是让后续训练、检索、评测、回溯都能直接复用，所以字段设计、版本管理和质量校验会非常重要。

4、训练数据接入规范

训练数据接入规范的核心是统一格式、保证质量、可追溯、可扩展。一般至少会约束这几层。

第一层是样本结构统一。如果是 SFT 数据，通常会统一成指令格式或者消息格式，比如：

{
  "id": "sample_001",
  "messages": [
    {"role": "system", "content": "你是一个智能助手"},
    {"role": "user", "content": "帮我总结这段内容"},
    {"role": "assistant", "content": "这段内容主要讲了..."}
  ],
  "source": "manual_annotation",
  "domain": "qa",
  "version": "v1"
}

第二层是字段约束。像 id 必须唯一，messages 不能为空，role 只能在 system、user、assistant 里选，文本长度不能超过上限，敏感信息必须脱敏。第三层是质量校验，比如空回复、乱码、重复样本、标签错位、上下文断裂都要过滤。第四层是来源和版本管理，必须知道这条数据从哪来、谁标的、属于哪个版本、什么时候接入，后面效果波动才能追得回来。

如果是训练 Agent 的轨迹数据，还会要求保留中间步骤，比如工具调用前的思考、工具参数、返回结果和最终答案，这样后面不管做监督学习还是错误分析都更方便。

5、阶段模型效果验证咋做

阶段效果验证一般不会只看一个最终指标，而是分层去看。最基本的是离线验证，先划分训练集、验证集、测试集，看基础指标，比如准确率、召回率、F1、BLEU、ROUGE，或者 RAG 场景下的 Recall@K、MRR、NDCG。对于 Agent 系统，还会多看一步任务完成率、工具调用成功率、参数填充正确率、平均执行步数和异常中断率。

如果模型是分阶段迭代的，我通常会做三层验证。第一层是组件级验证，比如检索器单独看召回质量，重排器单独看排序效果，分类器单独看准确率。第二层是链路级验证，也就是完整输入后看最终结果是不是正确。第三层是对比验证，把新版本和旧版本放到同一批评测集上做 A/B 对比，尤其关注回归问题，也就是原来能做对的有没有被新版本做坏。

再往后会上小流量灰度，看线上延迟、错误率、用户采纳率和失败分布。真正的效果验证不是“模型分高不高”，而是“新版本是不是比旧版本更适合当前业务”。

6、失败样本回流有做吗

有做，而且这部分很重要。线上系统如果没有失败样本回流，优化会非常慢，因为你根本不知道系统到底错在哪。一般回流链路我会拆成“采集、归因、清洗、标注、重训/重评测”这几步。

先在线上把关键日志打全，包括用户输入、检索结果、Prompt、模型输出、工具调用参数、工具返回、最终答案、用户反馈和错误码。然后根据失败类型做归因，常见的有召回失败、证据引用错误、工具参数错误、输出格式错误、上下文截断、超时中断和幻觉。归因之后，不是所有失败样本都直接进训练集，还要先去重、筛噪、脱敏，再做人工标注或者半自动打标签。

最后这些失败样本一般有两个用途。一个用途是进专项评测集，变成回归测试样本；另一个用途是进训练或微调数据，用来做定向增强。真正有效的回流机制，一定是“问题发现了以后，下一个版本能明确验证有没有修好”。

7、断点重训咋做

断点重训本质上是为了避免训练过程中因为机器故障、中断或者策略调整导致全部重来。做法上一般依赖 checkpoint 机制，也就是定期保存训练状态，不只是保存模型参数，还要保存优化器状态、学习率调度器状态、当前 epoch、global step、随机数种子、混合精度 scaler 等信息。

如果只保存模型权重，其实不算完整断点重训，因为恢复后优化轨迹可能已经变了。标准做法一般是这样：

checkpoint = {
    "model_state_dict": model.state_dict(),
    "optimizer_state_dict": optimizer.state_dict(),
    "scheduler_state_dict": scheduler.state_dict(),
    "epoch": epoch,
    "global_step": global_step
}
torch.save(checkpoint, "checkpoint.pt")

恢复的时候：

checkpoint = torch.load("checkpoint.pt")
model.load_state_dict(checkpoi