1. 你做过的后训练项目里，最难解决的问题是什么2. SFT 数据你怎么构造，怎样避免模型被训练“油了”SFT 最大的问题不是量不够，而是数据风格太单一，最后把模型训成一种固定腔调：很会说、很圆滑、但信息密度低。构造数据时我一般会先按任务拆层，比如信息抽取、工具调用、复杂问答、拒答、安全、长文总结、结构化输出，每一层的目标都不一样。然后再做难度分桶，避免模型只见过简单样本。另一个关键点是负面风格清理。很多数据表面上没错，但非常模板化，比如“这是一个非常好的问题，让我们一步一步分析”，这类东西在少量数据里没问题，规模一大就会把模型带偏。所以我会专门清掉这种“高礼貌、低信息”的样本，保留更接近真实...

1. 介绍一下你做过的一个项目2. LoRA 的原理以及初始化方法是什么LoRA 的核心是低秩适配。对于原始权重矩阵 (W \in \mathbb{R}^{d \times k})，全参数微调直接更新整个 (W)，成本高、显存占用大。LoRA 认为下游任务需要的更新往往落在一个低秩子空间里，所以把增量写成：W' = W + \Delta W = W + BA其中，并且r≪min⁡(d,k)r≪min(d,k)。训练时冻结原始参数 (W)，只训练 (A) 和 (B)，这样参数量和优化器状态都能显著下降。初始化时通常让 (A) 随机初始化，(B) 初始化为 0，或者相反。这样一开始 (\Delta...

1. 介绍一下你做过的一个项目2. 打分模型设计思路是什么打分模型本质上是在多个候选里做排序，重点不是绝对分值，而是相对顺序。设计时先要明确标签来源，如果是检索系统里的重排，一般可以来自人工相关性标注、点击日志、停留时长、复制行为、是否继续追问等；如果是生成答案质量打分，还会加入事实一致性、格式完整性、引用正确性这些目标。特征上通常会混合语义特征和业务特征，比如 query 向量、doc 向量、交叉编码器打分、文档时效性、来源可信度、标题匹配度。训练时常见有 pointwise、pairwise、listwise 三种。pointwise 简单，适合做基础版本；pairwise 更符合排序本质...

1. 介绍下你实习学了什么 做过什么项目,为什么离职的2. MoE 为什么能在参数量很大的情况下还能把训练和推理成本压住，真正难点在哪MoE 的关键不是“参数变多了”，而是“每个 token 只激活一部分参数”。也就是说总参数量可以做得很大，但单次前向只走少数几个 expert，所以理论上计算量不会随着总参数线性增长。这个思路在大模型里很有吸引力，因为可以同时兼顾容量和成本。但真正难的地方是路由和负载均衡。路由器如果只偏爱少数 expert，训练会很不稳定，热门 expert 被打爆，冷门 expert 学不到东西。另一个难点是通信开销，尤其多机训练时，token dispatch 和 gat...