1. 自我介绍2. 训练一个 decoder-only 大模型时，为什么 embedding 层和 lm head 常常共享权重权重共享本质上是一种参数高效和统计一致性的设计。输入端 embedding 学到的是“token 到向量空间”的映射，输出端 lm head 学到的是“隐藏状态到词表概率”的映射，如果这两个空间本身就在描述同一个词表语义，那么共享权重可以减少冗余参数，并让输入语义空间与输出判别空间保持一致。从优化角度看，共享权重还能起到轻微正则化作用，尤其在词表非常大时更明显。代价是模型表达自由度下降了一点，但对大多数语言模型来说这个损失远小于收益。很多实现里会保留一个独立 bias...

目标后端

1. 做一下自我介绍2. RAG 分块策略应该怎么选，真正影响效果的核心因素是什么分块策略不是越细越好，也不是统一按 token 长度切就行。真正影响效果的是 chunk 是否保留了完整语义单元、是否带有足够的定位信息、是否能在召回后被模型直接利用。像制度文档、规则文档、FAQ、表格和多层级说明，最佳切法差异很大。比较稳的方式通常是结构优先、语义补充、长度兜底，也就是先尊重标题、段落、表格、列表，再在超长片段内部做语义切分。这样做的目标不是生成整齐块，而是让每个 chunk 自带最小可回答上下文。3. 怎么评估 RAG 的效果，除了准确率还能看什么RAG 效果不能只看最终回答对不对，因为那样很...