1. Transformer 的自注意力机制、位置编码、梯度消失和梯度爆炸的解决方案答：自注意力机制的核心是让每个 token 在计算表示时都能和序列中其他 token 交互。给定输入 (X)，先通过线性变换得到 (Q)、(K)、(V)：然后计算注意力：这里除以 根号下dk 是为了防止点积过大导致 softmax 进入饱和区，影响梯度。多头注意力就是把表示拆成多个子空间并行计算，最后再拼接，能从不同角度学习依赖关系。位置编码是因为 Attention 本身不包含顺序信息，所以需要显式加入位置信息。经典做法是正余弦位置编码：现在也常用相对位置编码和 RoPE。梯度消失和梯度爆炸的解决方案包括：残...

不知道过两年会变成啥样…   

😢 飞书电话会议。我真的搞不懂，那些问题我基本上都回答出来了，咋回事呢。

Timeline：0306投递 --> 0319一面 2小时后秒挂全程不到半个小时，无手撕代码自我介绍项目：面试官提问是否为agent项目？rag怎么做的prompt增强？***面试官阐述了他对我简历上rag项目的理解（他是很关注agent中prompt优化）***如何评估prompt增强后的质量？（我这里答得召回率、准确率）面试官追问准确率是指什么？prompt混合检索是怎样的？如果关键词匹配，但语义不匹配怎么办？CoT（思维链）是否了解过？多轮prompt的过程中，当前prompt怎么利用到之前的prompt？讲讲文件上传的过程？kafka在项目中怎么使用的？如何管理以往的promp...