台达CDBU

1. 自我介绍2. 训练一个 decoder-only 大模型时，为什么 embedding 层和 lm head 常常共享权重权重共享本质上是一种参数高效和统计一致性的设计。输入端 embedding 学到的是“token 到向量空间”的映射，输出端 lm head 学到的是“隐藏状态到词表概率”的映射，如果这两个空间本身就在描述同一个词表语义，那么共享权重可以减少冗余参数，并让输入语义空间与输出判别空间保持一致。从优化角度看，共享权重还能起到轻微正则化作用，尤其在词表非常大时更明显。代价是模型表达自由度下降了一点，但对大多数语言模型来说这个损失远小于收益。很多实现里会保留一个独立 bias...

秋招没有大满败，最终收到节子的offer。

📍面试公司：阿里国际🕐面试时间：26.4.9-45分钟💻面试岗位：AI应用开发❓面试问题：非简历上的补充介绍构建向量与关键词混合检索的背景、具体实现逻辑，以及为何选择ES作为统一存储引擎而非独立向量数据库，以及ES如何存储向量化文本和文本的？向量与关键词检索的结果怎么处理的？针对混合检索效果的评估，你采用了哪些指标？当前评测方法存在什么局限性？后续计划如何构建更贴合水利业务的评估体系？在多格式文档解析环节，为何选用Apache Tika而非直接调用大模型进行解析与分块？这种选型背后考虑了哪些工程约束？介绍Redis Bitmap管理文件分片状态的作用。了解过业界的上下文记忆和多轮对话吗？...