字节大模型算法一面 1h 攒人品

Timeline3.12  投↓3.17  一面↓3.18 约二面↓3.20 二面（寄）一面代码题：合并两个有序数组二面代码题：反转链表被拒原因：岗位匹配度不够

1. 介绍一下 bge-m3 和 DBSCAN，以及它们各自的优势bge-m3 是一个面向检索场景的多功能 embedding 模型，它的特点不是单一做稠密向量表示，而是把 dense、sparse 和 multi-vector 几种检索能力统一到一个模型里。dense 表示负责语义相似，sparse 表示更接近关键词匹配，multi-vector 更适合长文档和细粒度匹配。这样做的好处是一个模型可以兼顾语义召回和词面召回，尤其适合知识检索、教育问答、题目匹配这类场景。DBSCAN 是一种基于密度的聚类算法。它通过两个参数来定义簇：一个是邻域半径 eps，一个是形成核心点所需的最小样本数 mi...

继续来分享下之前的面经~Agent & 系统工程1. agent的部署流程2. agent和workflow的区别，为什么需要agent3. 觉得当前的agent达到预期了吗？对agent的预期是什么4. agent的改进方向是什么5. 你认为从大模型端要做什么来适配agent大模型基础 & 微调6. 大模型项目遇到了什么问题7. 大模型微调的机制8. lora的具体原理9. lora中特殊的超参数有哪些，分别有什么意义，会对模型有什么影响10. lora效果不好怎么办11. lora的缺点，改进方向12. 有没有从0训练大模型的经历上下文 & 记忆机制13. 怎么加强大模型记忆机制14. 上下文接口怎么修改15. 较长较多的上下文怎么解决多模态相关16. 多模态的用户信息怎么存储和使用17. 对多模态大模型有什么了解18. 多模态大模型的具体结构

1. 全参数微调的显存一般怎么估算全参数微调的显存不能只看模型参数本身，真正上线训练时至少要把参数、梯度、优化器状态和激活值都算进去。最粗略的估算方式是：如果模型参数量是 N，训练精度是 bf16，那么参数大约占 2N 字节，梯度再来一份 2N，如果用 Adam，还要额外保存两组一阶和二阶矩，通常再加 4N + 4N 字节。也就是说，不考虑激活值时，单参数相关内存大致可以按 12N ~ 16N 字节估。真正把 batch size、sequence length、checkpointing、并行策略加进去后，激活值往往才是大头。所以面试里如果只答“参数量乘 2”基本不够。更稳的答法是先给出静态...