大模型算法二面 技术面-minimax

1. 介绍一下你的实习、项目和论文，重点讲一个你真正做深了的点2. 介绍一个你最熟悉的大模型架构，并说清楚它在注意力结构、训练策略和推理优化上的特点可以拿 Transformer 系列来答。核心由 Embedding、Multi-Head Attention、FFN、残差连接和 LayerNorm 组成。注意力结构负责建模 token 间依赖，训练上一般采用大规模自监督预训练，比如 next token prediction，然后再做 SFT、偏好对齐。推理优化上会做 KV Cache、FlashAttention、Continuous Batching、量化和张量并行。如果你想答得更像大模型...

攒攒人品！有面试过同岗的朋友欢迎评论区交流1.实习拷打2.项目拷打3.论文拷打4.了解RAG，微调，推理这些吗5.介绍一下微调，有没有做过微调，如果让你做能做吗6.选一个项目介绍一下（rpc），为什么选择做rpc项目7. 介绍一下主流的rpc框架的特点8.序列化是什么，主要作用是什么（压缩），为什么不用主流的序列化方式9.对比一下http和tcp，为什么这个rpc底层用tcp协议，不用http10.实习是在公司还是实验室，实习有什么收获11.介绍一下你的本地生活项目，滑动窗口限流，乐观锁，MQ

1. 你做过大模型数据处理的话，预训练数据清洗一般怎么做，去重、去噪、质量过滤分别解决什么问题？预训练数据清洗本质上是在控制“数据量”和“数据质量”之间的平衡。去重主要解决模型反复记忆同一批内容，避免浪费训练 token，也减少 benchmark 污染。去噪主要是过滤乱码、模板页、广告页、低信息密度文本、机器生成垃圾内容，不然模型会学到很差的语言模式。质量过滤更偏向保留高价值内容，比如结构完整、语义通顺、知识密度高、代码块规范或者问答对明确的数据。实际工程里一般不会只靠一个规则，而是多阶段处理：先做规则清洗，再做语言识别、长度过滤、内容打分，最后再结合 dedup 和采样策略。因为预训练效果...

  史上最尬，没有之一😂 我是社招。