腾讯大模型算法面经

感觉整体还是不错的，发一些问题给大家参考，攒人品中～1.实习介绍2.因为之前是做 CV 的，所以面试官问了 CV和 NLP 的区别和联系，在 Transformer 的大背景下，CV、NLP，包括语音等，能否实现大一统3.训练大模型的时候数据怎么清洗，怎么处理，怎么配比，怎样操作能更容易使模型达到更好的性能4.什么是大模型的幻觉，如何减轻幻觉问题5.大模型的复读问题是怎么产生的，业内一般有什么解决办法6.大模型的工具调用怎么实现7.Agent 有哪几部分构成，了解哪些具体的实现方法8.开放题:之前训练大模型的时候遇到过什么困难，你是怎么解决的9.代码:实现一个 Tokenizer，只能用 PyTorch 基础语法

原文链接：HikariLan's Blog 当提到“如何为大模型提供大规模的可用于检索的信息”时，我们第一反应想到的大概率是 RAG 一类的解决方案，但现在我要说，基于文件系统访问（FileSystem Access）的检索方式可能远比使用 RAG 更好。 什么是 RAG？为什么需要 RAG？ **Retrieval-Augmented Generation（检索增强生成，RAG）**是一种可以允许 LLM 从大规模非结构化信息中进行语义检索的技术方案。 我们之所以需要 RAG，是因为大模型内置的知识内容可能不符合我们的需要，例如这些内容可能已经过时（因为用于大模型训练的语料库并不会随着使用者...

发一下问题给大家参考，攒攒人品！1.主要以项目交流为主，并非拷打，有点像讲组会2.Sota模型在对应场景测试效果怎么样3.你认为大模型在你项目中最大的误差来源于什么4.数据怎么准备的，怎么处理的5.AIGC生图是2d还是3d6.AIGC如何评定最终效果7.科研项目训练模型了吗8.一共用了哪些模型9.针对不同模型，如何调整提示词以适应其特点

1. 为什么要用agent解决这个场景2. 什么是agent3. 你在里面做了哪些工作4. 为什么要SFT5. 训练前后区别在哪 举一个具体的例子6. 数据怎么构建的7. 什么平台上训练的 训练多久 学习率多少 为什么是这个学习率8. 什么是语言模型9. cnn能不能做语言模型10. 现在大模型是什么架构11. 写出伪代码 用abc 预测第四个token 告诉了我特征维度 头个数12. 分头是怎么分的 怎么拼接13. 场景题：做一个意图识别的分类任务，类别特别多 怎么做