字节 风控&多模态LLM

一面

  1. 简历
  2. 幻觉有哪些
  3. SFT相比于其他FT有什么优势
  4. 如何解决过拟合,L1正则化
  5. Transformer的结构
  6. PPO对于TRPO有哪些改进
  7. SFT的loss是如何计算的?
  8. Code:路径数量
  9. 反问

二面

  1. 项目
  2. Code:1,2,5,10凑出N元的组合数

三面(疑似凉经)

  1. 贝尔曼方程了解吗
  2. PPO不稳定的情况如何缓解?
  3. 当前LLM如何拓宽上下文窗口的?
  4. 减少kv cache了解哪些
  5. MLA的低秩压缩应用在NSA的哪个位置
  6. 了解哪些非LLM的算法
  7. 做过哪些研究和探索?
  8. 什么是有价值的工作?
  9. Code:找出字符串中01数量相同的字串长度
  10. 反问

三面被拷打了,拼劲全力无法战胜

全部评论
佬,研一想搓一个LLM项目找个日常的话,微调一个base模型够用吗?
点赞 回复 分享
发布于 04-15 16:23 四川
挂了。
点赞 回复 分享
发布于 03-25 17:05 广东

相关推荐

今天老师整理了大模型入门的几个学习步骤、目标和需要掌握的基础知识,供初学者快速掌握基本路径。1️⃣前置知识: Python 基础、 Linux 基础🌟学习内容1.熟练掌握 Python 语言,熟悉常用的Python 库和工具,如 NumPy 、 Pandas 、  Scikit - learn 、 PyTorch 等。2.具备 NLP 相关的基础知识,包括文本预处理、分词、词性标注等。3.对大模型有一定了解,包括Transformer 模型的结构和原理、基于注意力机制的自然语言处理技术等。2️⃣Step1:NLP相关基础知识🌟学习内容1.了解文本预处理、分词、词性标注、命名实体识别、词向量表示等基础知识。2.掌握机器学习中的数据预处理、特征提取、分类、回归等基础算法,并了解其在 NLP 领域的应用。3.了解大规模 NLP 任务中的常用技术和方法,如深度学习中的 Transformer 模型、 BERT 、 GPT 等。3️⃣Step2:GPT API 调用及 Prompt 设计🌟学习内容了解 GPT API 的调用方式和基本操作,熟悉 Prompt 设计技巧和要点,能够结合自己的任务调用 API 实现对应的任务代码。4️⃣Step3:模型微调( Fine - tuning )🌟学习内容了解常见的微调模型的基本流程和原理,熟悉数据集的构造、训练、评估等过程,能够独立构建 QA 对,在服务器上对模型进行微调。5️⃣Step4: RAG (外挂数据库)🌟学习内容RAG 作为目前最火的一个 LLM 落地方向,可以结合私有数据(表格、 word 、 txt 、 pdf 、数据库皆可)实现本地问答,且训练成本较低,可以快速实现效果。✴️有需要提升面试能力和辅导项目的同学可以后台联系我~
点赞 评论 收藏
分享
评论
3
18
分享

创作者周榜

更多
牛客网
牛客企业服务