大模型面试 | 大模型评估全攻略

攻略
🌈【大模型评估全攻略】!LLM七大核心评估维度保姆级拆解💯
👉🏻预训练→SFT→RLHF→数据集→RAG→Agent→Prompt
🔥一、预训练评估
评估大型语言模型(LLM)的预训练效果需要从多个维度综合考量,涉及基础语言能力、下游任务表现、知识掌握、推理能力等。
🔥二、SFT评估
评估大型语言模型(LLM)在监督式微调(Supervised Fine-Tuning, SFT)后的效果,需要结合任务目标、领域特性和模型能力设计多维度的评估体系。
🔥️三、RLHF评估
评估大型语言模型(LLM)在通过RLHF(基于人类反馈的强化学习)后的效果需要从多个维度综合考量,包括生成质量、安全性、对齐性、任务完成度等。
🔥四、数据集评估
在评估数据集的质量时,可以从以下几个关键方面进行评估:
1. 数据多样性
2. 数据平衡性
3. 数据完整性
4. 数据一致性
5. 数据与任务的适合性
6. 标注准确性
🔥五、RAG评估
从召回、排序、生成、整体四个维度来评估RAG性能。使用了多种指标,如准确率(Correct)、错误率(Wrong)、失败率(Fail)、BERTScore、ROUGE Score等,以全面评估生成答案的质量。
🔥六、Agent评估
现如今Agent开发工具/框架不断出现,但如何全面地对Agent进行评估却很困难,本文就从介绍一些主流的Agent/LLM-as-Agent评估工作来看看是否能得到一些启发。
🔥七、Prompt评估
评估Prompt的好坏需要一个全面和多维度的方法,结合自动评估指标、人工评估和用户反馈等多种手段。选择合适的评估方法和技术,能够有效提升Prompt的质量和生成效果,进而提高模型的整体性能和应用体验。通过不断优化和改进Prompt设计,可以实现更自然、更准确、更有效的自然语言。

#算法##大厂##面经##大模型面试##大模型##大厂算法岗##秋招##互联网大厂##字节跳动##算法实习##实习#
#找工作##面试#
全部评论
大佬,求完整资料
点赞 回复 分享
发布于 07-17 21:22 湖南

相关推荐

07-29 12:54
已编辑
丰乡小学 全栈开发
积功德职位描述:1. 负责机器学习、深度学习等算法在得物业务场景的产品化工作2. 包括但不限于如下方向:目标检测,图像分割,图像分类,NLP,多模态,大模型等职位要求:1. 熟悉Linux环境开发,熟练掌握 Python 语言,有较强的编码能力2. 熟练使用一种深度学习框架如Pytorch、TensorFlow等,熟悉OpenCV、NumPy、Pandas等常用库3. 对云原生有一定了解,有容器化使用经验者优先4. 有GPU编程经验、熟悉算法模型部署、 TensorRT 优化工具者优先5. 图像处理、模式识别、计算机视觉、计算机图形学、机器学习等计算机相关专业在读研究生优先一面(2025.7.10)30minHR发给我的邮件是上午 11 点,我 11 点进会议等了半个多小时没人退出去了,12 点多的时候,HR微信联系我说怎么没进飞书会议,然后我赶紧爬起来进会议。。。搞忘了,日本和国内有一个小时时差,麻了。。。1. 面试官进来直接说你的简历我已经看过了,自我介绍一下吧2. 几乎是纯聊天。。。面试官说我的经历非常匹配(暗示)3. 大模型有没有推理优化经验?无,我说以前主要做CV算法,接触和使用过扩散模型,这也算CV大模型🤗4. 我们来做个算法题吧。我:OK🫡。最大子数组和(秒了🥵)5. 硕士研究内容?6. 偏向算法还是调度?有没有调度相关经验?无。。。7. 你们推理部署是怎么做的?我介绍了自己之前负责和参与过的GPU侧和端侧的推理部署8. 写过CUDA吗?熟不熟?学校里深入学过,之后因为业务关系,没啥使用场景,可以再捡起来9. 你还做过AIGC?有没有NLP相关经验?基本的概念和算法比如 tf-idf, n-gram,word2vec 这些都是知道的,做过文本分类任务,了解 Transformer、CLIP10. 有没有多卡推理优化经验?有多卡训练经验,多卡推理没做过。。。11. 问什么时候能来实习?答最快这月底就能到岗,3个月时间可以保证,每周5天12. 你知道岗位base地吗,能接受吗?我说就是期望在国内实习,上海完全能接受,表现出很想去的意愿🤣13. 反问:组内主要业务场景?商品内容理解、文本理解、AI鉴定商品真伪、推理优化等。学聪明了,面试官框框介绍完,我添一句“那还是挺期待的”🤣,疯狂暗示一面面试官貌似就是老大,结束后HR直接说过了,进offer流程。。。今年暑期准备就去这个了,主要是面试官和善,面试体验好、务实,其余都是次要的(没认真找,随便投投,攒攒面试经验,我觉得现在找工作看眼缘、看运气。本来想着回家吃饭睡觉的 日本饭好难吃啊。。。
查看11道真题和解析
点赞 评论 收藏
分享
评论
2
15
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务