NLP

部门：QQ音乐base地：深圳流程：一面+二面+三面+HR面推进速度：非常快，每一面在一小时内出结果一面 50min自我介绍论文介绍什么是MHAAttention运算公式为什么除以根号dk介绍现有相对位置编码和绝对位置编码的异同点，都有哪些结构RoPE的结构RoPE相比于绝对位置编码的优势是什么？为什么外推性更好？为什么RoPE理论上可以无限外推？RoPE为什么可以利用绝对位置和相对位置的优势？介绍RAG项目（基座模型是什么？几b ？全参微调用了多少卡？数据多大？问答对的形式有图片吗？对RAG的理解是什么？为什么要用RAG？BGE模型的结构什么是LoRA？有个两层神经网络，参数1万*一万，低秩...

  bg：文科双2计算机，主要是做的NLP和大模型三轮面试问的比较多的还是个人论文实习，基础大小模型知识，关于deepseek模型的掌握和对大模型在实际生活的一些理解看法。每一轮面试都进行得很顺利，面试官们非常友好，很尊重面试的人，整体氛围比较轻松，是我校招以来面试体验感最好的公司！经历也和岗位匹配度比较高。Timeline：2.17 一面2.19 二面2.20 三面2.25 hr面+云证2.27 沟通offer2.28 正式发offer希望大家都能顺利拿到心仪的Offer！❤️     

腾讯音乐 实习生招聘 NLP #算法实习生【岗位】NLP大模型实习生(角色对话方向)(暑期实习生招聘，有转正机会)【工作内容】NLP大模型在泛娱乐产业的应用研究探索-腾讯音乐Si14项目组主要负责虚拟人AIGC等相关应用技术的研发工作，支持未伴，QQ音乐，全民K歌等AI应用场景1、数据：大模型的数据自动获取，数据标注，数据清洗以及后处理。2、算法：大模型在角色对话方面的技术研究，包括：角色记忆力机制，对话上下文一致性，对话趣味性。文字剧本游戏的优化3、评估：对模型输出进行评估，协助撰写评估反馈文档，对标注人员进行培训。【岗位要求】1.计算机及人工智能相关专业优先，硕士优先，25届应届生优先；2.对NLP主流大模型如ChatGLM/LLaMA/Ziya/baichuan/Yi等的原理和差异有深入理解，掌握或了解大模型训练技术如SFT，RLHF等，微调技术如lora，qlora等； 3.熟练使用Python语言编程，linux环境和docker容器技术，深度学习框架pytorch，了解大模型训练框架Megatron-LM/Deepspeed，推理框架tensorrtllm；4.对新一代AIGC娱乐产品如Glow/未伴/筑梦岛/wow/悬河/哄哄模拟器等有了解和认识的优先；【简历邮箱】fanxiao@tencent.com

LLM资料大全：文本多模态大模型、垂直领域微调模型、STF数据集、训练微调部署框架、提示词工程等 自ChatGPT为代表的大语言模型（Large Language Model, LLM）出现以后，由于其惊人的类通用人工智能（AGI）的能力，掀起了新一轮自然语言处理领域的研究和应用的浪潮。尤其是以ChatGLM、LLaMA等平民玩家都能跑起来的较小规模的LLM开源之后，业界涌现了非常多基于LLM的二次微调或应用的案例。本项目旨在收集和梳理中文LLM相关的开源模型、应用、数据集及教程等资料，目前收录的资源已达100+个！  常见底座模型细节概览：   底座 包含模型 模型参数大小 训练token数...

2025奇虎360全球校园招聘-算法提前批开启啦 SP Offer超高转正率  SSR级培训资源  超前沿技术课题  国际化视野团队 业内一流实习薪酬福利配置【投递方法】👇👇👇【投递链接】https://360campus.zhiye.com/填写内推码：IVVRBA评论区可留姓名缩写帮追进度~

Attention 知识点总结 本文从 Attention 机制的角度，主要对 Attention Is All You Need 中提出的 Transformer 和 Multi Head Attention 模型、其他相关 Attention 机制进行知识点总结。 BERT、GPT、GAT 等相关的上层模型将另行总结。 Additive Attention 基于加权求和实现的注意力机制。 对于所有的候选元素集合 ，计算所有 对目标 的 Attention 分数的主要过程如下： 其中   为 的特征；  为基于 和 计算的分数，用于计算归一化后的 Attention 权重。  注意：这里主要...

   # 23/24级应届生校招，2012实验室-产品数字化与IT装备部 AI软件开发岗位，AI算法岗位仍有需求！！！23级的仍有机会！！！地点：深圳上海https://mp.weixin.qq.com/s/unoNOOaex_hcgXGGEIlZRw投递方式：1. 登录华为招聘官网 career.huawei.com；2. 选择校园招聘实习生；3. 第一意向选择 2012实验室：产品数字化与IT装备部投递结束之后，简历ID发我一下， 帮你全流程跟踪进展。欢迎卫星号咨询投递fanynxxx本人20级学姐，目前后端开发，欢迎来聊 😍业务的技术的职业规划的，答疑解惑，知无不答。来实习面试蹭蹭面筋也行啊。

百度提前批二面凉经上来自我介绍，然后讲项目八股文回答的稀碎算法题是旋转矩阵90°简单 好像是力扣原题最后问了几个shell脚本和python底层的问题，回答的也一般除了手撕算法，其他都回答的稀碎。。我还是太菜了已共享，凉凉，希望9月正式再战

#腾讯 #腾讯音乐 #暑期实习 #实习生招聘 #大模型 #NLP #算法实习生【岗位】NLP大模型实习生(角色对话方向)(暑期实习生招聘，有转正机会)【工作内容】NLP大模型在泛娱乐产业的应用研究探索-腾讯音乐Si14项目组主要负责虚拟人AIGC等相关应用技术的研发工作，支持未伴，QQ音乐，全民K歌等AI应用场景1、数据：大模型的数据自动获取，数据标注，数据清洗以及后处理。2、算法：大模型在角色对话方面的技术研究，包括：角色记忆力机制，对话上下文一致性，对话趣味性。文字剧本游戏的优化3、评估：对模型输出进行评估，协助撰写评估反馈文档，对标注人员进行培训。【岗位要求】1.计算机及人工智能相关专业...

工程博0，导师是大组，主要研究方向有这些对抗机器学习、图机器学习、基于学习的组合优化、CV(网络结构、小样本、自监督)、A4Sci有点纠结选哪个方向，希望有ai大佬指点迷津个人的一些想法cv貌似非常的卷，有被最近那个CV劝退视频震撼到，不过视频面对的对象是硕士，不知道我这个工程博能否入坑:nlp方向，大语言模型概念比较火，如果入坑应该就是选LLM了，有点担心计算资源和效率的问题，不知道搞不搞得动图ml方向是导师让我先看的方向，初步入门但是GNN的概念貌似几年前比较火，不知道以后有没有前途，担心太小众组合优化是导师自己做的比较牛的方向，但是感觉有一些些理论了，大概是NP难问题的实际求解，还没具体了解个人是想走算法岗的道路，希望能早点定个研究方向，专精一下，求助           

大伙觉得哪个前景好，欢迎大佬们说说看法。我觉得好像搜广推里包含了很多模型相关的，所以我觉得可能模型好一些。                

吉利    让我也打开简历，简单做个自我介绍（说着说着就开始讲细节了，嘴管不住）  了解的知识图谱的书，推荐些（推荐了大老板的= =）  了解的哪些做的比较好的国内NLP/KG团队（清华KSE、刘知远、浙大OpenKG--我说不确定是啥具体实验室，我关注了这个公众号和网站）  多任务模型的loss怎么自适应权重  crf原理  基于Bert的序列标注任务去掉crf效果是否有影响  lstm的门有哪些，怎么运算的（这个答得不好，当时把他当黑盒用了，对门控机制不熟）  交叉熵、BCE、softmax、sigmoid  深挖Bert，Bert的结构，base有多少层、BatchNorm/LayerN...

大语言模型的预训练[3]之Prompt Learning：Prompt Engineering、Answer engineering、Multi-prompt learning、Training strategy详解 1.Prompt Learning 1.1 Prompt Learning 的出现背景 目前学术界一般将 NLP 任务的发展分为四个阶段，即 NLP 四范式：：   第一范式：传统机器学习模型的范式，基于全监督学习（fully supervised learning）的方法。通过构建特征工程（feature engineering），利用领域知识从数据中提取好的特征，直接解决下游...

检索增强生成(RAG)实践：基于LlamaIndex和Qwen1.5搭建智能问答系统  什么是 RAG  LLM 会产生误导性的 “幻觉”，依赖的信息可能过时，处理特定知识时效率不高，缺乏专业领域的深度洞察，同时在推理能力上也有所欠缺。 正是在这样的背景下，检索增强生成技术（Retrieval-Augmented Generation，RAG）应时而生，成为 AI 时代的一大趋势。RAG 通过在语言模型生成答案之前，先从广泛的文档数据库中检索相关信息，然后利用这些信息来引导生成过程，极大地提升了内容的准确性和相关性。RAG 有效地缓解了幻觉问题，提高了知识更新的速度，并增强了内容生成的可追溯性...

RNN知识点整理 Naive RNN 原生 RNN 单元对输入的数据进行简单的线性变换与激活。 对第 t 个时间的单元有：  2 个输入： 、 2 个输出： 、  计算过程 优缺点 优点：计算过程简单 缺点：简单地使用加法进行状态的叠加，存在长期依赖问题  长期依赖问题 对于比较长的数据序列，第 项的输出依赖于前 项，这意味着对第 项：  反向传播时，其相关的参数会累积前 次的梯度，容易导致梯度爆炸或梯度消失。   LSTM 通过使用门控机制（Gate mechanism）对原生 RNN 进行了改进，提高了学习能力。 每对第 个时间的单元有：  3 个输入 、 、 3 个输出 、、  计算过程...

本人某中上211计算机两年制专硕，有项目支撑，论文方向为nlp中的text matching。无小论文要求，导师完全不管科研。 22年一直在卷实习和秋招，除了跟着学校上过机器学习的一些通识课，看过十来篇论文外无算法积累，找的工作也是开发方向。 对科研没啥兴趣，只想水一篇毕业论文😂，但导师和师兄能提供的帮助十分有限，所以有偿请做nlp的前辈交流一下基础知识以及怎么水论文😂  了解text matching最好，不了解的话也可以。线上上课，具体时间咱们商量着来。有兴趣的前辈直接联系我。    引流：腾讯 阿里 字节 滴滴 美团 京东 蚂蚁 华为 小米 oppo vivo