要不要拥抱大模型推理,求点醒

投票
#牛客帮帮团来啦!有问必答#我在读研期间,一直在芯片公司做一些编译器或者推理加速相关的工作,做过模型压缩,算子融合,动态算子相关的一些工作,但是一直在做单机单卡上相关的工作,这是我的一些背景。

去年大模型火了以后多了很多大模型的机会,我本来以为这个岗位需求量会很大,但是实际秋招的时候,很多芯片公司在这个方向上招人都是个位数,虽然也可以硬蹭互联网还有一些纯 AI 初创,但是招人也特别少,而且因为急着出成果,都希望招资深工程师,在初期别人大厂各种乱杀的时候,只有自动驾驶的一些公司给了一些机会,后来运气不错又拿了一些大厂做大模型推理团队的 offer ,目前在去苏州做 ADAS 类似嵌入式的工作和去上海做大模型推理之间摇摆,上海总包多将近 20 ,但是我还是有一些担心的点。

1. 推理优化的手段真正有效的其实有限,每个公司在这个方向几乎只有十几人的小组在做,我不确定以后跳槽坑位是否足够。
2. 现在大模型越来越火,入行的人的资历也越来越好,动辄系统方向的顶会,优秀的开源项目,反观我只有一些实习的经验,对比之下,感觉压力很大。
3. 经历了芯片赛道的狂热到现在的业务收缩以后,曾经我也以为算力是基本,做芯片行业肯定能温饱不愁,现在持相反态度,我感觉大模型以后一定是个好方向,但是对于从业者却未必友好。

而去外企做嵌入式就没啥太多想法了,苏州家里可以支持买房,可以生活的比较舒服,工资也算给的足够多,如果算上女朋友加起来收入和上海持平(因为女朋友在上海只有银行的选择收入比较低)。

两边都有被裁风险,苏州这边做嵌入式的公司相对应该更多一点,缺点就是确实不太喜欢嵌入式,对汽车的软件开发也喜欢不起来,但是可以克服;而且也不一定稳定,加班也不怎么少。

总之,感觉选哪边都会后悔,经历了一段时间的决策,包括家庭等因素进去,更加不知道如何选择,希望删繁就简,仅从方向和城市的角度请各位大佬给点意见。
全部评论
其实我觉得芯片已经算是较为稳定的方向了,因为门槛比较高,非科班很难跟你同一赛道卷,而且国内在这块跟国外确实还是有差距的,至少长期来看都会有需求,大部分来卷大模型的人也没有算子基础,等大模型的热潮褪去大概会有一波人去另谋出路,佬就可以继续沉淀回到传统芯片赛道,反观java后端这种比较上层的技术就真的是烂大街,不需要太多沉淀就可以入门,也造成了现在卷生卷死的局面。
4 回复 分享
发布于 2024-05-22 14:11 湖南
直接选嵌入式,大模型或者说agi最后的落地也是要做成嵌入式的,现在聊天机器人也只是过渡,嵌入式未来不会变太差,考虑下家庭生活体验就苏州吧
1 回复 分享
发布于 2024-05-26 11:11 安徽
佬,能细说为什么现在对“做芯片行业肯定能温饱不愁,现在持相反态度”这里吗?我也在考虑入行芯片行业,但是缺少一些实际经验,想听听您的看法
点赞 回复 分享
发布于 2024-05-22 13:56 湖南

相关推荐

发点面经攒攒人品1、你在线上或离线训练时,过拟合怎么处理?直接说你最有效的三个方法和拿到的收益。2、把 BN 讲透:原理是什么;训练期和推理期用的统计量有何不同;跟 LN、GN 比,分别什么时候用、怎么取舍。3、分类和回归你最常用哪些损失?你更偏好哪几个,为什么(从鲁棒性、梯度、数值稳定性上谈)。4、L1 和 L2 正则你怎么选?它们各自的效果与风险是什么,工程里你是怎么权衡的。5、二元和多分类的交叉熵你怎么写?在工程里你怎么做数值稳定实现。6、AUC 到底在统计上代表什么?你怎么计算它,在线上业务里你如何解释“这次 AUC 提升”的含义。7、你做 CTR/CVR/CTCVR 联合建模时,ESMM/ESMM2 是怎么推导与工程落地的?线上到底带来了什么收益。8、Transformer 里因果注意力的 Q/K/V 各从哪来?Mask 具体怎么实现。9、Scaled Dot‑Product Attention 为啥要除以 √dk?如果不除会出什么数值或训练问题。10、把 Transformer / Decoder‑only 的整体结构过一遍,各个组件分别在干什么,有哪些常见变体。11、位置编码这条线你怎么选:绝对 PE、相对 PE、RoPE 各自的思路、优势和局限,结合你的项目谈取舍。12、长上下文怎么搞?Rope scaling、Position Interpolation、KV Cache 管理、检索增强、窗口注意力,你的实战方案是什么。13、KV Cache 在训练和推理中的差异是什么?它的加速价值有多大,吞吐与延迟你是如何权衡的,vLLM/paged‑attention 需要注意什么。14、PEFT 方案里(LoRA/QLoRA/Prefix/Prompt‑Tuning/Adapter)你怎么选?说说稳定训练的经验。15、SFT 和对齐(RLHF/DPO/IPO/PPO)原理差在哪?在不同数据与资源条件下,你怎么选路线。16、RAG 系统你怎么设计?切分、索引、召回/重排、压缩/融合、兜底策略怎么串。17、提示词工程你是怎么搞的?System/角色/约束/分步指令怎么写,如何防越狱
查看17道真题和解析
点赞 评论 收藏
分享
评论
5
16
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务