2022-10-26
在牛客打卡3天，今天学习：刷题 10 道
全部评论

相关推荐

头像
03-16 09:48
吉林农业大学 算法工程师
顺丰 大模型开发 一面
1、LoRA 微调的原理LoRA 的核心思想是不直接更新预训练模型里的原始大权重，而是在某些线性层旁边增加一个低秩更新分支，用低秩矩阵去近似权重增量。假设原始权重是 W∈Rd×k，全量微调时直接学习ΔW，LoRA 则把它写成：ΔW=BA其中A∈Rr×k，B∈Rd×r ,，(r) 是远小于 (d) 和 (k) 的秩。这样前向计算就变成：h=Wx+ΔWx=Wx+BAx实际里通常还会加缩放项：这样做的本质是认为很多下游任务对大模型权重的更新其实存在低秩结构，不需要真的去学习一个完整的大矩阵。LoRA 的优点是可训练参数少、显存占用低、训练快，而且原模型参数冻结，方便多任务切换和权重管理。2、LoRA...
查看11道真题和解析
点赞 评论 收藏
分享
03-14 11:42
已编辑
南京大学 C++
点赞 评论 收藏
分享
03-06 18:20
门头沟学院 Java
点赞 评论 收藏
分享
02-26 17:25
广东海洋大学 前端工程师
点赞 评论 收藏
分享
03-18 17:15
已编辑
门头沟学院 嵌入式软件工程师
地平线 嵌入式软件开发 一面 拷打
地平线作为自动驾驶芯片头部公司，嵌入式软件岗一面考察范围覆盖 Linux 内核、RTOS、硬件接口协议、C++ 底层和系统调试能力。整体难度中等偏上，追问较多，纯背八股很难过，需要结合项目经历展开回答。自我介绍，重点介绍和嵌入式或驱动相关的项目经历C++ 中 volatile 关键字的作用是什么？在嵌入式开发中什么场景下必须用它？说说 RTOS 中优先级反转是什么问题，如何解决？说说 DMA 的工作原理，使用 DMA 传输时需要注意哪些问题？Linux 内核中中断上半部和下半部的区别是什么？tasklet 和 workqueue 分别适合什么场景？说说 Linux 设备树（Device Tre...
查看14道真题和解析
点赞 评论 收藏
分享
评论
点赞
收藏
分享

全站热榜

更多

创作者周榜

更多
正在热议
更多
# 如何一边实习一边找下家？ #
28997次浏览 200人参与
# 职能管理面试记录 #
9151次浏览 38人参与
# MiniMax求职进展汇总 #
14152次浏览 231人参与
# 跟HR说什么能被秒回？ #
8914次浏览 159人参与
# 面试官最爱问的 AI 问题是...... #
15123次浏览 522人参与
# 春招/暑实第一面是哪家？ #
18989次浏览 220人参与
# 巨人网络春招 #
9975次浏览 163人参与
# 京东美团大战，你怎么看？ #
174004次浏览 881人参与
# 京东开奖 #
673123次浏览 3236人参与
# 你的嫡系AI是哪个？ #
4038次浏览 103人参与
# 现在入门AI应该走哪些方向？ #
3982次浏览 90人参与
# 把自己当AI，现在最消耗你token的问题是什么？ #
2813次浏览 85人参与
# 你收到了哪些公司的笔试？ #
16628次浏览 90人参与
# 巨人网络工作体验 #
74226次浏览 505人参与
# 巨人网络求职进展汇总 #
190713次浏览 1228人参与
# OPPO求职进展汇总 #
789536次浏览 5414人参与
# 不卡学历的大厂有哪些？ #
161464次浏览 685人参与
# 实习生如何通过转正 #
129802次浏览 1475人参与
# 你现在的工作，是“成长”还是“消耗”？ #
8168次浏览 140人参与
# 许愿池 #
361065次浏览 2915人参与
# 迅雷笔试 #
5401次浏览 27人参与
# 联想求职进展汇总 #
340729次浏览 2229人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务