26秋招蚂蚁金服大模型算法二面
1、简单介绍中厂实习经历
2、模型蒸馏的数据如何做的?如何清洗馏得到的数据?
3、有没有使用强化学习做过数据仿真。这个之前看过一篇论文,刚好讲了一下。
4、有没有了解过训练推理一致性这个领域?我讲了一下强化学习领域的推训一致性,固定flash attention分块策略,vlm推理框架固定page attention分块策略。
5、模型量化如何做的。gptq,qat等等,并说明为什么选择了w8a16的量化?
6、写一下ppo算法的损失函数和GAE优势函数。主要还是讲明白
7、一个场景题
8、手撕题hot100,中等题,合并k个升序链
2、模型蒸馏的数据如何做的?如何清洗馏得到的数据?
3、有没有使用强化学习做过数据仿真。这个之前看过一篇论文,刚好讲了一下。
4、有没有了解过训练推理一致性这个领域?我讲了一下强化学习领域的推训一致性,固定flash attention分块策略,vlm推理框架固定page attention分块策略。
5、模型量化如何做的。gptq,qat等等,并说明为什么选择了w8a16的量化?
6、写一下ppo算法的损失函数和GAE优势函数。主要还是讲明白
7、一个场景题
8、手撕题hot100,中等题,合并k个升序链
全部评论
相关推荐
查看11道真题和解析