5.29 淘天大模型应用实习生（50min）

1.自我介绍
2.IOT场景是什么场景，介绍是米家场景，用LLM效果会比较好
3.之前线上用的推荐模型是什么
4.基座模型最后用的是什么，Qwen2.5用Qlora微调时没有出现过拟合情况吗×
5.训练的框架用的是什么×
6.Qwen2.5的框架，GQA，Decoder-only，RMSNorm，位置编码动态
7.Qwen2.5用的是Dense还是Moe×，回答Dense
8.如果用LLM来做分类，用encoder做还是decoder做会好一点×，回答encoder
用Bert做分类的话softmax加在哪一层，加在哪一个维度？×
9.LLM用在推荐系统上，怎么用，用户的历史数据为亿级×回答做不了端到端，但可以做召回和精排
10.LLM适不适合用来做embedding生成？encoder架构还是decoder架构适合？那为什么还要用decoder-only的Qwen来做encoder？
11手撕MOE或LORA