唯品会实习面经 NLP

1. 目前实习工作， 为什要用聚类来评估文本向量化表示?
2. DBSCAN算法原理(简历有)
3. 生成模型的的Category不存在预定义集合怎么办
4. UIE+Category具体流程 (实习)
5. 分类评估用的是什么指标
6. bert模型中文本到id转化的过程是怎么样？
7. 现有流行的模型相对于transformer，多头注意力有哪些改进/不同
8. 现有流行的模型相对于transformer，layernorm 层改进/不同
  a. 正态度分布
9. 现有流行的模型相对于transformer，embedding的改进/不同
10. 现有模型之间(chatglm baichuan llama)的不同主要是哪些方面
11. 常见的高效微调方法有哪些(p-tuning v1/v2 prompt-tuning prefix_tuning)， 他们是如何做到节省GPU的，GPU上存放的是什么
12. 怎么进行梯度更新的， 有哪些优化函数
13. 现有流行的各个模型的编码方法有了解吗， 有什么不同呢， 简单介绍一下
14. ChatGLM和transformer在编码和注意力方面有哪些区别
15. Lora的降秩是所有都降吗， 还是降哪些？
16. 一般用高效微调来干嘛
17. 序列标注有了解吗， CRF有了解吗
18. 场景题 现有三个词 权重分别是[0.2 0.3 0.5] 可以使用random, 进行k次(亿级别)采样， 设计一个采样算法

反问:
高效微调， GPU是如何存储的？1. 优化参数 2. 梯度参数 3. 模型参数 可以自己查

总结: 面试官人挺好的 和之前面试的感觉不一样 面试过程可以学到很多东西。
还是自己太菜了 还是得练得沉淀