大模型面经每日总结
BP16 和 FP16 在存储结构、精度表现、数值范围以及适用场景方面有什么不同？
- 训练时使用bf16更稳定，表示范围大，并且自带隐式正则化buffer；
- 推理时使用fp16比bf16更好，因为fp16表示精度高。 https://www.zhihu.com/question/616600181/answer/3194881239
怎么解决训练使用float16导致溢出的问题？
- 使用 缩放因子 trick
- 混合精度训练
kv-cache的作用
- 一种缓存技术，通过存储键值对的形式来复用计算结果，以达到提高性能和降低内存消耗
量化方法的分类
- 按量化对象分：KV Cache量化、模型权重量化、激活值量化-按量化阶段分：
- 量化感知训练(QAT)、量化感知微调(QAF)、训练后量化(PTQ)【大模型常用】
AWQ 量化和 KV Cache量化 有什么不同
- AWQ 更侧重于在模型权重存储和计算中
- KV Cache量化 更适用于长上下文推理和并发场景参考
https://blog.51cto.com/u_15912723/12361929
常见推理框架有哪些，有什么异同
- Slang,TensorRT,vLLM,LMDeploy 等可以从适用场景、生态、易用性，功能性进行对比 https://www.bentoml.com/blog/benchmarking-llm-inference-backends https://medium.com/better-programming/frameworks-for-serving-llms-60b7f7b23407 https://waytoagi.feishu.cn/wiki/RUI3wNlzeiF0SZkk5pWcdVfCnGc
日拱一卒~
查看17道真题和解析
腾讯二面916人在聊
投递美团等公司6个岗位