玉玉

1. 如果想要在某个模型基础上做全参数微调，究竟需要多少显存？这个问题不能只看模型参数量，还得把训练时真正占显存的几部分一起算进去。全参数微调时，显存通常会被下面这些东西吃掉：模型参数本身梯度优化器状态前向传播保存的激活值CUDA 运行时和框架缓存如果用的是 AdamW 这类优化器，除了参数之外，还要额外维护一阶矩和二阶矩，所以训练显存会明显高于推理显存。一个比较粗糙但实用的经验是：全参数微调的显存，往往是模型权重显存的 6 到 12 倍左右，具体还得看序列长度、batch size、是否开 gradient checkpointing、是否做 ZeRO/FSDP 分片。拿 7B 模型举例，F...

恐怖如斯

1、自我介绍2、介绍实习3、问为什么研究生方向是LLM，选择做开发，以及到岗时间4、详细介绍其中一段实习，完整的业务流程、业务背景、系统设计5、具体围绕的我实习展开大概40mins （一致性、并发、分库分表）6、hashMap相关问题 （一个线程写，其他多个线程读出现什么问题）7、redis实现分布式锁 （自己实现redis分布式锁考虑什么）8、redis的技术选型问题，给你一个新的业务场景，多大并发要引入redis，为什么引入redis9、tcp的三次握手，如果每次第二次服务端发完syn+ack 客户端都不回复，且客户端多次尝试，会出现什么问题10、XSS问题11、https代理人劫持12、...