LLM面经——

多模态大模型训练中”模态懒惰“问题如何解决？
下面是具体的解决方法，主要分为训练方式、算法设计和训练数据分布优化。
0️⃣训练方式这里就不做赘述了，比较常见的是渐进式解冻训练：先fix住某一模态编码器权重，再训练另一模态权重，最后全网络整体训练。
1️⃣一、算法细节设计
1.最小化模态间投影误差
结合最优传输理论（Optimal Transport）建模分布对齐，解决语义密度差异问题。
主要包括下面四个核心步骤:
1） 交替单模态学习：把传统的多模态联合优化过程转变为交替的单模态学习过程。在每个训练步骤中，只优化一个模态的编码器，从而减少模态之间的干扰，使每个模态都能独立地被优化。
2）共享头部：每个模态独立优化，但用一个跨所有模态的共享头部来捕获跨模态的交互信息。共享头部在不同模态之间持续优化，有助于整合多模态信息。
3）梯度修改机制：为了防止共享头部在遇到新模态时丢失之前学习到的信息（即模态遗忘问题），通过正交化梯度方向来减少不同模态之间的干扰。
4）推理阶段动态模态融合：在inference阶段，基于不确定性的模型融合机制来整合多模态信息;评估每个模态在预测中的重要性，并根据这个评估来分配权重，然后结合所有模态的预测结果。
2.模态间交叉引导融合不同模态特征差异
比较常见的是跨模态交叉注意力（Cross-modal Cross-Attention）显式建模不同模态特征的融合，Query来自一模态，Key/Value来自另一模态；或者基于输入内容自适应调整各模态贡献权重，抑制低质量模态噪声。
2️⃣二、训练数据分布优化
1.在不同模态的不同语义层级设计对齐约束
有一个非常关键的视觉专家集成（Mixture of Visual Experts），可以利用多种视觉专家模型来提供图像理解的中间信息。
2.主动学习实现更平衡的数据选择
某个模态特征时的变化，来估计该模态特征的边际贡献，然后对所有可能的子集选择取平均值，从而得到该模态的Shapley值。
3.引导偏好优化（BPO），惩罚某一模态的依赖行为
可以通过引入扰动来减少某些模态的信息内容，迫使模型在生成负面响应时依赖特定模态。比如前面提到的两个”模态偏差“的例子，棕色的北极熊和对于”房子在左边吗？“问题的不精准回答，把这些生成的偏差响应都作为负面样本，形成了一个新的偏好优化数据集。
📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。