首页 > 试题广场 >

在追求微调效果优先（计算资源充足）的前提下，以下关于targ

[单选题]

在追求微调效果优先（计算资源充足）的前提下，以下关于target_modules选择的描述哪个更合理？

只对attention的q_proj和v_proj应用LoRA即可

对attention的q_proj、k_proj、v_proj、o_proj以及MLP的gate_proj、up_proj、down_proj都应用LoRA，追求效果时更全面

只对MLP层应用LoRA，因为MLP层参数量更大

对所有层都应用LoRA，包括LayerNorm和Embedding层

查看正确选项

这道题你会答吗？花几分钟告诉大家答案吧！

提交观点

问题信息

大模型开发

难度：

0条回答 1收藏 19浏览

扫一扫，把题目装进口袋