多个LORA合并
#1
by
yantingxu
- opened
请问多个LORA是如何合并的，是直接把多个LORA参数累加到base模型，还是每次是使用对应的数据集微调一个LORA，合并进去之后再微调下一个？
如果是第一种方案，直接把多个LORA参数累加到base模型，那合并的顺序是不是对最终的模型没有影响？
1、我是分成多次合并，即从Base模型开始将LoRA一个个的合上去
2、顺序似乎不影响模型的性能，对比了acsr 和 Yi-34b-200K-alpaca-rpv3-scipy 的Response几乎没有区别
请问一下我将lora和原始模型合并之后，大小几乎没有变化是为什么呢
合并是使用Lora里的小矩阵去变动模型里的原始矩阵里的值，大小没变化是正常的，有变化才是问题。