更小尺寸的MOE
#2
by
JaheimLee
- opened
有计划出更小版本的MOE吗，社区里有一些了，8x7B还是太大了
不知道更小的效果会怎么样
不知道更小的效果会怎么样
感觉我们也可以试试看
他这个的许可有点严格，如果你们可以挑一些更开放的模型merge就太好了:)
是的，我们要做的话应该会直接从mixtral基座开始。
有计划出更小版本的MOE吗，社区里有一些了，8x7B还是太大了
不知道更小的效果会怎么样
不知道更小的效果会怎么样
感觉我们也可以试试看
他这个的许可有点严格，如果你们可以挑一些更开放的模型merge就太好了:)
是的，我们要做的话应该会直接从mixtral基座开始。