max_position_embeddings
почему "max_position_embeddings" всего 2048, а не 8к как у базового мистраля?
Хм, Vikhr-7b-0.1 был на мистрале, а со 2 версии стал ламой. Интересно, почему?
И кстати у ламы 1 контекст 2к, а у ламы 2 - 4к. Получается в основе Вихря ллама 1?
бро.. на твой вопрос к сожалению нет ответа, очень не плохие модели начиная с 0.2, тут бы поподробней... да с нормальным сапортом... может глядишь чего и вышло бы... но авторы тут не многословны)))) бывают какие то эпизодические всплески энергии)))) из космоса... и на авторов а может и соавторов сходит манна небесная и они что то пытаются тут показывать, понятное только им самим, не более чем..... так что додумывай сам, лама это или козел))) и кто в кого превратился.
Привет! Доучивали с контекстом 2048, больше в память не лезло