你好， 推理时，我每次使用相同的超参: temperature, top_p 等都一样。 输入prompt也一样(主要是做分类)，但是输出结果不一样. 有时候分对，有时候分错?
想稳定，就降低温度到0
温度已经是0了.另外这个版本由很大概率输出一堆 "\\\\\\\\\\\\\\\\\\\"
你预留了多少显存来处理上下文？出错时上下文长度多少？
· Sign up or log in to comment
