请问13B模型所需显存大小是多少呢?是否支持多卡加载呢?

#6
by mzhe - opened

>=32g

load_in_8bit=True单张3090就能用,大小13G左右

Sign up or log in to comment