silver commited on
Commit
a748e08
1 Parent(s): fb1c9f0

update readme

Browse files
Files changed (1) hide show
  1. README.md +2 -2
README.md CHANGED
@@ -6,9 +6,9 @@ tags:
6
  - glm
7
  - chatglm-slim
8
  ---
9
- # ChatGLM-6B-Slim
10
  ## 介绍
11
- ChatGLM-6B-Slim是在ChatGLM-6B的基础上通过裁剪词表构建的。因为ChatGLM-6B使用了icetk,在其词表中,前20000个token是预留给图片的,在文本模型中没有用到这些图片token,但是在infer和微调的时候,这些token对应的embedding依然需要被加载,并且在解码每一个token的时候需要多计算20K个logits,会占用不少显存。因此将这一部分token裁剪掉以节省显存。
12
 
13
  除了词表外,ChatGLM-6B-Slim的其他结构与ChatGLM-6B完全一致,性能也完全一样,可以认为是ChatGLM-6B的一个低显存版等价平替。
14
 
 
6
  - glm
7
  - chatglm-slim
8
  ---
9
+ # ChatGLM-6B-Slim: 低显存版ChatGLM-6B
10
  ## 介绍
11
+ ChatGLM-6B-Slim是在[ChatGLM-6B](https://huggingface.co/THUDM/chatglm-6b)的基础上通过裁剪词表构建的。因为ChatGLM-6B使用了icetk,在其词表中,前20000个token是预留给图片的,在文本模型中没有用到这些图片token,但是在infer和微调的时候,这些token对应的embedding依然需要被加载,并且在解码每一个token的时候需要多计算20K个logits,会占用不少显存。因此将这一部分token裁剪掉以节省显存。
12
 
13
  除了词表外,ChatGLM-6B-Slim的其他结构与ChatGLM-6B完全一致,性能也完全一样,可以认为是ChatGLM-6B的一个低显存版等价平替。
14