Update README.md
Browse files
README.md
CHANGED
|
@@ -43,9 +43,9 @@ pipeline_tag: text-generation
|
|
| 43 |
| 模型量化类型 | 载入显存 | 推理显存(ctx约600) | 推理显存(ctx约1800) |
|
| 44 |
|:-------:|:-------:|:-------:|:-------:|
|
| 45 |
| 全量 | 超出游戏显卡显存范围 | - | - |
|
| 46 |
-
| 8bit |
|
| 47 |
-
| 4bit |
|
| 48 |
-
| 3bit |
|
| 49 |
|
| 50 |
|
| 51 |
# 日志
|
|
|
|
| 43 |
| 模型量化类型 | 载入显存 | 推理显存(ctx约600) | 推理显存(ctx约1800) |
|
| 44 |
|:-------:|:-------:|:-------:|:-------:|
|
| 45 |
| 全量 | 超出游戏显卡显存范围 | - | - |
|
| 46 |
+
| 8bit | 17G | - | - |
|
| 47 |
+
| 4bit | 11.3G | 14.9G | 17.4G |
|
| 48 |
+
| 3bit | 9.7G | 13.7G | - |
|
| 49 |
|
| 50 |
|
| 51 |
# 日志
|