大模型的量化目前主流有3种,
- GGUF,主要是给CPU使用。
- GPTQ, GPU使用。
- AWQ,可以理解是一种更新的量化工具,比GPTQ量化带来更好的性能。
notebook
还有些地方需要理解。
- Downloads last month
- 4
Inference Providers
NEW
This model is not currently available via any of the supported Inference Providers.