Update README.md
Browse files
README.md
CHANGED
@@ -26,6 +26,8 @@ from hqq.engine.hf import HQQModelForCausalLM, AutoTokenizer
|
|
26 |
tokenizer = AutoTokenizer.from_pretrained(model_id)
|
27 |
model = HQQModelForCausalLM.from_quantized(model_id)
|
28 |
|
|
|
|
|
29 |
##########################################################################################################
|
30 |
import transformers
|
31 |
from threading import Thread
|
|
|
26 |
tokenizer = AutoTokenizer.from_pretrained(model_id)
|
27 |
model = HQQModelForCausalLM.from_quantized(model_id)
|
28 |
|
29 |
+
from hqq.core.quantize import *
|
30 |
+
HQQLinear.set_backend(HQQBackend.PYTORCH_COMPILE)
|
31 |
##########################################################################################################
|
32 |
import transformers
|
33 |
from threading import Thread
|