diff --git "a/logs.txt" "b/logs.txt"
new file mode 100644--- /dev/null
+++ "b/logs.txt"
@@ -0,0 +1,480 @@
+python -m mlc_chat gen_config /models/WizardMath-13B-V1.0 --quantization q4f16_1 --conv-template wizard_coder_or_math --output /tmp/tmp25d3sfci
+[2023-12-17 15:55:49] INFO auto_config.py:116: Found model configuration: /models/WizardMath-13B-V1.0/config.json
+[2023-12-17 15:55:49] INFO auto_config.py:155: Found model type: llama. Use `--model-type` to override.
+[2023-12-17 15:55:49] INFO llama_model.py:49: context_window_size not found in config.json. Falling back to max_position_embeddings (4096)
+[2023-12-17 15:55:49] INFO gen_config.py:114: [generation_config.json] Setting bos_token_id: 1
+[2023-12-17 15:55:49] INFO gen_config.py:114: [generation_config.json] Setting eos_token_id: 2
+[2023-12-17 15:55:49] INFO gen_config.py:114: [generation_config.json] Setting pad_token_id: 0
+[2023-12-17 15:55:49] INFO gen_config.py:114: [generation_config.json] Setting temperature: 0.9
+[2023-12-17 15:55:49] INFO gen_config.py:114: [generation_config.json] Setting top_p: 0.6
+[2023-12-17 15:55:49] INFO gen_config.py:128: Not found tokenizer config: /models/WizardMath-13B-V1.0/tokenizer.model
+[2023-12-17 15:55:49] INFO gen_config.py:126: Found tokenizer config: /models/WizardMath-13B-V1.0/tokenizer.json. Copying to /tmp/tmp25d3sfci/tokenizer.json
+[2023-12-17 15:55:49] INFO gen_config.py:128: Not found tokenizer config: /models/WizardMath-13B-V1.0/vocab.json
+[2023-12-17 15:55:49] INFO gen_config.py:128: Not found tokenizer config: /models/WizardMath-13B-V1.0/merges.txt
+[2023-12-17 15:55:49] INFO gen_config.py:126: Found tokenizer config: /models/WizardMath-13B-V1.0/added_tokens.json. Copying to /tmp/tmp25d3sfci/added_tokens.json
+[2023-12-17 15:55:49] INFO gen_config.py:126: Found tokenizer config: /models/WizardMath-13B-V1.0/tokenizer_config.json. Copying to /tmp/tmp25d3sfci/tokenizer_config.json
+[2023-12-17 15:55:49] INFO gen_config.py:68: [System default] Setting repetition_penalty: 1.0
+[2023-12-17 15:55:49] INFO gen_config.py:68: [System default] Setting mean_gen_len: 128
+[2023-12-17 15:55:49] INFO gen_config.py:68: [System default] Setting max_gen_len: 512
+[2023-12-17 15:55:49] INFO gen_config.py:68: [System default] Setting shift_fill_factor: 0.3
+[2023-12-17 15:55:49] INFO gen_config.py:156: Dumping configuration file to: /tmp/tmp25d3sfci/mlc-chat-config.json
+python -m mlc_chat convert_weight /models/WizardMath-13B-V1.0 --quantization q4f16_1 --source-format auto --output /tmp/tmp25d3sfci
+[2023-12-17 15:55:49] INFO auto_config.py:116: Found model configuration: /models/WizardMath-13B-V1.0/config.json
+[2023-12-17 15:55:50] INFO auto_device.py:75: Found device: cuda:0
+[2023-12-17 15:55:50] INFO auto_device.py:75: Found device: cuda:1
+[2023-12-17 15:55:50] INFO auto_device.py:84: Not found device: rocm:0
+[2023-12-17 15:55:50] INFO auto_device.py:84: Not found device: metal:0
+[2023-12-17 15:55:51] INFO auto_device.py:75: Found device: vulkan:0
+[2023-12-17 15:55:51] INFO auto_device.py:75: Found device: vulkan:1
+[2023-12-17 15:55:51] INFO auto_device.py:75: Found device: vulkan:2
+[2023-12-17 15:55:51] INFO auto_device.py:84: Not found device: opencl:0
+[2023-12-17 15:55:51] INFO auto_device.py:33: Using device: cuda:0
+[2023-12-17 15:55:51] INFO auto_weight.py:70: Finding weights in: /models/WizardMath-13B-V1.0
+[2023-12-17 15:55:51] INFO auto_weight.py:120: Found source weight format: huggingface-torch. Source configuration: /models/WizardMath-13B-V1.0/pytorch_model.bin.index.json
+[2023-12-17 15:55:51] INFO auto_weight.py:149: Not found Huggingface Safetensor
+[2023-12-17 15:55:51] INFO auto_weight.py:106: Using source weight configuration: /models/WizardMath-13B-V1.0/pytorch_model.bin.index.json. Use `--source` to override.
+[2023-12-17 15:55:51] INFO auto_weight.py:110: Using source weight format: huggingface-torch. Use `--source-format` to override.
+[2023-12-17 15:55:51] INFO auto_config.py:155: Found model type: llama. Use `--model-type` to override.
+[2023-12-17 15:55:51] INFO llama_model.py:49: context_window_size not found in config.json. Falling back to max_position_embeddings (4096)
+Weight conversion with arguments:
+  --config          /models/WizardMath-13B-V1.0/config.json
+  --quantization    GroupQuantize(name='q4f16_1', kind='group-quant', group_size=32, quantize_dtype='int4', storage_dtype='uint32', model_dtype='float16', num_elem_per_storage=8, num_storage_per_group=4, max_int_value=7)
+  --model-type      llama
+  --device          cuda:0
+  --source          /models/WizardMath-13B-V1.0/pytorch_model.bin.index.json
+  --source-format   huggingface-torch
+  --output          /tmp/tmp25d3sfci
+
  0%|                                                                                                                                                           | 0/243 [00:00<?, ?it/s]
                                                                                                                                                                                        
[2023-12-17 15:55:54] INFO huggingface_loader.py:169: Loading HF parameters from: /models/WizardMath-13B-V1.0/pytorch_model-00006-of-00006.bin
+
  0%|                                                                                                                                                           | 0/243 [00:00<?, ?it/s]
                                                                                                                                                                                        
[2023-12-17 15:56:01] INFO group_quantization.py:199: Compiling quantize function for key: (32001, 5120, 'float16', 'cuda')
+
  0%|                                                                                                                                                           | 0/243 [00:06<?, ?it/s]
                                                                                                                                                                                        
[2023-12-17 15:56:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "lm_head.q_weight", shape: (32001, 640), dtype: uint32
+
  0%|                                                                                                                                                           | 0/243 [00:07<?, ?it/s]
                                                                                                                                                                                        
[2023-12-17 15:56:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "lm_head.q_scale", shape: (32001, 160), dtype: float16
+
  0%|                                                                                                                                                           | 0/243 [00:07<?, ?it/s]
  0%|▌                                                                                                                                                  | 1/243 [00:07<29:02,  7.20s/it]
                                                                                                                                                                                        
[2023-12-17 15:56:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.38.input_layernorm.weight", shape: (5120,), dtype: float16
+
  0%|▌                                                                                                                                                  | 1/243 [00:07<29:02,  7.20s/it]
                                                                                                                                                                                        
[2023-12-17 15:56:02] INFO group_quantization.py:199: Compiling quantize function for key: (5120, 13824, 'float16', 'cuda')
+
  0%|▌                                                                                                                                                  | 1/243 [00:07<29:02,  7.20s/it]
                                                                                                                                                                                        
[2023-12-17 15:56:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.38.mlp.down_proj.q_weight", shape: (5120, 1728), dtype: uint32
+
  0%|▌                                                                                                                                                  | 1/243 [00:07<29:02,  7.20s/it]
                                                                                                                                                                                        
[2023-12-17 15:56:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.38.mlp.down_proj.q_scale", shape: (5120, 432), dtype: float16
+
  0%|▌                                                                                                                                                  | 1/243 [00:07<29:02,  7.20s/it]
  1%|█▊                                                                                                                                                 | 3/243 [00:07<08:25,  2.11s/it]
                                                                                                                                                                                        
[2023-12-17 15:56:02] INFO huggingface_loader.py:169: Loading HF parameters from: /models/WizardMath-13B-V1.0/pytorch_model-00005-of-00006.bin
+
  1%|█▊                                                                                                                                                 | 3/243 [00:07<08:25,  2.11s/it]
                                                                                                                                                                                        
[2023-12-17 15:56:30] INFO group_quantization.py:199: Compiling quantize function for key: (27648, 5120, 'float16', 'cuda')
+
  1%|█▊                                                                                                                                                 | 3/243 [00:36<08:25,  2.11s/it]
                                                                                                                                                                                        
[2023-12-17 15:56:31] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.38.mlp.gate_up_proj.q_weight", shape: (27648, 640), dtype: uint32
+
  1%|█▊                                                                                                                                                 | 3/243 [00:36<08:25,  2.11s/it]
                                                                                                                                                                                        
[2023-12-17 15:56:31] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.38.mlp.gate_up_proj.q_scale", shape: (27648, 160), dtype: float16
+
  1%|█▊                                                                                                                                                 | 3/243 [00:36<08:25,  2.11s/it]
  2%|██▍                                                                                                                                                | 4/243 [00:36<44:52, 11.26s/it]
                                                                                                                                                                                        
[2023-12-17 15:56:31] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.38.post_attention_layernorm.weight", shape: (5120,), dtype: float16
+
  2%|██▍                                                                                                                                                | 4/243 [00:36<44:52, 11.26s/it]
                                                                                                                                                                                        
[2023-12-17 15:56:31] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.39.input_layernorm.weight", shape: (5120,), dtype: float16
+
  2%|██▍                                                                                                                                                | 4/243 [00:36<44:52, 11.26s/it]
                                                                                                                                                                                        
[2023-12-17 15:56:31] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.39.mlp.down_proj.q_weight", shape: (5120, 1728), dtype: uint32
+
  2%|██▍                                                                                                                                                | 4/243 [00:36<44:52, 11.26s/it]
                                                                                                                                                                                        
[2023-12-17 15:56:31] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.39.mlp.down_proj.q_scale", shape: (5120, 432), dtype: float16
+
  2%|██▍                                                                                                                                                | 4/243 [00:36<44:52, 11.26s/it]
  3%|████▏                                                                                                                                              | 7/243 [00:36<18:03,  4.59s/it]
                                                                                                                                                                                        
[2023-12-17 15:56:32] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.39.mlp.gate_up_proj.q_weight", shape: (27648, 640), dtype: uint32
+
  3%|████▏                                                                                                                                              | 7/243 [00:37<18:03,  4.59s/it]
                                                                                                                                                                                        
[2023-12-17 15:56:32] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.39.mlp.gate_up_proj.q_scale", shape: (27648, 160), dtype: float16
+
  3%|████▏                                                                                                                                              | 7/243 [00:37<18:03,  4.59s/it]
  3%|████▊                                                                                                                                              | 8/243 [00:37<14:33,  3.72s/it]
                                                                                                                                                                                        
[2023-12-17 15:56:32] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.39.post_attention_layernorm.weight", shape: (5120,), dtype: float16
+
  3%|████▊                                                                                                                                              | 8/243 [00:37<14:33,  3.72s/it]
                                                                                                                                                                                        
[2023-12-17 15:56:32] INFO group_quantization.py:199: Compiling quantize function for key: (15360, 5120, 'float16', 'cuda')
+
  3%|████▊                                                                                                                                              | 8/243 [00:37<14:33,  3.72s/it]
                                                                                                                                                                                        
[2023-12-17 15:56:33] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.39.self_attn.qkv_proj.q_weight", shape: (15360, 640), dtype: uint32
+
  3%|████▊                                                                                                                                              | 8/243 [00:38<14:33,  3.72s/it]
                                                                                                                                                                                        
[2023-12-17 15:56:33] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.39.self_attn.qkv_proj.q_scale", shape: (15360, 160), dtype: float16
+
  3%|████▊                                                                                                                                              | 8/243 [00:38<14:33,  3.72s/it]
  4%|██████                                                                                                                                            | 10/243 [00:38<09:22,  2.41s/it]
                                                                                                                                                                                        
[2023-12-17 15:56:33] INFO group_quantization.py:199: Compiling quantize function for key: (5120, 5120, 'float16', 'cuda')
+
  4%|██████                                                                                                                                            | 10/243 [00:38<09:22,  2.41s/it]
                                                                                                                                                                                        
[2023-12-17 15:56:33] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.39.self_attn.o_proj.q_weight", shape: (5120, 640), dtype: uint32
+
  4%|██████                                                                                                                                            | 10/243 [00:38<09:22,  2.41s/it]
                                                                                                                                                                                        
[2023-12-17 15:56:33] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.39.self_attn.o_proj.q_scale", shape: (5120, 160), dtype: float16
+
  4%|██████                                                                                                                                            | 10/243 [00:38<09:22,  2.41s/it]
  5%|██████▌                                                                                                                                           | 11/243 [00:38<07:42,  1.99s/it]
                                                                                                                                                                                        
[2023-12-17 15:56:33] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.norm.weight", shape: (5120,), dtype: float16
+
  5%|██████▌                                                                                                                                           | 11/243 [00:38<07:42,  1.99s/it]
                                                                                                                                                                                        
[2023-12-17 15:56:33] INFO huggingface_loader.py:179: Unloading HF weight file: /models/WizardMath-13B-V1.0/pytorch_model-00005-of-00006.bin
+
  5%|██████▌                                                                                                                                           | 11/243 [00:38<07:42,  1.99s/it]
                                                                                                                                                                                        
[2023-12-17 15:56:33] INFO huggingface_loader.py:179: Unloading HF weight file: /models/WizardMath-13B-V1.0/pytorch_model-00006-of-00006.bin
+
  5%|██████▌                                                                                                                                           | 11/243 [00:38<07:42,  1.99s/it]
                                                                                                                                                                                        
[2023-12-17 15:56:33] INFO huggingface_loader.py:169: Loading HF parameters from: /models/WizardMath-13B-V1.0/pytorch_model-00001-of-00006.bin
+
  5%|██████▌                                                                                                                                           | 11/243 [00:38<07:42,  1.99s/it]
                                                                                                                                                                                        
[2023-12-17 15:56:53] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.embed_tokens.q_weight", shape: (32001, 640), dtype: uint32
+
  5%|██████▌                                                                                                                                           | 11/243 [00:58<07:42,  1.99s/it]
                                                                                                                                                                                        
[2023-12-17 15:56:53] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.embed_tokens.q_scale", shape: (32001, 160), dtype: float16
+
  5%|██████▌                                                                                                                                           | 11/243 [00:58<07:42,  1.99s/it]
  5%|███████▊                                                                                                                                          | 13/243 [00:58<19:04,  4.98s/it]
                                                                                                                                                                                        
[2023-12-17 15:56:53] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.0.input_layernorm.weight", shape: (5120,), dtype: float16
+
  5%|███████▊                                                                                                                                          | 13/243 [00:58<19:04,  4.98s/it]
                                                                                                                                                                                        
[2023-12-17 15:56:53] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.0.mlp.down_proj.q_weight", shape: (5120, 1728), dtype: uint32
+
  5%|███████▊                                                                                                                                          | 13/243 [00:58<19:04,  4.98s/it]
                                                                                                                                                                                        
[2023-12-17 15:56:53] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.0.mlp.down_proj.q_scale", shape: (5120, 432), dtype: float16
+
  5%|███████▊                                                                                                                                          | 13/243 [00:58<19:04,  4.98s/it]
  6%|█████████                                                                                                                                         | 15/243 [00:58<12:24,  3.27s/it]
                                                                                                                                                                                        
[2023-12-17 15:56:53] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.0.mlp.gate_up_proj.q_weight", shape: (27648, 640), dtype: uint32
+
  6%|█████████                                                                                                                                         | 15/243 [00:58<12:24,  3.27s/it]
                                                                                                                                                                                        
[2023-12-17 15:56:53] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.0.mlp.gate_up_proj.q_scale", shape: (27648, 160), dtype: float16
+
  6%|█████████                                                                                                                                         | 15/243 [00:59<12:24,  3.27s/it]
  7%|█████████▌                                                                                                                                        | 16/243 [00:59<10:20,  2.74s/it]
                                                                                                                                                                                        
[2023-12-17 15:56:53] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.0.post_attention_layernorm.weight", shape: (5120,), dtype: float16
+
  7%|█████████▌                                                                                                                                        | 16/243 [00:59<10:20,  2.74s/it]
                                                                                                                                                                                        
[2023-12-17 15:56:54] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.0.self_attn.qkv_proj.q_weight", shape: (15360, 640), dtype: uint32
+
  7%|█████████▌                                                                                                                                        | 16/243 [00:59<10:20,  2.74s/it]
                                                                                                                                                                                        
[2023-12-17 15:56:54] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.0.self_attn.qkv_proj.q_scale", shape: (15360, 160), dtype: float16
+
  7%|█████████▌                                                                                                                                        | 16/243 [00:59<10:20,  2.74s/it]
  7%|██████████▊                                                                                                                                       | 18/243 [00:59<06:45,  1.80s/it]
                                                                                                                                                                                        
[2023-12-17 15:56:54] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.0.self_attn.o_proj.q_weight", shape: (5120, 640), dtype: uint32
+
  7%|██████████▊                                                                                                                                       | 18/243 [00:59<06:45,  1.80s/it]
                                                                                                                                                                                        
[2023-12-17 15:56:54] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.0.self_attn.o_proj.q_scale", shape: (5120, 160), dtype: float16
+
  7%|██████████▊                                                                                                                                       | 18/243 [00:59<06:45,  1.80s/it]
  8%|███████████▍                                                                                                                                      | 19/243 [00:59<05:24,  1.45s/it]
                                                                                                                                                                                        
[2023-12-17 15:56:54] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.1.input_layernorm.weight", shape: (5120,), dtype: float16
+
  8%|███████████▍                                                                                                                                      | 19/243 [00:59<05:24,  1.45s/it]
                                                                                                                                                                                        
[2023-12-17 15:56:54] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.1.mlp.down_proj.q_weight", shape: (5120, 1728), dtype: uint32
+
  8%|███████████▍                                                                                                                                      | 19/243 [00:59<05:24,  1.45s/it]
                                                                                                                                                                                        
[2023-12-17 15:56:54] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.1.mlp.down_proj.q_scale", shape: (5120, 432), dtype: float16
+
  8%|███████████▍                                                                                                                                      | 19/243 [00:59<05:24,  1.45s/it]
  9%|████████████▌                                                                                                                                     | 21/243 [00:59<03:33,  1.04it/s]
                                                                                                                                                                                        
[2023-12-17 15:56:55] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.1.mlp.gate_up_proj.q_weight", shape: (27648, 640), dtype: uint32
+
  9%|████████████▌                                                                                                                                     | 21/243 [01:00<03:33,  1.04it/s]
                                                                                                                                                                                        
[2023-12-17 15:56:55] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.1.mlp.gate_up_proj.q_scale", shape: (27648, 160), dtype: float16
+
  9%|████████████▌                                                                                                                                     | 21/243 [01:00<03:33,  1.04it/s]
  9%|█████████████▏                                                                                                                                    | 22/243 [01:00<03:17,  1.12it/s]
                                                                                                                                                                                        
[2023-12-17 15:56:55] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.1.post_attention_layernorm.weight", shape: (5120,), dtype: float16
+
  9%|█████████████▏                                                                                                                                    | 22/243 [01:00<03:17,  1.12it/s]
                                                                                                                                                                                        
[2023-12-17 15:56:55] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.1.self_attn.qkv_proj.q_weight", shape: (15360, 640), dtype: uint32
+
  9%|█████████████▏                                                                                                                                    | 22/243 [01:00<03:17,  1.12it/s]
                                                                                                                                                                                        
[2023-12-17 15:56:55] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.1.self_attn.qkv_proj.q_scale", shape: (15360, 160), dtype: float16
+
  9%|█████████████▏                                                                                                                                    | 22/243 [01:00<03:17,  1.12it/s]
 10%|██████████████▍                                                                                                                                   | 24/243 [01:00<02:16,  1.60it/s]
                                                                                                                                                                                        
[2023-12-17 15:56:55] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.1.self_attn.o_proj.q_weight", shape: (5120, 640), dtype: uint32
+
 10%|██████████████▍                                                                                                                                   | 24/243 [01:00<02:16,  1.60it/s]
                                                                                                                                                                                        
[2023-12-17 15:56:55] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.1.self_attn.o_proj.q_scale", shape: (5120, 160), dtype: float16
+
 10%|██████████████▍                                                                                                                                   | 24/243 [01:00<02:16,  1.60it/s]
 10%|███████████████                                                                                                                                   | 25/243 [01:00<01:52,  1.94it/s]
                                                                                                                                                                                        
[2023-12-17 15:56:55] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.2.input_layernorm.weight", shape: (5120,), dtype: float16
+
 10%|███████████████                                                                                                                                   | 25/243 [01:00<01:52,  1.94it/s]
                                                                                                                                                                                        
[2023-12-17 15:56:56] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.2.mlp.down_proj.q_weight", shape: (5120, 1728), dtype: uint32
+
 10%|███████████████                                                                                                                                   | 25/243 [01:01<01:52,  1.94it/s]
                                                                                                                                                                                        
[2023-12-17 15:56:56] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.2.mlp.down_proj.q_scale", shape: (5120, 432), dtype: float16
+
 10%|███████████████                                                                                                                                   | 25/243 [01:01<01:52,  1.94it/s]
 11%|████████████████▏                                                                                                                                 | 27/243 [01:01<01:20,  2.67it/s]
                                                                                                                                                                                        
[2023-12-17 15:56:56] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.2.mlp.gate_up_proj.q_weight", shape: (27648, 640), dtype: uint32
+
 11%|████████████████▏                                                                                                                                 | 27/243 [01:01<01:20,  2.67it/s]
                                                                                                                                                                                        
[2023-12-17 15:56:56] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.2.mlp.gate_up_proj.q_scale", shape: (27648, 160), dtype: float16
+
 11%|████████████████▏                                                                                                                                 | 27/243 [01:01<01:20,  2.67it/s]
 12%|████████████████▊                                                                                                                                 | 28/243 [01:01<01:32,  2.33it/s]
                                                                                                                                                                                        
[2023-12-17 15:56:56] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.2.post_attention_layernorm.weight", shape: (5120,), dtype: float16
+
 12%|████████████████▊                                                                                                                                 | 28/243 [01:01<01:32,  2.33it/s]
                                                                                                                                                                                        
[2023-12-17 15:56:57] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.2.self_attn.qkv_proj.q_weight", shape: (15360, 640), dtype: uint32
+
 12%|████████████████▊                                                                                                                                 | 28/243 [01:02<01:32,  2.33it/s]
                                                                                                                                                                                        
[2023-12-17 15:56:57] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.2.self_attn.qkv_proj.q_scale", shape: (15360, 160), dtype: float16
+
 12%|████████████████▊                                                                                                                                 | 28/243 [01:02<01:32,  2.33it/s]
 12%|██████████████████                                                                                                                                | 30/243 [01:02<01:11,  2.99it/s]
                                                                                                                                                                                        
[2023-12-17 15:56:57] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.2.self_attn.o_proj.q_weight", shape: (5120, 640), dtype: uint32
+
 12%|██████████████████                                                                                                                                | 30/243 [01:02<01:11,  2.99it/s]
                                                                                                                                                                                        
[2023-12-17 15:56:57] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.2.self_attn.o_proj.q_scale", shape: (5120, 160), dtype: float16
+
 12%|██████████████████                                                                                                                                | 30/243 [01:02<01:11,  2.99it/s]
 13%|██████████████████▋                                                                                                                               | 31/243 [01:02<01:00,  3.49it/s]
                                                                                                                                                                                        
[2023-12-17 15:56:57] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.3.input_layernorm.weight", shape: (5120,), dtype: float16
+
 13%|██████████████████▋                                                                                                                               | 31/243 [01:02<01:00,  3.49it/s]
                                                                                                                                                                                        
[2023-12-17 15:56:57] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.3.mlp.down_proj.q_weight", shape: (5120, 1728), dtype: uint32
+
 13%|██████████████████▋                                                                                                                               | 31/243 [01:02<01:00,  3.49it/s]
                                                                                                                                                                                        
[2023-12-17 15:56:57] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.3.mlp.down_proj.q_scale", shape: (5120, 432), dtype: float16
+
 13%|██████████████████▋                                                                                                                               | 31/243 [01:02<01:00,  3.49it/s]
 14%|███████████████████▊                                                                                                                              | 33/243 [01:02<00:48,  4.32it/s]
                                                                                                                                                                                        
[2023-12-17 15:56:58] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.3.mlp.gate_up_proj.q_weight", shape: (27648, 640), dtype: uint32
+
 14%|███████████████████▊                                                                                                                              | 33/243 [01:03<00:48,  4.32it/s]
                                                                                                                                                                                        
[2023-12-17 15:56:58] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.3.mlp.gate_up_proj.q_scale", shape: (27648, 160), dtype: float16
+
 14%|███████████████████▊                                                                                                                              | 33/243 [01:03<00:48,  4.32it/s]
 14%|████████████████████▍                                                                                                                             | 34/243 [01:03<01:05,  3.17it/s]
                                                                                                                                                                                        
[2023-12-17 15:56:58] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.3.post_attention_layernorm.weight", shape: (5120,), dtype: float16
+
 14%|████████████████████▍                                                                                                                             | 34/243 [01:03<01:05,  3.17it/s]
                                                                                                                                                                                        
[2023-12-17 15:56:58] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.3.self_attn.qkv_proj.q_weight", shape: (15360, 640), dtype: uint32
+
 14%|████████████████████▍                                                                                                                             | 34/243 [01:03<01:05,  3.17it/s]
                                                                                                                                                                                        
[2023-12-17 15:56:58] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.3.self_attn.qkv_proj.q_scale", shape: (15360, 160), dtype: float16
+
 14%|████████████████████▍                                                                                                                             | 34/243 [01:03<01:05,  3.17it/s]
 15%|█████████████████████▋                                                                                                                            | 36/243 [01:03<00:54,  3.81it/s]
                                                                                                                                                                                        
[2023-12-17 15:56:58] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.3.self_attn.o_proj.q_weight", shape: (5120, 640), dtype: uint32
+
 15%|█████████████████████▋                                                                                                                            | 36/243 [01:03<00:54,  3.81it/s]
                                                                                                                                                                                        
[2023-12-17 15:56:58] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.3.self_attn.o_proj.q_scale", shape: (5120, 160), dtype: float16
+
 15%|█████████████████████▋                                                                                                                            | 36/243 [01:03<00:54,  3.81it/s]
 15%|██████████████████████▏                                                                                                                           | 37/243 [01:03<00:47,  4.36it/s]
                                                                                                                                                                                        
[2023-12-17 15:56:58] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.4.input_layernorm.weight", shape: (5120,), dtype: float16
+
 15%|██████████████████████▏                                                                                                                           | 37/243 [01:03<00:47,  4.36it/s]
                                                                                                                                                                                        
[2023-12-17 15:56:58] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.4.mlp.down_proj.q_weight", shape: (5120, 1728), dtype: uint32
+
 15%|██████████████████████▏                                                                                                                           | 37/243 [01:03<00:47,  4.36it/s]
                                                                                                                                                                                        
[2023-12-17 15:56:58] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.4.mlp.down_proj.q_scale", shape: (5120, 432), dtype: float16
+
 15%|██████████████████████▏                                                                                                                           | 37/243 [01:03<00:47,  4.36it/s]
 16%|███████████████████████▍                                                                                                                          | 39/243 [01:03<00:39,  5.12it/s]
                                                                                                                                                                                        
[2023-12-17 15:56:59] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.4.mlp.gate_up_proj.q_weight", shape: (27648, 640), dtype: uint32
+
 16%|███████████████████████▍                                                                                                                          | 39/243 [01:04<00:39,  5.12it/s]
                                                                                                                                                                                        
[2023-12-17 15:56:59] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.4.mlp.gate_up_proj.q_scale", shape: (27648, 160), dtype: float16
+
 16%|███████████████████████▍                                                                                                                          | 39/243 [01:04<00:39,  5.12it/s]
 16%|████████████████████████                                                                                                                          | 40/243 [01:04<00:58,  3.48it/s]
                                                                                                                                                                                        
[2023-12-17 15:56:59] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.4.post_attention_layernorm.weight", shape: (5120,), dtype: float16
+
 16%|████████████████████████                                                                                                                          | 40/243 [01:04<00:58,  3.48it/s]
                                                                                                                                                                                        
[2023-12-17 15:56:59] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.4.self_attn.qkv_proj.q_weight", shape: (15360, 640), dtype: uint32
+
 16%|████████████████████████                                                                                                                          | 40/243 [01:04<00:58,  3.48it/s]
                                                                                                                                                                                        
[2023-12-17 15:56:59] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.4.self_attn.qkv_proj.q_scale", shape: (15360, 160), dtype: float16
+
 16%|████████████████████████                                                                                                                          | 40/243 [01:04<00:58,  3.48it/s]
 17%|█████████████████████████▏                                                                                                                        | 42/243 [01:04<00:49,  4.08it/s]
                                                                                                                                                                                        
[2023-12-17 15:56:59] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.4.self_attn.o_proj.q_weight", shape: (5120, 640), dtype: uint32
+
 17%|█████████████████████████▏                                                                                                                        | 42/243 [01:04<00:49,  4.08it/s]
                                                                                                                                                                                        
[2023-12-17 15:56:59] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.4.self_attn.o_proj.q_scale", shape: (5120, 160), dtype: float16
+
 17%|█████████████████████████▏                                                                                                                        | 42/243 [01:04<00:49,  4.08it/s]
 18%|█████████████████████████▊                                                                                                                        | 43/243 [01:04<00:43,  4.64it/s]
                                                                                                                                                                                        
[2023-12-17 15:56:59] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.5.input_layernorm.weight", shape: (5120,), dtype: float16
+
 18%|█████████████████████████▊                                                                                                                        | 43/243 [01:04<00:43,  4.64it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.5.mlp.down_proj.q_weight", shape: (5120, 1728), dtype: uint32
+
 18%|█████████████████████████▊                                                                                                                        | 43/243 [01:05<00:43,  4.64it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.5.mlp.down_proj.q_scale", shape: (5120, 432), dtype: float16
+
 18%|█████████████████████████▊                                                                                                                        | 43/243 [01:05<00:43,  4.64it/s]
 19%|███████████████████████████                                                                                                                       | 45/243 [01:05<00:37,  5.35it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.5.mlp.gate_up_proj.q_weight", shape: (27648, 640), dtype: uint32
+
 19%|███████████████████████████                                                                                                                       | 45/243 [01:05<00:37,  5.35it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.5.mlp.gate_up_proj.q_scale", shape: (27648, 160), dtype: float16
+
 19%|███████████████████████████                                                                                                                       | 45/243 [01:05<00:37,  5.35it/s]
 19%|███████████████████████████▋                                                                                                                      | 46/243 [01:05<00:55,  3.56it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:00] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.5.post_attention_layernorm.weight", shape: (5120,), dtype: float16
+
 19%|███████████████████████████▋                                                                                                                      | 46/243 [01:05<00:55,  3.56it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.5.self_attn.qkv_proj.q_weight", shape: (15360, 640), dtype: uint32
+
 19%|███████████████████████████▋                                                                                                                      | 46/243 [01:06<00:55,  3.56it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.5.self_attn.qkv_proj.q_scale", shape: (15360, 160), dtype: float16
+
 19%|███████████████████████████▋                                                                                                                      | 46/243 [01:06<00:55,  3.56it/s]
 20%|████████████████████████████▊                                                                                                                     | 48/243 [01:06<00:46,  4.15it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.5.self_attn.o_proj.q_weight", shape: (5120, 640), dtype: uint32
+
 20%|████████████████████████████▊                                                                                                                     | 48/243 [01:06<00:46,  4.15it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.5.self_attn.o_proj.q_scale", shape: (5120, 160), dtype: float16
+
 20%|████████████████████████████▊                                                                                                                     | 48/243 [01:06<00:46,  4.15it/s]
 20%|█████████████████████████████▍                                                                                                                    | 49/243 [01:06<00:41,  4.72it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:01] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.6.input_layernorm.weight", shape: (5120,), dtype: float16
+
 20%|█████████████████████████████▍                                                                                                                    | 49/243 [01:06<00:41,  4.72it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.6.mlp.down_proj.q_weight", shape: (5120, 1728), dtype: uint32
+
 20%|█████████████████████████████▍                                                                                                                    | 49/243 [01:06<00:41,  4.72it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.6.mlp.down_proj.q_scale", shape: (5120, 432), dtype: float16
+
 20%|█████████████████████████████▍                                                                                                                    | 49/243 [01:06<00:41,  4.72it/s]
 21%|██████████████████████████████▋                                                                                                                   | 51/243 [01:06<00:35,  5.41it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.6.mlp.gate_up_proj.q_weight", shape: (27648, 640), dtype: uint32
+
 21%|██████████████████████████████▋                                                                                                                   | 51/243 [01:07<00:35,  5.41it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.6.mlp.gate_up_proj.q_scale", shape: (27648, 160), dtype: float16
+
 21%|██████████████████████████████▋                                                                                                                   | 51/243 [01:07<00:35,  5.41it/s]
 21%|███████████████████████████████▏                                                                                                                  | 52/243 [01:07<00:53,  3.57it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.6.post_attention_layernorm.weight", shape: (5120,), dtype: float16
+
 21%|███████████████████████████████▏                                                                                                                  | 52/243 [01:07<00:53,  3.57it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.6.self_attn.qkv_proj.q_weight", shape: (15360, 640), dtype: uint32
+
 21%|███████████████████████████████▏                                                                                                                  | 52/243 [01:07<00:53,  3.57it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.6.self_attn.qkv_proj.q_scale", shape: (15360, 160), dtype: float16
+
 21%|███████████████████████████████▏                                                                                                                  | 52/243 [01:07<00:53,  3.57it/s]
 22%|████████████████████████████████▍                                                                                                                 | 54/243 [01:07<00:45,  4.16it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.6.self_attn.o_proj.q_weight", shape: (5120, 640), dtype: uint32
+
 22%|████████████████████████████████▍                                                                                                                 | 54/243 [01:07<00:45,  4.16it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.6.self_attn.o_proj.q_scale", shape: (5120, 160), dtype: float16
+
 22%|████████████████████████████████▍                                                                                                                 | 54/243 [01:07<00:45,  4.16it/s]
 23%|█████████████████████████████████                                                                                                                 | 55/243 [01:07<00:39,  4.72it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.7.self_attn.qkv_proj.q_weight", shape: (15360, 640), dtype: uint32
+
 23%|█████████████████████████████████                                                                                                                 | 55/243 [01:08<00:39,  4.72it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:03] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.7.self_attn.qkv_proj.q_scale", shape: (15360, 160), dtype: float16
+
 23%|█████████████████████████████████                                                                                                                 | 55/243 [01:08<00:39,  4.72it/s]
 23%|█████████████████████████████████▋                                                                                                                | 56/243 [01:08<00:45,  4.10it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:03] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.7.self_attn.o_proj.q_weight", shape: (5120, 640), dtype: uint32
+
 23%|█████████████████████████████████▋                                                                                                                | 56/243 [01:08<00:45,  4.10it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:03] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.7.self_attn.o_proj.q_scale", shape: (5120, 160), dtype: float16
+
 23%|█████████████████████████████████▋                                                                                                                | 56/243 [01:08<00:45,  4.10it/s]
 23%|██████████████████████████████████▏                                                                                                               | 57/243 [01:08<00:38,  4.78it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:03] INFO huggingface_loader.py:179: Unloading HF weight file: /models/WizardMath-13B-V1.0/pytorch_model-00001-of-00006.bin
+
 23%|██████████████████████████████████▏                                                                                                               | 57/243 [01:08<00:38,  4.78it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:03] INFO huggingface_loader.py:169: Loading HF parameters from: /models/WizardMath-13B-V1.0/pytorch_model-00002-of-00006.bin
+
 23%|██████████████████████████████████▏                                                                                                               | 57/243 [01:08<00:38,  4.78it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:21] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.10.input_layernorm.weight", shape: (5120,), dtype: float16
+
 23%|██████████████████████████████████▏                                                                                                               | 57/243 [01:26<00:38,  4.78it/s]
 24%|██████████████████████████████████▊                                                                                                               | 58/243 [01:26<15:41,  5.09s/it]
                                                                                                                                                                                        
[2023-12-17 15:57:22] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.10.mlp.down_proj.q_weight", shape: (5120, 1728), dtype: uint32
+
 24%|██████████████████████████████████▊                                                                                                               | 58/243 [01:27<15:41,  5.09s/it]
                                                                                                                                                                                        
[2023-12-17 15:57:22] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.10.mlp.down_proj.q_scale", shape: (5120, 432), dtype: float16
+
 24%|██████████████████████████████████▊                                                                                                               | 58/243 [01:27<15:41,  5.09s/it]
 24%|███████████████████████████████████▍                                                                                                              | 59/243 [01:27<11:35,  3.78s/it]
                                                                                                                                                                                        
[2023-12-17 15:57:22] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.10.mlp.gate_up_proj.q_weight", shape: (27648, 640), dtype: uint32
+
 24%|███████████████████��███████████████▍                                                                                                              | 59/243 [01:27<11:35,  3.78s/it]
                                                                                                                                                                                        
[2023-12-17 15:57:22] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.10.mlp.gate_up_proj.q_scale", shape: (27648, 160), dtype: float16
+
 24%|███████████████████████████████████▍                                                                                                              | 59/243 [01:27<11:35,  3.78s/it]
 25%|████████████████████████████████████                                                                                                              | 60/243 [01:27<08:49,  2.89s/it]
                                                                                                                                                                                        
[2023-12-17 15:57:22] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.10.post_attention_layernorm.weight", shape: (5120,), dtype: float16
+
 25%|████████████████████████████████████                                                                                                              | 60/243 [01:27<08:49,  2.89s/it]
                                                                                                                                                                                        
[2023-12-17 15:57:23] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.10.self_attn.qkv_proj.q_weight", shape: (15360, 640), dtype: uint32
+
 25%|████████████████████████████████████                                                                                                              | 60/243 [01:28<08:49,  2.89s/it]
                                                                                                                                                                                        
[2023-12-17 15:57:23] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.10.self_attn.qkv_proj.q_scale", shape: (15360, 160), dtype: float16
+
 25%|████████████████████████████████████                                                                                                              | 60/243 [01:28<08:49,  2.89s/it]
 26%|█████████████████████████████████████▎                                                                                                            | 62/243 [01:28<05:04,  1.68s/it]
                                                                                                                                                                                        
[2023-12-17 15:57:23] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.10.self_attn.o_proj.q_weight", shape: (5120, 640), dtype: uint32
+
 26%|█████████████████████████████████████▎                                                                                                            | 62/243 [01:28<05:04,  1.68s/it]
                                                                                                                                                                                        
[2023-12-17 15:57:23] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.10.self_attn.o_proj.q_scale", shape: (5120, 160), dtype: float16
+
 26%|█████████████████████████████████████▎                                                                                                            | 62/243 [01:28<05:04,  1.68s/it]
 26%|█████████████████████████████████████▊                                                                                                            | 63/243 [01:28<03:54,  1.30s/it]
                                                                                                                                                                                        
[2023-12-17 15:57:23] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.11.input_layernorm.weight", shape: (5120,), dtype: float16
+
 26%|█████████████████████████████████████▊                                                                                                            | 63/243 [01:28<03:54,  1.30s/it]
                                                                                                                                                                                        
[2023-12-17 15:57:23] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.11.mlp.down_proj.q_weight", shape: (5120, 1728), dtype: uint32
+
 26%|█████████████████████████████████████▊                                                                                                            | 63/243 [01:28<03:54,  1.30s/it]
                                                                                                                                                                                        
[2023-12-17 15:57:23] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.11.mlp.down_proj.q_scale", shape: (5120, 432), dtype: float16
+
 26%|█████████████████████████████████████▊                                                                                                            | 63/243 [01:28<03:54,  1.30s/it]
 27%|███████████████████████████████████████                                                                                                           | 65/243 [01:28<02:27,  1.21it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:24] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.11.mlp.gate_up_proj.q_weight", shape: (27648, 640), dtype: uint32
+
 27%|███████████████████████████████████████                                                                                                           | 65/243 [01:29<02:27,  1.21it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:24] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.11.mlp.gate_up_proj.q_scale", shape: (27648, 160), dtype: float16
+
 27%|███████████████████████████████████████                                                                                                           | 65/243 [01:29<02:27,  1.21it/s]
 27%|███████████████████████████████████████▋                                                                                                          | 66/243 [01:29<02:18,  1.28it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:24] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.11.post_attention_layernorm.weight", shape: (5120,), dtype: float16
+
 27%|███████████████████████████████████████▋                                                                                                          | 66/243 [01:29<02:18,  1.28it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:24] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.11.self_attn.qkv_proj.q_weight", shape: (15360, 640), dtype: uint32
+
 27%|███████████████████████████████████████▋                                                                                                          | 66/243 [01:29<02:18,  1.28it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:24] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.11.self_attn.qkv_proj.q_scale", shape: (15360, 160), dtype: float16
+
 27%|███████████████████████████████████████▋                                                                                                          | 66/243 [01:29<02:18,  1.28it/s]
 28%|████████████████████████████████████████▊                                                                                                         | 68/243 [01:29<01:35,  1.83it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:24] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.11.self_attn.o_proj.q_weight", shape: (5120, 640), dtype: uint32
+
 28%|████████████████████████████████████████▊                                                                                                         | 68/243 [01:29<01:35,  1.83it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:24] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.11.self_attn.o_proj.q_scale", shape: (5120, 160), dtype: float16
+
 28%|████████████████████████████████████████▊                                                                                                         | 68/243 [01:29<01:35,  1.83it/s]
 28%|█████████████████████████████████████████▍                                                                                                        | 69/243 [01:29<01:18,  2.23it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:24] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.12.input_layernorm.weight", shape: (5120,), dtype: float16
+
 28%|█████████████████████████████████████████▍                                                                                                        | 69/243 [01:29<01:18,  2.23it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:24] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.12.mlp.down_proj.q_weight", shape: (5120, 1728), dtype: uint32
+
 28%|█████████████████████████████████████████▍                                                                                                        | 69/243 [01:29<01:18,  2.23it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:24] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.12.mlp.down_proj.q_scale", shape: (5120, 432), dtype: float16
+
 28%|█████████████████████████████████████████▍                                                                                                        | 69/243 [01:29<01:18,  2.23it/s]
 29%|██████████████████████████████████████████▋                                                                                                       | 71/243 [01:29<00:56,  3.03it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:25] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.12.mlp.gate_up_proj.q_weight", shape: (27648, 640), dtype: uint32
+
 29%|██████████████████████████████████████████▋                                                                                                       | 71/243 [01:30<00:56,  3.03it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:25] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.12.mlp.gate_up_proj.q_scale", shape: (27648, 160), dtype: float16
+
 29%|██████████████████████████████████████████▋                                                                                                       | 71/243 [01:30<00:56,  3.03it/s]
 30%|███████████████████████████████████████████▎                                                                                                      | 72/243 [01:30<01:07,  2.54it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:25] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.12.post_attention_layernorm.weight", shape: (5120,), dtype: float16
+
 30%|███████████████████████████████████████████▎                                                                                                      | 72/243 [01:30<01:07,  2.54it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:25] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.12.self_attn.qkv_proj.q_weight", shape: (15360, 640), dtype: uint32
+
 30%|███████████████████████████████████████████▎                                                                                                      | 72/243 [01:30<01:07,  2.54it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:25] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.12.self_attn.qkv_proj.q_scale", shape: (15360, 160), dtype: float16
+
 30%|███████████████████████████████████████████▎                                                                                                      | 72/243 [01:30<01:07,  2.54it/s]
 30%|████████████████████████████████████████████▍                                                                                                     | 74/243 [01:30<00:52,  3.22it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:25] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.12.self_attn.o_proj.q_weight", shape: (5120, 640), dtype: uint32
+
 30%|████████████████████████████████████████████▍                                                                                                     | 74/243 [01:31<00:52,  3.22it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:25] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.12.self_attn.o_proj.q_scale", shape: (5120, 160), dtype: float16
+
 30%|████████████████████████████████████████████▍                                                                                                     | 74/243 [01:31<00:52,  3.22it/s]
 31%|█████████████████████████████████████████████                                                                                                     | 75/243 [01:31<00:44,  3.75it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:25] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.13.input_layernorm.weight", shape: (5120,), dtype: float16
+
 31%|█████████████████████████████████████████████                                                                                                     | 75/243 [01:31<00:44,  3.75it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:26] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.13.mlp.down_proj.q_weight", shape: (5120, 1728), dtype: uint32
+
 31%|█████████████████████████████████████████████                                                                                                     | 75/243 [01:31<00:44,  3.75it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:26] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.13.mlp.down_proj.q_scale", shape: (5120, 432), dtype: float16
+
 31%|█████████████████████████████████████████████                                                                                                     | 75/243 [01:31<00:44,  3.75it/s]
 32%|██████████████████████████████████████████████▎                                                                                                   | 77/243 [01:31<00:36,  4.57it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:26] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.13.mlp.gate_up_proj.q_weight", shape: (27648, 640), dtype: uint32
+
 32%|██████████████████████████████████████████████▎                                                                                                   | 77/243 [01:31<00:36,  4.57it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:26] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.13.mlp.gate_up_proj.q_scale", shape: (27648, 160), dtype: float16
+
 32%|██████████████████████████████████████████████▎                                                                                                   | 77/243 [01:31<00:36,  4.57it/s]
 32%|██████████████████████████████████████████████▊                                                                                                   | 78/243 [01:31<00:50,  3.27it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:26] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.13.post_attention_layernorm.weight", shape: (5120,), dtype: float16
+
 32%|██████████████████████████████████████████████▊                                                                                                   | 78/243 [01:31<00:50,  3.27it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:27] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.13.self_attn.qkv_proj.q_weight", shape: (15360, 640), dtype: uint32
+
 32%|██████████████████████████████████████████████▊                                                                                                   | 78/243 [01:32<00:50,  3.27it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:27] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.13.self_attn.qkv_proj.q_scale", shape: (15360, 160), dtype: float16
+
 32%|██████████████████████████████████████████████▊                                                                                                   | 78/243 [01:32<00:50,  3.27it/s]
 33%|████████████████████████████████████████████████                                                                                                  | 80/243 [01:32<00:41,  3.88it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:27] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.13.self_attn.o_proj.q_weight", shape: (5120, 640), dtype: uint32
+
 33%|████████████████████████████████████████████████                                                                                                  | 80/243 [01:32<00:41,  3.88it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:27] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.13.self_attn.o_proj.q_scale", shape: (5120, 160), dtype: float16
+
 33%|████████████████████████████████████████████████                                                                                                  | 80/243 [01:32<00:41,  3.88it/s]
 33%|████████████████████████████████████████████████▋                                                                                                 | 81/243 [01:32<00:36,  4.44it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:27] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.14.input_layernorm.weight", shape: (5120,), dtype: float16
+
 33%|████████████████████████████████████████████████▋                                                                                                 | 81/243 [01:32<00:36,  4.44it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:27] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.14.mlp.down_proj.q_weight", shape: (5120, 1728), dtype: uint32
+
 33%|████████████████████████████████████████████████▋                                                                                                 | 81/243 [01:32<00:36,  4.44it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:27] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.14.mlp.down_proj.q_scale", shape: (5120, 432), dtype: float16
+
 33%|████████████████████████████████████████████████▋                                                                                                 | 81/243 [01:32<00:36,  4.44it/s]
 34%|█████████████████████████████████████████████████▊                                                                                                | 83/243 [01:32<00:30,  5.18it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:28] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.14.mlp.gate_up_proj.q_weight", shape: (27648, 640), dtype: uint32
+
 34%|█████████████████████████████████████████████████▊                                                                                                | 83/243 [01:33<00:30,  5.18it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:28] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.14.mlp.gate_up_proj.q_scale", shape: (27648, 160), dtype: float16
+
 34%|█████████████████████████████████████████████████▊                                                                                                | 83/243 [01:33<00:30,  5.18it/s]
 35%|██████████████████████████████████████████████████▍                                                                                               | 84/243 [01:33<00:45,  3.50it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.14.post_attention_layernorm.weight", shape: (5120,), dtype: float16
+
 35%|��█████████████████████████████████████████████████▍                                                                                               | 84/243 [01:33<00:45,  3.50it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:28] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.14.self_attn.qkv_proj.q_weight", shape: (15360, 640), dtype: uint32
+
 35%|██████████████████████████████████████████████████▍                                                                                               | 84/243 [01:33<00:45,  3.50it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:28] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.14.self_attn.qkv_proj.q_scale", shape: (15360, 160), dtype: float16
+
 35%|██████████████████████████████████████████████████▍                                                                                               | 84/243 [01:33<00:45,  3.50it/s]
 35%|███████████████████████████████████████████████████▋                                                                                              | 86/243 [01:33<00:38,  4.10it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:28] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.14.self_attn.o_proj.q_weight", shape: (5120, 640), dtype: uint32
+
 35%|███████████████████████████████████████████████████▋                                                                                              | 86/243 [01:33<00:38,  4.10it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:28] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.14.self_attn.o_proj.q_scale", shape: (5120, 160), dtype: float16
+
 35%|███████████████████████████████████████████████████▋                                                                                              | 86/243 [01:33<00:38,  4.10it/s]
 36%|████████████████████████████████████████████████████▎                                                                                             | 87/243 [01:33<00:33,  4.66it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:28] INFO huggingface_loader.py:169: Loading HF parameters from: /models/WizardMath-13B-V1.0/pytorch_model-00003-of-00006.bin
+
 36%|████████████████████████████████████████████████████▎                                                                                             | 87/243 [01:33<00:33,  4.66it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:54] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.15.self_attn.qkv_proj.q_weight", shape: (15360, 640), dtype: uint32
+
 36%|████████████████████████████████████████████████████▎                                                                                             | 87/243 [01:59<00:33,  4.66it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:54] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.15.self_attn.qkv_proj.q_scale", shape: (15360, 160), dtype: float16
+
 36%|████████████████████████���███████████████████████████▎                                                                                             | 87/243 [01:59<00:33,  4.66it/s]
 36%|████████████████████████████████████████████████████▊                                                                                             | 88/243 [01:59<15:39,  6.06s/it]
                                                                                                                                                                                        
[2023-12-17 15:57:54] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.7.input_layernorm.weight", shape: (5120,), dtype: float16
+
 36%|████████████████████████████████████████████████████▊                                                                                             | 88/243 [01:59<15:39,  6.06s/it]
                                                                                                                                                                                        
[2023-12-17 15:57:54] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.7.mlp.down_proj.q_weight", shape: (5120, 1728), dtype: uint32
+
 36%|████████████████████████████████████████████████████▊                                                                                             | 88/243 [01:59<15:39,  6.06s/it]
                                                                                                                                                                                        
[2023-12-17 15:57:54] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.7.mlp.down_proj.q_scale", shape: (5120, 432), dtype: float16
+
 36%|████████████████████████████████████████████████████▊                                                                                             | 88/243 [01:59<15:39,  6.06s/it]
 37%|██████████████████████████████████████████████████████                                                                                            | 90/243 [01:59<09:25,  3.70s/it]
                                                                                                                                                                                        
[2023-12-17 15:57:55] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.7.mlp.gate_up_proj.q_weight", shape: (27648, 640), dtype: uint32
+
 37%|██████████████████████████████████████████████████████                                                                                            | 90/243 [02:00<09:25,  3.70s/it]
                                                                                                                                                                                        
[2023-12-17 15:57:55] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.7.mlp.gate_up_proj.q_scale", shape: (27648, 160), dtype: float16
+
 37%|██████████████████████████████████████████████████████                                                                                            | 90/243 [02:00<09:25,  3.70s/it]
 37%|██████████████████████████████████████████████████████▋                                                                                           | 91/243 [02:00<07:41,  3.04s/it]
                                                                                                                                                                                        
[2023-12-17 15:57:55] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.7.post_attention_layernorm.weight", shape: (5120,), dtype: float16
+
 37%|██████████████████████████████████████████████████████▋                                                                                           | 91/243 [02:00<07:41,  3.04s/it]
                                                                                                                                                                                        
[2023-12-17 15:57:55] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.8.input_layernorm.weight", shape: (5120,), dtype: float16
+
 37%|██████████████████████████████████████████████████████▋                                                                                           | 91/243 [02:00<07:41,  3.04s/it]
                                                                                                                                                                                        
[2023-12-17 15:57:55] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.8.mlp.down_proj.q_weight", shape: (5120, 1728), dtype: uint32
+
 37%|██████████████████████████████████████████████████████▋                                                                                           | 91/243 [02:00<07:41,  3.04s/it]
                                                                                                                                                                                        
[2023-12-17 15:57:55] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.8.mlp.down_proj.q_scale", shape: (5120, 432), dtype: float16
+
 37%|██████████████████████████████████████████████████████▋                                                                                           | 91/243 [02:00<07:41,  3.04s/it]
 39%|████████████████████████████████████████████████████████▍                                                                                         | 94/243 [02:00<03:58,  1.60s/it]
                                                                                                                                                                                        
[2023-12-17 15:57:55] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.8.mlp.gate_up_proj.q_weight", shape: (27648, 640), dtype: uint32
+
 39%|████████████████████████████████████████████████████████▍                                                                                         | 94/243 [02:00<03:58,  1.60s/it]
                                                                                                                                                                                        
[2023-12-17 15:57:55] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.8.mlp.gate_up_proj.q_scale", shape: (27648, 160), dtype: float16
+
 39%|████████████████████████████████████████████████████████▍                                                                                         | 94/243 [02:00<03:58,  1.60s/it]
 39%|█████████████████████████████████████████████████████████                                                                                         | 95/243 [02:00<03:29,  1.42s/it]
                                                                                                                                                                                        
[2023-12-17 15:57:55] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.8.post_attention_layernorm.weight", shape: (5120,), dtype: float16
+
 39%|█████████████████████████████████████████████████████████                                                                                         | 95/243 [02:00<03:29,  1.42s/it]
                                                                                                                                                                                        
[2023-12-17 15:57:56] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.8.self_attn.qkv_proj.q_weight", shape: (15360, 640), dtype: uint32
+
 39%|█████████████████████████████████████████████████████████                                                                                         | 95/243 [02:01<03:29,  1.42s/it]
                                                                                                                                                                                        
[2023-12-17 15:57:56] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.8.self_attn.qkv_proj.q_scale", shape: (15360, 160), dtype: float16
+
 39%|█████████████████████████████████████████████████████████                                                                                         | 95/243 [02:01<03:29,  1.42s/it]
 40%|██████████████████████████████████████████████████████████▎                                                                                       | 97/243 [02:01<02:23,  1.02it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:56] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.8.self_attn.o_proj.q_weight", shape: (5120, 640), dtype: uint32
+
 40%|██████████████████████████████████████████████████████████▎                                                                                       | 97/243 [02:01<02:23,  1.02it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:56] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.8.self_attn.o_proj.q_scale", shape: (5120, 160), dtype: float16
+
 40%|██████████████████████████████████████████████████████████▎                                                                                       | 97/243 [02:01<02:23,  1.02it/s]
 40%|██████████████████████████████████████████████████████████▉                                                                                       | 98/243 [02:01<01:57,  1.24it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:56] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.9.input_layernorm.weight", shape: (5120,), dtype: float16
+
 40%|██████████████████████████████████████████████████████████▉                                                                                       | 98/243 [02:01<01:57,  1.24it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:56] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.9.mlp.down_proj.q_weight", shape: (5120, 1728), dtype: uint32
+
 40%|██████████████████████████████████████████████████████████▉                                                                                       | 98/243 [02:01<01:57,  1.24it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:56] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.9.mlp.down_proj.q_scale", shape: (5120, 432), dtype: float16
+
 40%|██████████████████████████████████████████████████████████▉                                                                                       | 98/243 [02:01<01:57,  1.24it/s]
 41%|███████████████████████████████████████████████████████████▋                                                                                     | 100/243 [02:01<01:20,  1.77it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:57] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.9.mlp.gate_up_proj.q_weight", shape: (27648, 640), dtype: uint32
+
 41%|█████████████████████████████████��█████████████████████████▋                                                                                     | 100/243 [02:02<01:20,  1.77it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:57] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.9.mlp.gate_up_proj.q_scale", shape: (27648, 160), dtype: float16
+
 41%|███████████████████████████████████████████████████████████▋                                                                                     | 100/243 [02:02<01:20,  1.77it/s]
 42%|████████████████████████████████████████████████████████████▎                                                                                    | 101/243 [02:02<01:22,  1.72it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:57] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.9.post_attention_layernorm.weight", shape: (5120,), dtype: float16
+
 42%|████████████████████████████████████████████████████████████▎                                                                                    | 101/243 [02:02<01:22,  1.72it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:57] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.9.self_attn.qkv_proj.q_weight", shape: (15360, 640), dtype: uint32
+
 42%|████████████████████████████████████████████████████████████▎                                                                                    | 101/243 [02:02<01:22,  1.72it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:57] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.9.self_attn.qkv_proj.q_scale", shape: (15360, 160), dtype: float16
+
 42%|████████████████████████████████████████████████████████████▎                                                                                    | 101/243 [02:02<01:22,  1.72it/s]
 42%|█████████████████████████████████████████████████████████████▍                                                                                   | 103/243 [02:02<01:00,  2.32it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:57] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.9.self_attn.o_proj.q_weight", shape: (5120, 640), dtype: uint32
+
 42%|█████████████████████████████████████████████████████████████▍                                                                                   | 103/243 [02:02<01:00,  2.32it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:57] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.9.self_attn.o_proj.q_scale", shape: (5120, 160), dtype: float16
+
 42%|█████████████████████████████████████████████████████████████▍                                                                                   | 103/243 [02:02<01:00,  2.32it/s]
 43%|██████████████████████████████████████████████████████████████                                                                                   | 104/243 [02:02<00:50,  2.76it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:57] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.15.input_layernorm.weight", shape: (5120,), dtype: float16
+
 43%|██████████████████████████████████████████████████████████████                                                                                   | 104/243 [02:02<00:50,  2.76it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:58] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.15.mlp.down_proj.q_weight", shape: (5120, 1728), dtype: uint32
+
 43%|██████████████████████████████████████████████████████████████                                                                                   | 104/243 [02:03<00:50,  2.76it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:58] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.15.mlp.down_proj.q_scale", shape: (5120, 432), dtype: float16
+
 43%|██████████████████████████████████████████████████████████████                                                                                   | 104/243 [02:03<00:50,  2.76it/s]
 44%|███████████████████████████████████████████████████████████████▎                                                                                 | 106/243 [02:03<00:38,  3.58it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:58] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.15.mlp.gate_up_proj.q_weight", shape: (27648, 640), dtype: uint32
+
 44%|███████████████████████████████████████████████████████████████▎                                                                                 | 106/243 [02:03<00:38,  3.58it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:58] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.15.mlp.gate_up_proj.q_scale", shape: (27648, 160), dtype: float16
+
 44%|███████████████████████████████████████████████████████████████▎                                                                                 | 106/243 [02:03<00:38,  3.58it/s]
 44%|███████████████████████████████████████████████████████████████▊                                                                                 | 107/243 [02:03<00:48,  2.83it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:58] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.15.post_attention_layernorm.weight", shape: (5120,), dtype: float16
+
 44%|███████████████████████████████████████████████████████████████▊                                                                                 | 107/243 [02:03<00:48,  2.83it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:58] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.15.self_attn.o_proj.q_weight", shape: (5120, 640), dtype: uint32
+
 44%|███████████████████████████████████████████████████████████████▊                                                                                 | 107/243 [02:03<00:48,  2.83it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:58] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.15.self_attn.o_proj.q_scale", shape: (5120, 160), dtype: float16
+
 44%|███████████████████████████████████████████████████████████████▊                                                                                 | 107/243 [02:03<00:48,  2.83it/s]
 45%|█████████████████████████████████████████████████████████████████                                                                                | 109/243 [02:03<00:32,  4.16it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:58] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.16.input_layernorm.weight", shape: (5120,), dtype: float16
+
 45%|█████████████████████████████████████████████████████████████████                                                                                | 109/243 [02:03<00:32,  4.16it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:59] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.16.mlp.down_proj.q_weight", shape: (5120, 1728), dtype: uint32
+
 45%|█████████████████████████████████████████████████████████████████                                                                                | 109/243 [02:04<00:32,  4.16it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:59] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.16.mlp.down_proj.q_scale", shape: (5120, 432), dtype: float16
+
 45%|█████████████████████████████████████████████████████████████████                                                                                | 109/243 [02:04<00:32,  4.16it/s]
 46%|██████████████████████████████████████████████████████████████████▏                                                                              | 111/243 [02:04<00:27,  4.87it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:59] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.16.mlp.gate_up_proj.q_weight", shape: (27648, 640), dtype: uint32
+
 46%|██████████████████████████████████████████████████████████████████▏                                                                              | 111/243 [02:04<00:27,  4.87it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:59] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.16.mlp.gate_up_proj.q_scale", shape: (27648, 160), dtype: float16
+
 46%|██████████████████████████████████████████████████████████████████▏                                                                              | 111/243 [02:04<00:27,  4.87it/s]
 46%|██████████████████████████████████████████████████████████████████▊                                                                              | 112/243 [02:04<00:38,  3.44it/s]
                                                                                                                                                                                        
[2023-12-17 15:57:59] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.16.post_attention_layernorm.weight", shape: (5120,), dtype: float16
+
 46%|██████████████████████████████████████████████████████████████████▊                                                                              | 112/243 [02:04<00:38,  3.44it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.16.self_attn.qkv_proj.q_weight", shape: (15360, 640), dtype: uint32
+
 46%|██████████████████████████████████████████████████████████████████▊                                                                              | 112/243 [02:05<00:38,  3.44it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.16.self_attn.qkv_proj.q_scale", shape: (15360, 160), dtype: float16
+
 46%|██████████████████████████████████████████████████████████████████▊                                                                              | 112/243 [02:05<00:38,  3.44it/s]
 47%|████████████████████████████████████████████████████████████████████                                                                             | 114/243 [02:05<00:32,  4.02it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.16.self_attn.o_proj.q_weight", shape: (5120, 640), dtype: uint32
+
 47%|████████████████████████████████████████████████████████████████████                                                                             | 114/243 [02:05<00:32,  4.02it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.16.self_attn.o_proj.q_scale", shape: (5120, 160), dtype: float16
+
 47%|████████████████████████████████████████████████████████████████████                                                                             | 114/243 [02:05<00:32,  4.02it/s]
 47%|████████████████████████████████████████████████████████████████████▌                                                                            | 115/243 [02:05<00:28,  4.56it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:00] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.17.input_layernorm.weight", shape: (5120,), dtype: float16
+
 47%|████████████████████████████████████████████████████████████████████▌                                                                            | 115/243 [02:05<00:28,  4.56it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.17.mlp.down_proj.q_weight", shape: (5120, 1728), dtype: uint32
+
 47%|████████████████████████████████████████████████████████████████████▌                                                                            | 115/243 [02:05<00:28,  4.56it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.17.mlp.down_proj.q_scale", shape: (5120, 432), dtype: float16
+
 47%|████████████████████████████████████████████████████████████████████▌                                                                            | 115/243 [02:05<00:28,  4.56it/s]
 48%|█████████████████████████████████████████████████████████████████████▊                                                                           | 117/243 [02:05<00:23,  5.26it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.17.mlp.gate_up_proj.q_weight", shape: (27648, 640), dtype: uint32
+
 48%|█████████████████████████████████████████████████████████████████████▊                                                                           | 117/243 [02:06<00:23,  5.26it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.17.mlp.gate_up_proj.q_scale", shape: (27648, 160), dtype: float16
+
 48%|█████████████████████████████████████████████████████████████████████▊                                                                           | 117/243 [02:06<00:23,  5.26it/s]
 49%|██████████████████████████████████████████████████████████████████████▍                                                                          | 118/243 [02:06<00:35,  3.54it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:01] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.17.post_attention_layernorm.weight", shape: (5120,), dtype: float16
+
 49%|██████████████████████████████████████████████████████████████████████▍                                                                          | 118/243 [02:06<00:35,  3.54it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.17.self_attn.qkv_proj.q_weight", shape: (15360, 640), dtype: uint32
+
 49%|██████████████████████████████████████████████████████████████████████▍                                                                          | 118/243 [02:06<00:35,  3.54it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.17.self_attn.qkv_proj.q_scale", shape: (15360, 160), dtype: float16
+
 49%|██████████████████████████████████████████████████████████████████████▍                                                                          | 118/243 [02:06<00:35,  3.54it/s]
 49%|███████████████████████████████████████████████████████████████████████▌                                                                         | 120/243 [02:06<00:29,  4.12it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.17.self_attn.o_proj.q_weight", shape: (5120, 640), dtype: uint32
+
 49%|███████████████████████████████████████████████████████████████████████▌                                                                         | 120/243 [02:06<00:29,  4.12it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.17.self_attn.o_proj.q_scale", shape: (5120, 160), dtype: float16
+
 49%|███████████████████████████████████████████████████████████████████████▌                                                                         | 120/243 [02:06<00:29,  4.12it/s]
 50%|████████████████████████████████████████████████████████████████████████▏                                                                        | 121/243 [02:06<00:26,  4.68it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:01] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.18.input_layernorm.weight", shape: (5120,), dtype: float16
+
 50%|████████████████████████████████████████████████████████████████████████▏                                                                        | 121/243 [02:06<00:26,  4.68it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.18.mlp.down_proj.q_weight", shape: (5120, 1728), dtype: uint32
+
 50%|████████████████████████████████████████████████████████████████████████▏                                                                        | 121/243 [02:06<00:26,  4.68it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.18.mlp.down_proj.q_scale", shape: (5120, 432), dtype: float16
+
 50%|████████████████████████████████████████████████████████████████████████▏                                                                        | 121/243 [02:06<00:26,  4.68it/s]
 51%|█████████████████████████████████████████████████████████████████████████▍                                                                       | 123/243 [02:06<00:22,  5.37it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.18.mlp.gate_up_proj.q_weight", shape: (27648, 640), dtype: uint32
+
 51%|█████████████████████████████████████████████████████████████████████████▍                                                                       | 123/243 [02:07<00:22,  5.37it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.18.mlp.gate_up_proj.q_scale", shape: (27648, 160), dtype: float16
+
 51%|█████████████████████████████████████████████████████████████████████████▍                                                                       | 123/243 [02:07<00:22,  5.37it/s]
 51%|█████████████████████████████████████████████████████████████████████████▉                                                                       | 124/243 [02:07<00:33,  3.55it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.18.post_attention_layernorm.weight", shape: (5120,), dtype: float16
+
 51%|█████████████████████████████████████████████████████████████████████████▉                                                                       | 124/243 [02:07<00:33,  3.55it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.18.self_attn.qkv_proj.q_weight", shape: (15360, 640), dtype: uint32
+
 51%|█████████████████████████████████████████████████████████████████████████▉                                                                       | 124/243 [02:07<00:33,  3.55it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.18.self_attn.qkv_proj.q_scale", shape: (15360, 160), dtype: float16
+
 51%|█████████████████████████████████████████████████████████████████████████▉                                                                       | 124/243 [02:07<00:33,  3.55it/s]
 52%|███████████████████████████████████████████████████████████████████████████▏                                                                     | 126/243 [02:07<00:28,  4.13it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.18.self_attn.o_proj.q_weight", shape: (5120, 640), dtype: uint32
+
 52%|███████████████████████████████████████████████████████████████████████████▏                                                                     | 126/243 [02:07<00:28,  4.13it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.18.self_attn.o_proj.q_scale", shape: (5120, 160), dtype: float16
+
 52%|███████████████████████████████████████████████████████████████████████████▏                                                                     | 126/243 [02:07<00:28,  4.13it/s]
 52%|███████████████████████████████████████████████████████████████████████████▊                                                                     | 127/243 [02:07<00:24,  4.70it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.19.input_layernorm.weight", shape: (5120,), dtype: float16
+
 52%|███████████████████████████████████████████████████████████████████████████▊                                                                     | 127/243 [02:07<00:24,  4.70it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:03] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.19.mlp.down_proj.q_weight", shape: (5120, 1728), dtype: uint32
+
 52%|███████████████████████████████████████████████████████████████████████████▊                                                                     | 127/243 [02:08<00:24,  4.70it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:03] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.19.mlp.down_proj.q_scale", shape: (5120, 432), dtype: float16
+
 52%|███████████████████████████████████████████████████████████████████████████▊                                                                     | 127/243 [02:08<00:24,  4.70it/s]
 53%|████████████████████████████████████████████████████████████████████████████▉                                                                    | 129/243 [02:08<00:21,  5.39it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:03] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.19.mlp.gate_up_proj.q_weight", shape: (27648, 640), dtype: uint32
+
 53%|████████████████████████████████████████████████████████████████████████████▉                                                                    | 129/243 [02:08<00:21,  5.39it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:03] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.19.mlp.gate_up_proj.q_scale", shape: (27648, 160), dtype: float16
+
 53%|████████████████████████████████████████████████████████████████████████████▉                                                                    | 129/243 [02:08<00:21,  5.39it/s]
 53%|█████████████████████████████████████████████████████████████████████████████▌                                                                   | 130/243 [02:08<00:31,  3.57it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:03] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.19.post_attention_layernorm.weight", shape: (5120,), dtype: float16
+
 53%|█████████████████████████████████████████████████████████████████████████████▌                                                                   | 130/243 [02:08<00:31,  3.57it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.19.self_attn.qkv_proj.q_weight", shape: (15360, 640), dtype: uint32
+
 53%|█████████████████████████████████████████████████████████████████████████████▌                                                                   | 130/243 [02:09<00:31,  3.57it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.19.self_attn.qkv_proj.q_scale", shape: (15360, 160), dtype: float16
+
 53%|█████████████████████████████████████████████████████████████████████████████▌                                                                   | 130/243 [02:09<00:31,  3.57it/s]
 54%|██████████████████████████████████████████████████████████████████████████████▊                                                                  | 132/243 [02:09<00:26,  4.16it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.19.self_attn.o_proj.q_weight", shape: (5120, 640), dtype: uint32
+
 54%|██████████████████████████████████████████████████████████████████████████████▊                                                                  | 132/243 [02:09<00:26,  4.16it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.19.self_attn.o_proj.q_scale", shape: (5120, 160), dtype: float16
+
 54%|██████████████████████████████████████████████████████████████████████████████▊                                                                  | 132/243 [02:09<00:26,  4.16it/s]
 55%|███████████████████████████████████████████████████████████████████████████████▎                                                                 | 133/243 [02:09<00:23,  4.72it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:04] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.20.input_layernorm.weight", shape: (5120,), dtype: float16
+
 55%|███████████████████████████████████████████████████████████████████████████████▎                                                                 | 133/243 [02:09<00:23,  4.72it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.20.mlp.down_proj.q_weight", shape: (5120, 1728), dtype: uint32
+
 55%|███████████████████████████████████████████████████████████████████████████████▎                                                                 | 133/243 [02:09<00:23,  4.72it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.20.mlp.down_proj.q_scale", shape: (5120, 432), dtype: float16
+
 55%|███████████████████████████████████████████████████████████████████████████████▎                                                                 | 133/243 [02:09<00:23,  4.72it/s]
 56%|█████████████████████████████████████████��██████████████████████████████████████▌                                                                | 135/243 [02:09<00:19,  5.41it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:05] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.20.mlp.gate_up_proj.q_weight", shape: (27648, 640), dtype: uint32
+
 56%|████████████████████████████████████████████████████████████████████████████████▌                                                                | 135/243 [02:10<00:19,  5.41it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:05] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.20.mlp.gate_up_proj.q_scale", shape: (27648, 160), dtype: float16
+
 56%|████████████████████████████████████████████████████████████████████████████████▌                                                                | 135/243 [02:10<00:19,  5.41it/s]
 56%|█████████████████████████████████████████████████████████████████████████████████▏                                                               | 136/243 [02:10<00:29,  3.58it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:05] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.20.post_attention_layernorm.weight", shape: (5120,), dtype: float16
+
 56%|█████████████████████████████████████████████████████████████████████████████████▏                                                               | 136/243 [02:10<00:29,  3.58it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:05] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.20.self_attn.qkv_proj.q_weight", shape: (15360, 640), dtype: uint32
+
 56%|█████████████████████████████████████████████████████████████████████████████████▏                                                               | 136/243 [02:10<00:29,  3.58it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:05] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.20.self_attn.qkv_proj.q_scale", shape: (15360, 160), dtype: float16
+
 56%|█████████████████████████████████████████████████████████████████████████████████▏                                                               | 136/243 [02:10<00:29,  3.58it/s]
 57%|██████████████████████████████████████████████████████████████████████████████████▎                                                              | 138/243 [02:10<00:25,  4.16it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:05] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.20.self_attn.o_proj.q_weight", shape: (5120, 640), dtype: uint32
+
 57%|██████████████████████████████████████████████████████████████████████████████████▎                                                              | 138/243 [02:10<00:25,  4.16it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:05] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.20.self_attn.o_proj.q_scale", shape: (5120, 160), dtype: float16
+
 57%|██████████████████████████████████████████████████████████████████████████████████▎                                                              | 138/243 [02:10<00:25,  4.16it/s]
 57%|██████████████████████████████████████████████████████████████████████████████████▉                                                              | 139/243 [02:10<00:21,  4.73it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:05] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.21.input_layernorm.weight", shape: (5120,), dtype: float16
+
 57%|██████████████████████████████████████████████████████████████████████████████████▉                                                              | 139/243 [02:10<00:21,  4.73it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:05] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.21.mlp.down_proj.q_weight", shape: (5120, 1728), dtype: uint32
+
 57%|██████████████████████████████████████████████████████████████████████████████████▉                                                              | 139/243 [02:10<00:21,  4.73it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:05] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.21.mlp.down_proj.q_scale", shape: (5120, 432), dtype: float16
+
 57%|██████████████████████████████████████████████████████████████████████████████████▉                                                              | 139/243 [02:10<00:21,  4.73it/s]
 58%|████████████████████████████████████████████████████████████████████████████████████▏                                                            | 141/243 [02:10<00:18,  5.42it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:06] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.21.mlp.gate_up_proj.q_weight", shape: (27648, 640), dtype: uint32
+
 58%|████████████████████████████████████████████████████████████████████████████████████▏                                                            | 141/243 [02:11<00:18,  5.42it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:06] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.21.mlp.gate_up_proj.q_scale", shape: (27648, 160), dtype: float16
+
 58%|████████████████████████████████████████████████████████████████████████████████████▏                                                            | 141/243 [02:11<00:18,  5.42it/s]
 58%|█████████████████████████████████████████████████████████████���██████████████████████▋                                                            | 142/243 [02:11<00:28,  3.59it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:06] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.21.post_attention_layernorm.weight", shape: (5120,), dtype: float16
+
 58%|████████████████████████████████████████████████████████████████████████████████████▋                                                            | 142/243 [02:11<00:28,  3.59it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:06] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.21.self_attn.qkv_proj.q_weight", shape: (15360, 640), dtype: uint32
+
 58%|████████████████████████████████████████████████████████████████████████████████████▋                                                            | 142/243 [02:11<00:28,  3.59it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:06] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.21.self_attn.qkv_proj.q_scale", shape: (15360, 160), dtype: float16
+
 58%|████████████████████████████████████████████████████████████████████████████████████▋                                                            | 142/243 [02:11<00:28,  3.59it/s]
 59%|█████████████████████████████████████████████████████████████████████████████████████▉                                                           | 144/243 [02:11<00:23,  4.17it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:07] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.21.self_attn.o_proj.q_weight", shape: (5120, 640), dtype: uint32
+
 59%|█████████████████████████████████████████████████████████████████████████████████████▉                                                           | 144/243 [02:12<00:23,  4.17it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:07] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.21.self_attn.o_proj.q_scale", shape: (5120, 160), dtype: float16
+
 59%|█████████████████████████████████████████████████████████████████████████████████████▉                                                           | 144/243 [02:12<00:23,  4.17it/s]
 60%|██████████████████████████████████████████████████████████████████████████████████████▌                                                          | 145/243 [02:12<00:20,  4.72it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:07] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.22.input_layernorm.weight", shape: (5120,), dtype: float16
+
 60%|██████████████████████████████████████████████████████████████████████████████████████▌                                                          | 145/243 [02:12<00:20,  4.72it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:07] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.22.mlp.down_proj.q_weight", shape: (5120, 1728), dtype: uint32
+
 60%|██████████████████████████████████████████████████████████████████████████████████████▌                                                          | 145/243 [02:12<00:20,  4.72it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:07] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.22.mlp.down_proj.q_scale", shape: (5120, 432), dtype: float16
+
 60%|██████████████████████████████████████████████████████████████████████████████████████▌                                                          | 145/243 [02:12<00:20,  4.72it/s]
 60%|███████████████████████████████████████████████████████████████████████████████████████▋                                                         | 147/243 [02:12<00:17,  5.39it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:07] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.22.mlp.gate_up_proj.q_weight", shape: (27648, 640), dtype: uint32
+
 60%|███████████████████████████████████████████████████████████████████████████████████████▋                                                         | 147/243 [02:12<00:17,  5.39it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:07] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.22.mlp.gate_up_proj.q_scale", shape: (27648, 160), dtype: float16
+
 60%|███████████████████████████████████████████████████████████████████████████████████████▋                                                         | 147/243 [02:12<00:17,  5.39it/s]
 61%|████████████████████████████████████████████████████████████████████████████████████████▎                                                        | 148/243 [02:12<00:26,  3.57it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:07] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.22.post_attention_layernorm.weight", shape: (5120,), dtype: float16
+
 61%|████████████████████████████████████████████████████████████████████████████████████████▎                                                        | 148/243 [02:12<00:26,  3.57it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:08] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.22.self_attn.qkv_proj.q_weight", shape: (15360, 640), dtype: uint32
+
 61%|████████████████████████████████████████████████████████████████████████████████████████▎                                                        | 148/243 [02:13<00:26,  3.57it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:08] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.22.self_attn.qkv_proj.q_scale", shape: (15360, 160), dtype: float16
+
 61%|████████████████████████████████████████████████████████████████████████████████████████▎                                                        | 148/243 [02:13<00:26,  3.57it/s]
 62%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                       | 150/243 [02:13<00:22,  4.16it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:08] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.22.self_attn.o_proj.q_weight", shape: (5120, 640), dtype: uint32
+
 62%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                       | 150/243 [02:13<00:22,  4.16it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:08] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.22.self_attn.o_proj.q_scale", shape: (5120, 160), dtype: float16
+
 62%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                       | 150/243 [02:13<00:22,  4.16it/s]
 62%|██████████████████████████████████████████████████████████████████████████████████████████                                                       | 151/243 [02:13<00:19,  4.73it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:08] INFO huggingface_loader.py:179: Unloading HF weight file: /models/WizardMath-13B-V1.0/pytorch_model-00003-of-00006.bin
+
 62%|██████████████████████████████████████████████████████████████████████████████████████████                                                       | 151/243 [02:13<00:19,  4.73it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:08] INFO huggingface_loader.py:179: Unloading HF weight file: /models/WizardMath-13B-V1.0/pytorch_model-00002-of-00006.bin
+
 62%|██████████████████████████████████████████████████████████████████████████████████████████                                                       | 151/243 [02:13<00:19,  4.73it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:08] INFO huggingface_loader.py:169: Loading HF parameters from: /models/WizardMath-13B-V1.0/pytorch_model-00004-of-00006.bin
+
 62%|██████████████████████████████████████████████████████████████████████████████████████████                                                       | 151/243 [02:14<00:19,  4.73it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:27] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.23.input_layernorm.weight", shape: (5120,), dtype: float16
+
 62%|██████████████████████████████████████████████████████████████████████████████████████████                                                       | 151/243 [02:32<00:19,  4.73it/s]
 63%|██████████████████████████████████████████████████████████████████████████████████████████▋                                                      | 152/243 [02:32<06:54,  4.56s/it]
                                                                                                                                                                                        
[2023-12-17 15:58:27] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.23.mlp.down_proj.q_weight", shape: (5120, 1728), dtype: uint32
+
 63%|██████████████████████████████████████████████████████████████████████████████████████████▋                                                      | 152/243 [02:32<06:54,  4.56s/it]
                                                                                                                                                                                        
[2023-12-17 15:58:27] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.23.mlp.down_proj.q_scale", shape: (5120, 432), dtype: float16
+
 63%|██████████████████████████████████████████████████████████████████████████████████████████▋                                                      | 152/243 [02:32<06:54,  4.56s/it]
 63%|███████████████████████████████████████████████████████████████████████████████████████████▎                                                     | 153/243 [02:32<05:14,  3.49s/it]
                                                                                                                                                                                        
[2023-12-17 15:58:28] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.23.mlp.gate_up_proj.q_weight", shape: (27648, 640), dtype: uint32
+
 63%|███████████████████████████████████████████████████████████████████████████████████████████▎                                                     | 153/243 [02:33<05:14,  3.49s/it]
                                                                                                                                                                                        
[2023-12-17 15:58:28] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.23.mlp.gate_up_proj.q_scale", shape: (27648, 160), dtype: float16
+
 63%|███████████████████████████████████████████████████████████████████████████████████████████▎                                                     | 153/243 [02:33<05:14,  3.49s/it]
 63%|███████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 154/243 [02:33<04:03,  2.74s/it]
                                                                                                                                                                                        
[2023-12-17 15:58:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.23.post_attention_layernorm.weight", shape: (5120,), dtype: float16
+
 63%|███████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 154/243 [02:33<04:03,  2.74s/it]
                                                                                                                                                                                        
[2023-12-17 15:58:28] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.23.self_attn.qkv_proj.q_weight", shape: (15360, 640), dtype: uint32
+
 63%|███████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 154/243 [02:33<04:03,  2.74s/it]
                                                                                                                                                                                        
[2023-12-17 15:58:28] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.23.self_attn.qkv_proj.q_scale", shape: (15360, 160), dtype: float16
+
 63%|███████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 154/243 [02:33<04:03,  2.74s/it]
 64%|█████████████████████████████████████████████████████████████████████████████████████████████                                                    | 156/243 [02:33<02:22,  1.64s/it]
                                                                                                                                                                                        
[2023-12-17 15:58:28] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.23.self_attn.o_proj.q_weight", shape: (5120, 640), dtype: uint32
+
 64%|█████████████████████████████████████████████████████████████████████████████████████████████                                                    | 156/243 [02:33<02:22,  1.64s/it]
                                                                                                                                                                                        
[2023-12-17 15:58:28] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.23.self_attn.o_proj.q_scale", shape: (5120, 160), dtype: float16
+
 64%|█████████████████████████████████████████████████████████████████████████████████████████████                                                    | 156/243 [02:33<02:22,  1.64s/it]
 65%|█████████████████████████████████████████████████████████████████████████████████████████████▋                                                   | 157/243 [02:33<01:49,  1.28s/it]
                                                                                                                                                                                        
[2023-12-17 15:58:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.24.input_layernorm.weight", shape: (5120,), dtype: float16
+
 65%|█████████████████████████████████████████████████████████████████████████████████████████████▋                                                   | 157/243 [02:33<01:49,  1.28s/it]
                                                                                                                                                                                        
[2023-12-17 15:58:28] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.24.mlp.down_proj.q_weight", shape: (5120, 1728), dtype: uint32
+
 65%|█████████████████████████████████████████████████████████████████████████████████████████████▋                                                   | 157/243 [02:33<01:49,  1.28s/it]
                                                                                                                                                                                        
[2023-12-17 15:58:28] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.24.mlp.down_proj.q_scale", shape: (5120, 432), dtype: float16
+
 65%|█████████████████████████████████████████████████████████████████████████████████████████████▋                                                   | 157/243 [02:33<01:49,  1.28s/it]
 65%|██████████████████████████████████████████████████████████████████████████████████████████████▉                                                  | 159/243 [02:33<01:09,  1.22it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:29] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.24.mlp.gate_up_proj.q_weight", shape: (27648, 640), dtype: uint32
+
 65%|██████████████████████████████████████████████████████████████████████████████████████████████▉                                                  | 159/243 [02:34<01:09,  1.22it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:29] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.24.mlp.gate_up_proj.q_scale", shape: (27648, 160), dtype: float16
+
 65%|██████████████████████████████████████████████████████████████████████████████████████████████▉                                                  | 159/243 [02:34<01:09,  1.22it/s]
 66%|███████████████████████████████████████████████████████████████████████████████████████████████▍                                                 | 160/243 [02:34<01:04,  1.29it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.24.post_attention_layernorm.weight", shape: (5120,), dtype: float16
+
 66%|███████████████████████████████████████████████████████████████████████████████████████████████▍                                                 | 160/243 [02:34<01:04,  1.29it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:29] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.24.self_attn.qkv_proj.q_weight", shape: (15360, 640), dtype: uint32
+
 66%|███████████████████████████████████████████████████████████████████████████████████████████████▍                                                 | 160/243 [02:34<01:04,  1.29it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:29] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.24.self_attn.qkv_proj.q_scale", shape: (15360, 160), dtype: float16
+
 66%|███████████████████████████████████████████████████████████████████████████████████████████████▍                                                 | 160/243 [02:34<01:04,  1.29it/s]
 67%|████████████████████████████████████████████████████████████████████████████████████████████████▋                                                | 162/243 [02:34<00:44,  1.84it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:29] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.24.self_attn.o_proj.q_weight", shape: (5120, 640), dtype: uint32
+
 67%|████████████████████████████████████████████████████████████████████████████████████████████████▋                                                | 162/243 [02:35<00:44,  1.84it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:29] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.24.self_attn.o_proj.q_scale", shape: (5120, 160), dtype: float16
+
 67%|████████████████████████████████████████████████████████████████████████████████████████████████▋                                                | 162/243 [02:35<00:44,  1.84it/s]
 67%|█████████████████████████████████████████████████████████████████████████████████████████████████▎                                               | 163/243 [02:35<00:35,  2.23it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.25.input_layernorm.weight", shape: (5120,), dtype: float16
+
 67%|█████████████████████████████████████████████████████████████████████████████████████████████████▎                                               | 163/243 [02:35<00:35,  2.23it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:30] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.25.mlp.down_proj.q_weight", shape: (5120, 1728), dtype: uint32
+
 67%|█████████████████████████████████████████████████████████████████████████████████████████████████▎                                               | 163/243 [02:35<00:35,  2.23it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:30] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.25.mlp.down_proj.q_scale", shape: (5120, 432), dtype: float16
+
 67%|█████████████████████████████████████████████████████████████████████████████████████████████████▎                                               | 163/243 [02:35<00:35,  2.23it/s]
 68%|██████████████████████████████████████████████████████████████████████████████████████████████████▍                                              | 165/243 [02:35<00:25,  3.03it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:30] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.25.mlp.gate_up_proj.q_weight", shape: (27648, 640), dtype: uint32
+
 68%|██████████████████████████████████████████████████████████████████████████████████████████████████▍                                              | 165/243 [02:35<00:25,  3.03it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:30] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.25.mlp.gate_up_proj.q_scale", shape: (27648, 160), dtype: float16
+
 68%|██████████████████████████████████████████████████████████████████████████████████████████████████▍                                              | 165/243 [02:35<00:25,  3.03it/s]
 68%|███████████████████████████████████████████████████████████████████████████████████████████████████                                              | 166/243 [02:35<00:30,  2.54it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.25.post_attention_layernorm.weight", shape: (5120,), dtype: float16
+
 68%|███████████████████████████████████████████████████████████████████████████████████████████████████                                              | 166/243 [02:35<00:30,  2.54it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:31] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.25.self_attn.qkv_proj.q_weight", shape: (15360, 640), dtype: uint32
+
 68%|███████████████████████████████████████████████████████████████████████████████████████████████████                                              | 166/243 [02:36<00:30,  2.54it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:31] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.25.self_attn.qkv_proj.q_scale", shape: (15360, 160), dtype: float16
+
 68%|███████████████████████████████████████████████████████████████████████████████████████████████████                                              | 166/243 [02:36<00:30,  2.54it/s]
 69%|████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 168/243 [02:36<00:23,  3.22it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:31] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.25.self_attn.o_proj.q_weight", shape: (5120, 640), dtype: uint32
+
 69%|████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 168/243 [02:36<00:23,  3.22it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:31] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.25.self_attn.o_proj.q_scale", shape: (5120, 160), dtype: float16
+
 69%|████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 168/243 [02:36<00:23,  3.22it/s]
 70%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                            | 169/243 [02:36<00:19,  3.75it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:31] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.26.input_layernorm.weight", shape: (5120,), dtype: float16
+
 70%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                            | 169/243 [02:36<00:19,  3.75it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:31] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.26.mlp.down_proj.q_weight", shape: (5120, 1728), dtype: uint32
+
 70%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                            | 169/243 [02:36<00:19,  3.75it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:31] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.26.mlp.down_proj.q_scale", shape: (5120, 432), dtype: float16
+
 70%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                            | 169/243 [02:36<00:19,  3.75it/s]
 70%|██████████████████████████████████████████████████████████████████████████████████████████████████████                                           | 171/243 [02:36<00:15,  4.58it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:32] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.26.mlp.gate_up_proj.q_weight", shape: (27648, 640), dtype: uint32
+
 70%|██████████████████████████████████████████████████████████████████████████████████████████████████████                                           | 171/243 [02:37<00:15,  4.58it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:32] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.26.mlp.gate_up_proj.q_scale", shape: (27648, 160), dtype: float16
+
 70%|██████████████████████████████████████████████████████████████████████████████████████████████████████                                           | 171/243 [02:37<00:15,  4.58it/s]
 71%|███████████████████████████████████████████████████████���██████████████████████████████████████████████▋                                          | 172/243 [02:37<00:21,  3.27it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:32] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.26.post_attention_layernorm.weight", shape: (5120,), dtype: float16
+
 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋                                          | 172/243 [02:37<00:21,  3.27it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:32] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.26.self_attn.qkv_proj.q_weight", shape: (15360, 640), dtype: uint32
+
 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋                                          | 172/243 [02:37<00:21,  3.27it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:32] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.26.self_attn.qkv_proj.q_scale", shape: (15360, 160), dtype: float16
+
 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋                                          | 172/243 [02:37<00:21,  3.27it/s]
 72%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊                                         | 174/243 [02:37<00:17,  3.90it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:32] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.26.self_attn.o_proj.q_weight", shape: (5120, 640), dtype: uint32
+
 72%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊                                         | 174/243 [02:37<00:17,  3.90it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:32] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.26.self_attn.o_proj.q_scale", shape: (5120, 160), dtype: float16
+
 72%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊                                         | 174/243 [02:37<00:17,  3.90it/s]
 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                        | 175/243 [02:37<00:15,  4.45it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:32] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.27.input_layernorm.weight", shape: (5120,), dtype: float16
+
 72%|██████████���█████████████████████████████████████████████████████████████████████████████████████████████▍                                        | 175/243 [02:37<00:15,  4.45it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:32] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.27.mlp.down_proj.q_weight", shape: (5120, 1728), dtype: uint32
+
 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                        | 175/243 [02:38<00:15,  4.45it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:32] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.27.mlp.down_proj.q_scale", shape: (5120, 432), dtype: float16
+
 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                        | 175/243 [02:38<00:15,  4.45it/s]
 73%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                       | 177/243 [02:38<00:12,  5.18it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:33] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.27.mlp.gate_up_proj.q_weight", shape: (27648, 640), dtype: uint32
+
 73%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                       | 177/243 [02:38<00:12,  5.18it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:33] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.27.mlp.gate_up_proj.q_scale", shape: (27648, 160), dtype: float16
+
 73%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                       | 177/243 [02:38<00:12,  5.18it/s]
 73%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                      | 178/243 [02:38<00:18,  3.50it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:33] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.27.post_attention_layernorm.weight", shape: (5120,), dtype: float16
+
 73%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                      | 178/243 [02:38<00:18,  3.50it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:33] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.27.self_attn.qkv_proj.q_weight", shape: (15360, 640), dtype: uint32
+
 73%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                      | 178/243 [02:38<00:18,  3.50it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:33] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.27.self_attn.qkv_proj.q_scale", shape: (15360, 160), dtype: float16
+
 73%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                      | 178/243 [02:39<00:18,  3.50it/s]
 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                     | 180/243 [02:39<00:15,  4.10it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:34] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.27.self_attn.o_proj.q_weight", shape: (5120, 640), dtype: uint32
+
 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                     | 180/243 [02:39<00:15,  4.10it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:34] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.27.self_attn.o_proj.q_scale", shape: (5120, 160), dtype: float16
+
 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                     | 180/243 [02:39<00:15,  4.10it/s]
 74%|████████████████████████████████████████████████████████████████████████████████████████████████████████████                                     | 181/243 [02:39<00:13,  4.67it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:34] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.28.input_layernorm.weight", shape: (5120,), dtype: float16
+
 74%|████████████████████████████████████████████████████████████████████████████████████████████████████████████                                     | 181/243 [02:39<00:13,  4.67it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:34] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.28.mlp.down_proj.q_weight", shape: (5120, 1728), dtype: uint32
+
 74%|████████████████████████████████████████████████████████████████████████████████████████████████████████████                                     | 181/243 [02:39<00:13,  4.67it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:34] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.28.mlp.down_proj.q_scale", shape: (5120, 432), dtype: float16
+
 74%|████████████████████████████████████████████████████████████████████████████████████████████████████████████                                     | 181/243 [02:39<00:13,  4.67it/s]
 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                   | 183/243 [02:39<00:11,  5.37it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:34] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.28.mlp.gate_up_proj.q_weight", shape: (27648, 640), dtype: uint32
+
 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                   | 183/243 [02:40<00:11,  5.37it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:34] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.28.mlp.gate_up_proj.q_scale", shape: (27648, 160), dtype: float16
+
 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                   | 183/243 [02:40<00:11,  5.37it/s]
 76%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                   | 184/243 [02:40<00:16,  3.57it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:34] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.28.post_attention_layernorm.weight", shape: (5120,), dtype: float16
+
 76%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                   | 184/243 [02:40<00:16,  3.57it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:35] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.28.self_attn.qkv_proj.q_weight", shape: (15360, 640), dtype: uint32
+
 76%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                   | 184/243 [02:40<00:16,  3.57it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:35] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.28.self_attn.qkv_proj.q_scale", shape: (15360, 160), dtype: float16
+
 76%|█████████████████████████████████████████████████████████████████��███████████████████████████████████████████▊                                   | 184/243 [02:40<00:16,  3.57it/s]
 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                  | 186/243 [02:40<00:13,  4.16it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:35] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.28.self_attn.o_proj.q_weight", shape: (5120, 640), dtype: uint32
+
 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                  | 186/243 [02:40<00:13,  4.16it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:35] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.28.self_attn.o_proj.q_scale", shape: (5120, 160), dtype: float16
+
 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                  | 186/243 [02:40<00:13,  4.16it/s]
 77%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 187/243 [02:40<00:11,  4.73it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:35] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.29.input_layernorm.weight", shape: (5120,), dtype: float16
+
 77%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 187/243 [02:40<00:11,  4.73it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:35] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.29.mlp.down_proj.q_weight", shape: (5120, 1728), dtype: uint32
+
 77%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 187/243 [02:40<00:11,  4.73it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:35] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.29.mlp.down_proj.q_scale", shape: (5120, 432), dtype: float16
+
 77%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 187/243 [02:40<00:11,  4.73it/s]
 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████���█████████▊                                | 189/243 [02:40<00:09,  5.42it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:36] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.29.mlp.gate_up_proj.q_weight", shape: (27648, 640), dtype: uint32
+
 78%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                | 189/243 [02:41<00:09,  5.42it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:36] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.29.mlp.gate_up_proj.q_scale", shape: (27648, 160), dtype: float16
+
 78%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                | 189/243 [02:41<00:09,  5.42it/s]
 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                               | 190/243 [02:41<00:14,  3.59it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:36] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.29.post_attention_layernorm.weight", shape: (5120,), dtype: float16
+
 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                               | 190/243 [02:41<00:14,  3.59it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:36] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.29.self_attn.qkv_proj.q_weight", shape: (15360, 640), dtype: uint32
+
 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                               | 190/243 [02:41<00:14,  3.59it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:36] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.29.self_attn.qkv_proj.q_scale", shape: (15360, 160), dtype: float16
+
 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                               | 190/243 [02:41<00:14,  3.59it/s]
 79%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                              | 192/243 [02:41<00:12,  4.17it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:36] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.29.self_attn.o_proj.q_weight", shape: (5120, 640), dtype: uint32
+
 79%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                              | 192/243 [02:41<00:12,  4.17it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:36] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.29.self_attn.o_proj.q_scale", shape: (5120, 160), dtype: float16
+
 79%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                              | 192/243 [02:41<00:12,  4.17it/s]
 79%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                             | 193/243 [02:41<00:10,  4.74it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:37] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.30.mlp.gate_up_proj.q_weight", shape: (27648, 640), dtype: uint32
+
 79%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                             | 193/243 [02:42<00:10,  4.74it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:37] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.30.mlp.gate_up_proj.q_scale", shape: (27648, 160), dtype: float16
+
 79%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                             | 193/243 [02:42<00:10,  4.74it/s]
 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                             | 194/243 [02:42<00:15,  3.23it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:37] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.30.self_attn.qkv_proj.q_weight", shape: (15360, 640), dtype: uint32
+
 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                             | 194/243 [02:42<00:15,  3.23it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:37] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.30.self_attn.qkv_proj.q_scale", shape: (15360, 160), dtype: float16
+
 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                             | 194/243 [02:42<00:15,  3.23it/s]
 80%|██████████���█████████████████████████████████████████████████████████████████████████████████████████████████████████▎                            | 195/243 [02:42<00:15,  3.13it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:37] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.30.self_attn.o_proj.q_weight", shape: (5120, 640), dtype: uint32
+
 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                            | 195/243 [02:42<00:15,  3.13it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:37] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.30.self_attn.o_proj.q_scale", shape: (5120, 160), dtype: float16
+
 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                            | 195/243 [02:42<00:15,  3.13it/s]
 81%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                            | 196/243 [02:42<00:12,  3.80it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:37] INFO huggingface_loader.py:179: Unloading HF weight file: /models/WizardMath-13B-V1.0/pytorch_model-00004-of-00006.bin
+
 81%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                            | 196/243 [02:42<00:12,  3.80it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:38] INFO huggingface_loader.py:169: Loading HF parameters from: /models/WizardMath-13B-V1.0/pytorch_model-00005-of-00006.bin
+
 81%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                            | 196/243 [02:43<00:12,  3.80it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:56] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.30.input_layernorm.weight", shape: (5120,), dtype: float16
+
 81%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                            | 196/243 [03:01<00:12,  3.80it/s]
 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                           | 197/243 [03:01<04:02,  5.28s/it]
                                                                                                                                                                                        
[2023-12-17 15:58:56] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.30.mlp.down_proj.q_weight", shape: (5120, 1728), dtype: uint32
+
 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                           | 197/243 [03:01<04:02,  5.28s/it]
                                                                                                                                                                                        
[2023-12-17 15:58:56] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.30.mlp.down_proj.q_scale", shape: (5120, 432), dtype: float16
+
 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                           | 197/243 [03:01<04:02,  5.28s/it]
 81%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                          | 198/243 [03:01<02:54,  3.87s/it]
                                                                                                                                                                                        
[2023-12-17 15:58:56] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.30.post_attention_layernorm.weight", shape: (5120,), dtype: float16
+
 81%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                          | 198/243 [03:01<02:54,  3.87s/it]
                                                                                                                                                                                        
[2023-12-17 15:58:56] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.31.input_layernorm.weight", shape: (5120,), dtype: float16
+
 81%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                          | 198/243 [03:01<02:54,  3.87s/it]
                                                                                                                                                                                        
[2023-12-17 15:58:57] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.31.mlp.down_proj.q_weight", shape: (5120, 1728), dtype: uint32
+
 81%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                          | 198/243 [03:02<02:54,  3.87s/it]
                                                                                                                                                                                        
[2023-12-17 15:58:57] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.31.mlp.down_proj.q_scale", shape: (5120, 432), dtype: float16
+
 81%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                          | 198/243 [03:02<02:54,  3.87s/it]
 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 201/243 [03:02<01:16,  1.81s/it]
                                                                                                                                                                                        
[2023-12-17 15:58:57] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.31.mlp.gate_up_proj.q_weight", shape: (27648, 640), dtype: uint32
+
 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 201/243 [03:02<01:16,  1.81s/it]
                                                                                                                                                                                        
[2023-12-17 15:58:57] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.31.mlp.gate_up_proj.q_scale", shape: (27648, 160), dtype: float16
+
 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 201/243 [03:02<01:16,  1.81s/it]
 83%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                        | 202/243 [03:02<01:04,  1.57s/it]
                                                                                                                                                                                        
[2023-12-17 15:58:57] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.31.post_attention_layernorm.weight", shape: (5120,), dtype: float16
+
 83%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                        | 202/243 [03:02<01:04,  1.57s/it]
                                                                                                                                                                                        
[2023-12-17 15:58:58] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.31.self_attn.qkv_proj.q_weight", shape: (15360, 640), dtype: uint32
+
 83%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                        | 202/243 [03:03<01:04,  1.57s/it]
                                                                                                                                                                                        
[2023-12-17 15:58:58] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.31.self_attn.qkv_proj.q_scale", shape: (15360, 160), dtype: float16
+
 83%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                        | 202/243 [03:03<01:04,  1.57s/it]
 84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                       | 204/243 [03:03<00:40,  1.05s/it]
                                                                                                                                                                                        
[2023-12-17 15:58:58] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.31.self_attn.o_proj.q_weight", shape: (5120, 640), dtype: uint32
+
 84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                       | 204/243 [03:03<00:40,  1.05s/it]
                                                                                                                                                                                        
[2023-12-17 15:58:58] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.31.self_attn.o_proj.q_scale", shape: (5120, 160), dtype: float16
+
 84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                       | 204/243 [03:03<00:40,  1.05s/it]
 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                      | 205/243 [03:03<00:32,  1.17it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:58] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.32.input_layernorm.weight", shape: (5120,), dtype: float16
+
 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                      | 205/243 [03:03<00:32,  1.17it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:58] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.32.mlp.down_proj.q_weight", shape: (5120, 1728), dtype: uint32
+
 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                      | 205/243 [03:03<00:32,  1.17it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:58] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.32.mlp.down_proj.q_scale", shape: (5120, 432), dtype: float16
+
 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                      | 205/243 [03:03<00:32,  1.17it/s]
 85%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                     | 207/243 [03:03<00:21,  1.71it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:59] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.32.mlp.gate_up_proj.q_weight", shape: (27648, 640), dtype: uint32
+
 85%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                     | 207/243 [03:04<00:21,  1.71it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:59] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.32.mlp.gate_up_proj.q_scale", shape: (27648, 160), dtype: float16
+
 85%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                     | 207/243 [03:04<00:21,  1.71it/s]
 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                     | 208/243 [03:04<00:20,  1.68it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:59] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.32.post_attention_layernorm.weight", shape: (5120,), dtype: float16
+
 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                     | 208/243 [03:04<00:20,  1.68it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:59] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.32.self_attn.qkv_proj.q_weight", shape: (15360, 640), dtype: uint32
+
 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                     | 208/243 [03:04<00:20,  1.68it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:59] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.32.self_attn.qkv_proj.q_scale", shape: (15360, 160), dtype: float16
+
 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                     | 208/243 [03:04<00:20,  1.68it/s]
 86%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                   | 210/243 [03:04<00:14,  2.29it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:59] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.32.self_attn.o_proj.q_weight", shape: (5120, 640), dtype: uint32
+
 86%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                   | 210/243 [03:04<00:14,  2.29it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:59] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.32.self_attn.o_proj.q_scale", shape: (5120, 160), dtype: float16
+
 86%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                   | 210/243 [03:04<00:14,  2.29it/s]
 87%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                   | 211/243 [03:04<00:11,  2.73it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:59] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.33.input_layernorm.weight", shape: (5120,), dtype: float16
+
 87%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                   | 211/243 [03:04<00:11,  2.73it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:59] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.33.mlp.down_proj.q_weight", shape: (5120, 1728), dtype: uint32
+
 87%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                   | 211/243 [03:04<00:11,  2.73it/s]
                                                                                                                                                                                        
[2023-12-17 15:58:59] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.33.mlp.down_proj.q_scale", shape: (5120, 432), dtype: float16
+
 87%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                   | 211/243 [03:04<00:11,  2.73it/s]
 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                  | 213/243 [03:04<00:08,  3.56it/s]
                                                                                                                                                                                        
[2023-12-17 15:59:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.33.mlp.gate_up_proj.q_weight", shape: (27648, 640), dtype: uint32
+
 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                  | 213/243 [03:05<00:08,  3.56it/s]
                                                                                                                                                                                        
[2023-12-17 15:59:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.33.mlp.gate_up_proj.q_scale", shape: (27648, 160), dtype: float16
+
 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                  | 213/243 [03:05<00:08,  3.56it/s]
 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                 | 214/243 [03:05<00:10,  2.82it/s]
                                                                                                                                                                                        
[2023-12-17 15:59:00] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.33.post_attention_layernorm.weight", shape: (5120,), dtype: float16
+
 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                 | 214/243 [03:05<00:10,  2.82it/s]
                                                                                                                                                                                        
[2023-12-17 15:59:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.33.self_attn.qkv_proj.q_weight", shape: (15360, 640), dtype: uint32
+
 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                 | 214/243 [03:05<00:10,  2.82it/s]
                                                                                                                                                                                        
[2023-12-17 15:59:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.33.self_attn.qkv_proj.q_scale", shape: (15360, 160), dtype: float16
+
 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                 | 214/243 [03:05<00:10,  2.82it/s]
 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                | 216/243 [03:05<00:07,  3.49it/s]
                                                                                                                                                                                        
[2023-12-17 15:59:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.33.self_attn.o_proj.q_weight", shape: (5120, 640), dtype: uint32
+
 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                | 216/243 [03:05<00:07,  3.49it/s]
                                                                                                                                                                                        
[2023-12-17 15:59:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.33.self_attn.o_proj.q_scale", shape: (5120, 160), dtype: float16
+
 89%|███████████████████████████████████████████████████████████████��████████████████████████████████████████████████████████████████▉                | 216/243 [03:05<00:07,  3.49it/s]
 89%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍               | 217/243 [03:05<00:06,  4.03it/s]
                                                                                                                                                                                        
[2023-12-17 15:59:00] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.34.input_layernorm.weight", shape: (5120,), dtype: float16
+
 89%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍               | 217/243 [03:05<00:06,  4.03it/s]
                                                                                                                                                                                        
[2023-12-17 15:59:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.34.mlp.down_proj.q_weight", shape: (5120, 1728), dtype: uint32
+
 89%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍               | 217/243 [03:06<00:06,  4.03it/s]
                                                                                                                                                                                        
[2023-12-17 15:59:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.34.mlp.down_proj.q_scale", shape: (5120, 432), dtype: float16
+
 89%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍               | 217/243 [03:06<00:06,  4.03it/s]
 90%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋              | 219/243 [03:06<00:04,  4.82it/s]
                                                                                                                                                                                        
[2023-12-17 15:59:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.34.mlp.gate_up_proj.q_weight", shape: (27648, 640), dtype: uint32
+
 90%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋              | 219/243 [03:06<00:04,  4.82it/s]
                                                                                                                                                                                        
[2023-12-17 15:59:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.34.mlp.gate_up_proj.q_scale", shape: (27648, 160), dtype: float16
+
 90%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋              | 219/243 [03:06<00:04,  4.82it/s]
 91%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎             | 220/243 [03:06<00:06,  3.37it/s]
                                                                                                                                                                                        
[2023-12-17 15:59:01] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.34.post_attention_layernorm.weight", shape: (5120,), dtype: float16
+
 91%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎             | 220/243 [03:06<00:06,  3.37it/s]
                                                                                                                                                                                        
[2023-12-17 15:59:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.34.self_attn.qkv_proj.q_weight", shape: (15360, 640), dtype: uint32
+
 91%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎             | 220/243 [03:07<00:06,  3.37it/s]
                                                                                                                                                                                        
[2023-12-17 15:59:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.34.self_attn.qkv_proj.q_scale", shape: (15360, 160), dtype: float16
+
 91%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎             | 220/243 [03:07<00:06,  3.37it/s]
 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍            | 222/243 [03:07<00:05,  3.98it/s]
                                                                                                                                                                                        
[2023-12-17 15:59:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.34.self_attn.o_proj.q_weight", shape: (5120, 640), dtype: uint32
+
 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍            | 222/243 [03:07<00:05,  3.98it/s]
                                                                                                                                                                                        
[2023-12-17 15:59:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.34.self_attn.o_proj.q_scale", shape: (5120, 160), dtype: float16
+
 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍            | 222/243 [03:07<00:05,  3.98it/s]
 92%|██████████████████████████████████████████████████████████████████��██████████████████████████████████████████████████████████████████            | 223/243 [03:07<00:04,  4.54it/s]
                                                                                                                                                                                        
[2023-12-17 15:59:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.35.input_layernorm.weight", shape: (5120,), dtype: float16
+
 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████            | 223/243 [03:07<00:04,  4.54it/s]
                                                                                                                                                                                        
[2023-12-17 15:59:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.35.mlp.down_proj.q_weight", shape: (5120, 1728), dtype: uint32
+
 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████            | 223/243 [03:07<00:04,  4.54it/s]
                                                                                                                                                                                        
[2023-12-17 15:59:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.35.mlp.down_proj.q_scale", shape: (5120, 432), dtype: float16
+
 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████            | 223/243 [03:07<00:04,  4.54it/s]
 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎          | 225/243 [03:07<00:03,  5.26it/s]
                                                                                                                                                                                        
[2023-12-17 15:59:03] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.35.mlp.gate_up_proj.q_weight", shape: (27648, 640), dtype: uint32
+
 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎          | 225/243 [03:08<00:03,  5.26it/s]
                                                                                                                                                                                        
[2023-12-17 15:59:03] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.35.mlp.gate_up_proj.q_scale", shape: (27648, 160), dtype: float16
+
 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎          | 225/243 [03:08<00:03,  5.26it/s]
 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████��▊          | 226/243 [03:08<00:04,  3.53it/s]
                                                                                                                                                                                        
[2023-12-17 15:59:03] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.35.post_attention_layernorm.weight", shape: (5120,), dtype: float16
+
 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 226/243 [03:08<00:04,  3.53it/s]
                                                                                                                                                                                        
[2023-12-17 15:59:03] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.35.self_attn.qkv_proj.q_weight", shape: (15360, 640), dtype: uint32
+
 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 226/243 [03:08<00:04,  3.53it/s]
                                                                                                                                                                                        
[2023-12-17 15:59:03] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.35.self_attn.qkv_proj.q_scale", shape: (15360, 160), dtype: float16
+
 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 226/243 [03:08<00:04,  3.53it/s]
 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████         | 228/243 [03:08<00:03,  4.13it/s]
                                                                                                                                                                                        
[2023-12-17 15:59:03] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.35.self_attn.o_proj.q_weight", shape: (5120, 640), dtype: uint32
+
 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████         | 228/243 [03:08<00:03,  4.13it/s]
                                                                                                                                                                                        
[2023-12-17 15:59:03] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.35.self_attn.o_proj.q_scale", shape: (5120, 160), dtype: float16
+
 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████         | 228/243 [03:08<00:03,  4.13it/s]
 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 229/243 [03:08<00:02,  4.69it/s]
                                                                                                                                                                                        
[2023-12-17 15:59:03] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.36.input_layernorm.weight", shape: (5120,), dtype: float16
+
 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 229/243 [03:08<00:02,  4.69it/s]
                                                                                                                                                                                        
[2023-12-17 15:59:03] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.36.mlp.down_proj.q_weight", shape: (5120, 1728), dtype: uint32
+
 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 229/243 [03:08<00:02,  4.69it/s]
                                                                                                                                                                                        
[2023-12-17 15:59:03] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.36.mlp.down_proj.q_scale", shape: (5120, 432), dtype: float16
+
 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 229/243 [03:08<00:02,  4.69it/s]
 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊       | 231/243 [03:08<00:02,  5.39it/s]
                                                                                                                                                                                        
[2023-12-17 15:59:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.36.mlp.gate_up_proj.q_weight", shape: (27648, 640), dtype: uint32
+
 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊       | 231/243 [03:09<00:02,  5.39it/s]
                                                                                                                                                                                        
[2023-12-17 15:59:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.36.mlp.gate_up_proj.q_scale", shape: (27648, 160), dtype: float16
+
 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊       | 231/243 [03:09<00:02,  5.39it/s]
 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍      | 232/243 [03:09<00:03,  3.58it/s]
                                                                                                                                                                                        
[2023-12-17 15:59:04] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.36.post_attention_layernorm.weight", shape: (5120,), dtype: float16
+
 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍      | 232/243 [03:09<00:03,  3.58it/s]
                                                                                                                                                                                        
[2023-12-17 15:59:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.36.self_attn.qkv_proj.q_weight", shape: (15360, 640), dtype: uint32
+
 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍      | 232/243 [03:09<00:03,  3.58it/s]
                                                                                                                                                                                        
[2023-12-17 15:59:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.36.self_attn.qkv_proj.q_scale", shape: (15360, 160), dtype: float16
+
 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍      | 232/243 [03:09<00:03,  3.58it/s]
 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋     | 234/243 [03:09<00:02,  4.17it/s]
                                                                                                                                                                                        
[2023-12-17 15:59:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.36.self_attn.o_proj.q_weight", shape: (5120, 640), dtype: uint32
+
 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋     | 234/243 [03:10<00:02,  4.17it/s]
                                                                                                                                                                                        
[2023-12-17 15:59:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.36.self_attn.o_proj.q_scale", shape: (5120, 160), dtype: float16
+
 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋     | 234/243 [03:10<00:02,  4.17it/s]
 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏    | 235/243 [03:10<00:01,  4.73it/s]
                                                                                                                                                                                        
[2023-12-17 15:59:04] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.37.input_layernorm.weight", shape: (5120,), dtype: float16
+
 97%|��███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏    | 235/243 [03:10<00:01,  4.73it/s]
                                                                                                                                                                                        
[2023-12-17 15:59:05] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.37.mlp.down_proj.q_weight", shape: (5120, 1728), dtype: uint32
+
 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏    | 235/243 [03:10<00:01,  4.73it/s]
                                                                                                                                                                                        
[2023-12-17 15:59:05] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.37.mlp.down_proj.q_scale", shape: (5120, 432), dtype: float16
+
 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏    | 235/243 [03:10<00:01,  4.73it/s]
 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍   | 237/243 [03:10<00:01,  5.42it/s]
                                                                                                                                                                                        
[2023-12-17 15:59:05] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.37.mlp.gate_up_proj.q_weight", shape: (27648, 640), dtype: uint32
+
 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍   | 237/243 [03:10<00:01,  5.42it/s]
                                                                                                                                                                                        
[2023-12-17 15:59:05] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.37.mlp.gate_up_proj.q_scale", shape: (27648, 160), dtype: float16
+
 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍   | 237/243 [03:10<00:01,  5.42it/s]
 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████   | 238/243 [03:10<00:01,  3.59it/s]
                                                                                                                                                                                        
[2023-12-17 15:59:05] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.37.post_attention_layernorm.weight", shape: (5120,), dtype: float16
+
 98%|████████████████████████████��█████████████████████████████████████████████████████████████████████████████████████████████████████████████████   | 238/243 [03:10<00:01,  3.59it/s]
                                                                                                                                                                                        
[2023-12-17 15:59:06] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.37.self_attn.qkv_proj.q_weight", shape: (15360, 640), dtype: uint32
+
 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████   | 238/243 [03:11<00:01,  3.59it/s]
                                                                                                                                                                                        
[2023-12-17 15:59:06] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.37.self_attn.qkv_proj.q_scale", shape: (15360, 160), dtype: float16
+
 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████   | 238/243 [03:11<00:01,  3.59it/s]
 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 240/243 [03:11<00:00,  4.17it/s]
                                                                                                                                                                                        
[2023-12-17 15:59:06] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.37.self_attn.o_proj.q_weight", shape: (5120, 640), dtype: uint32
+
 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 240/243 [03:11<00:00,  4.17it/s]
                                                                                                                                                                                        
[2023-12-17 15:59:06] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.37.self_attn.o_proj.q_scale", shape: (5120, 160), dtype: float16
+
 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 240/243 [03:11<00:00,  4.17it/s]
 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 241/243 [03:11<00:00,  4.74it/s]
                                                                                                                                                                                        
[2023-12-17 15:59:06] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.38.self_attn.qkv_proj.q_weight", shape: (15360, 640), dtype: uint32
+
 99%|███████████████████████████████████████████████��███████████████████████████████████████████████████████████████████████████████████████████████▊ | 241/243 [03:11<00:00,  4.74it/s]
                                                                                                                                                                                        
[2023-12-17 15:59:06] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.38.self_attn.qkv_proj.q_scale", shape: (15360, 160), dtype: float16
+
 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 241/243 [03:11<00:00,  4.74it/s]
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 242/243 [03:11<00:00,  4.11it/s]
                                                                                                                                                                                        
[2023-12-17 15:59:06] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.38.self_attn.o_proj.q_weight", shape: (5120, 640), dtype: uint32
+
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 242/243 [03:11<00:00,  4.11it/s]
                                                                                                                                                                                        
[2023-12-17 15:59:06] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.38.self_attn.o_proj.q_scale", shape: (5120, 160), dtype: float16
+
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 242/243 [03:11<00:00,  4.11it/s]
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 243/243 [03:11<00:00,  4.79it/s]
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 243/243 [03:11<00:00,  1.27it/s]
+[2023-12-17 15:59:06] INFO huggingface_loader.py:179: Unloading HF weight file: /models/WizardMath-13B-V1.0/pytorch_model-00005-of-00006.bin
+[2023-12-17 15:59:07] INFO stats.py:71: Time usage: HF loading: 133.278 sec; Pre-quantization mapping: 52.095 sec; Quantization: 2.599 sec
+[2023-12-17 15:59:07] INFO stats.py:85: RAM usage: Peak RAM: 18.516 GB. Total bytes loaded from disk: 57.678 GB
+[2023-12-17 15:59:07] INFO convert_weight.py:109: Parameter size after quantization: 6.819 GB
+[2023-12-17 15:59:07] INFO convert_weight.py:114: Total parameters: 13,015,874,560
+[2023-12-17 15:59:07] INFO convert_weight.py:115: Bits per parameter: 4.500
+Start storing to cache /tmp/tmp25d3sfci
+

[0001/0405] saving lm_head.q_weight
                                   
[0002/0405] saving lm_head.q_scale
                                   
[0003/0405] saving model.layers.38.input_layernorm.weight
                                                         
[0004/0405] saving model.layers.38.mlp.down_proj.q_weight
                                                         
[0005/0405] saving model.layers.38.mlp.down_proj.q_scale
                                                         
[0006/0405] saving model.layers.38.mlp.gate_up_proj.q_weight
                                                            
[0007/0405] saving model.layers.38.mlp.gate_up_proj.q_scale
                                                            
[0008/0405] saving model.layers.38.post_attention_layernorm.weight
                                                                  
[0009/0405] saving model.layers.39.input_layernorm.weight
                                                                  
[0010/0405] saving model.layers.39.mlp.down_proj.q_weight
                                                                  
[0011/0405] saving model.layers.39.mlp.down_proj.q_scale
                                                                  
[0012/0405] saving model.layers.39.mlp.gate_up_proj.q_weight
                                                                  
[0013/0405] saving model.layers.39.mlp.gate_up_proj.q_scale
                                                                  
[0014/0405] saving model.layers.39.post_attention_layernorm.weight
                                                                  
[0015/0405] saving model.layers.39.self_attn.qkv_proj.q_weight
                                                                  
[0016/0405] saving model.layers.39.self_attn.qkv_proj.q_scale
                                                                  
[0017/0405] saving model.layers.39.self_attn.o_proj.q_weight
                                                                  
[0018/0405] saving model.layers.39.self_attn.o_proj.q_scale
                                                                  
[0019/0405] saving model.norm.weight
                                                                  
[0020/0405] saving model.embed_tokens.q_weight
                                                                  
[0021/0405] saving model.embed_tokens.q_scale
                                                                  
[0022/0405] saving model.layers.0.input_layernorm.weight
                                                                  
[0023/0405] saving model.layers.0.mlp.down_proj.q_weight
                                                                  
[0024/0405] saving model.layers.0.mlp.down_proj.q_scale
                                                                  
[0025/0405] saving model.layers.0.mlp.gate_up_proj.q_weight
                                                                  
[0026/0405] saving model.layers.0.mlp.gate_up_proj.q_scale
                                                                  
[0027/0405] saving model.layers.0.post_attention_layernorm.weight
                                                                  
[0028/0405] saving model.layers.0.self_attn.qkv_proj.q_weight
                                                                  
[0029/0405] saving model.layers.0.self_attn.qkv_proj.q_scale
                                                                  
[0030/0405] saving model.layers.0.self_attn.o_proj.q_weight
                                                                  
[0031/0405] saving model.layers.0.self_attn.o_proj.q_scale
                                                                  
[0032/0405] saving model.layers.1.input_layernorm.weight
                                                                  
[0033/0405] saving model.layers.1.mlp.down_proj.q_weight
                                                                  
[0034/0405] saving model.layers.1.mlp.down_proj.q_scale
                                                                  
[0035/0405] saving model.layers.1.mlp.gate_up_proj.q_weight
                                                                  
[0036/0405] saving model.layers.1.mlp.gate_up_proj.q_scale
                                                                  
[0037/0405] saving model.layers.1.post_attention_layernorm.weight
                                                                  
[0038/0405] saving model.layers.1.self_attn.qkv_proj.q_weight
                                                                  
[0039/0405] saving model.layers.1.self_attn.qkv_proj.q_scale
                                                                  
[0040/0405] saving model.layers.1.self_attn.o_proj.q_weight
                                                                  
[0041/0405] saving model.layers.1.self_attn.o_proj.q_scale
                                                                  
[0042/0405] saving model.layers.2.input_layernorm.weight
                                                                  
[0043/0405] saving model.layers.2.mlp.down_proj.q_weight
                                                                  
[0044/0405] saving model.layers.2.mlp.down_proj.q_scale
                                                                  
[0045/0405] saving model.layers.2.mlp.gate_up_proj.q_weight
                                                                  
[0046/0405] saving model.layers.2.mlp.gate_up_proj.q_scale
                                                                  
[0047/0405] saving model.layers.2.post_attention_layernorm.weight
                                                                  
[0048/0405] saving model.layers.2.self_attn.qkv_proj.q_weight
                                                                  
[0049/0405] saving model.layers.2.self_attn.qkv_proj.q_scale
                                                                  
[0050/0405] saving model.layers.2.self_attn.o_proj.q_weight
                                                                  
[0051/0405] saving model.layers.2.self_attn.o_proj.q_scale
                                                                  
[0052/0405] saving model.layers.3.input_layernorm.weight
                                                                  
[0053/0405] saving model.layers.3.mlp.down_proj.q_weight
                                                                  
[0054/0405] saving model.layers.3.mlp.down_proj.q_scale
                                                                  
[0055/0405] saving model.layers.3.mlp.gate_up_proj.q_weight
                                                                  
[0056/0405] saving model.layers.3.mlp.gate_up_proj.q_scale
                                                                  
[0057/0405] saving model.layers.3.post_attention_layernorm.weight
                                                                  
[0058/0405] saving model.layers.3.self_attn.qkv_proj.q_weight
                                                                  
[0059/0405] saving model.layers.3.self_attn.qkv_proj.q_scale
                                                                  
[0060/0405] saving model.layers.3.self_attn.o_proj.q_weight
                                                                  
[0061/0405] saving model.layers.3.self_attn.o_proj.q_scale
                                                                  
[0062/0405] saving model.layers.4.input_layernorm.weight
                                                                  
[0063/0405] saving model.layers.4.mlp.down_proj.q_weight
                                                                  
[0064/0405] saving model.layers.4.mlp.down_proj.q_scale
                                                                  
[0065/0405] saving model.layers.4.mlp.gate_up_proj.q_weight
                                                                  
[0066/0405] saving model.layers.4.mlp.gate_up_proj.q_scale
                                                                  
[0067/0405] saving model.layers.4.post_attention_layernorm.weight
                                                                  
[0068/0405] saving model.layers.4.self_attn.qkv_proj.q_weight
                                                                  
[0069/0405] saving model.layers.4.self_attn.qkv_proj.q_scale
                                                                  
[0070/0405] saving model.layers.4.self_attn.o_proj.q_weight
                                                                  
[0071/0405] saving model.layers.4.self_attn.o_proj.q_scale
                                                                  
[0072/0405] saving model.layers.5.input_layernorm.weight
                                                                  
[0073/0405] saving model.layers.5.mlp.down_proj.q_weight
                                                                  
[0074/0405] saving model.layers.5.mlp.down_proj.q_scale
                                                                  
[0075/0405] saving model.layers.5.mlp.gate_up_proj.q_weight
                                                                  
[0076/0405] saving model.layers.5.mlp.gate_up_proj.q_scale
                                                                  
[0077/0405] saving model.layers.5.post_attention_layernorm.weight
                                                                  
[0078/0405] saving model.layers.5.self_attn.qkv_proj.q_weight
                                                                  
[0079/0405] saving model.layers.5.self_attn.qkv_proj.q_scale
                                                                  
[0080/0405] saving model.layers.5.self_attn.o_proj.q_weight
                                                                  
[0081/0405] saving model.layers.5.self_attn.o_proj.q_scale
                                                                  
[0082/0405] saving model.layers.6.input_layernorm.weight
                                                                  
[0083/0405] saving model.layers.6.mlp.down_proj.q_weight
                                                                  
[0084/0405] saving model.layers.6.mlp.down_proj.q_scale
                                                                  
[0085/0405] saving model.layers.6.mlp.gate_up_proj.q_weight
                                                                  
[0086/0405] saving model.layers.6.mlp.gate_up_proj.q_scale
                                                                  
[0087/0405] saving model.layers.6.post_attention_layernorm.weight
                                                                  
[0088/0405] saving model.layers.6.self_attn.qkv_proj.q_weight
                                                                  
[0089/0405] saving model.layers.6.self_attn.qkv_proj.q_scale
                                                                  
[0090/0405] saving model.layers.6.self_attn.o_proj.q_weight
                                                                  
[0091/0405] saving model.layers.6.self_attn.o_proj.q_scale
                                                                  
[0092/0405] saving model.layers.7.self_attn.qkv_proj.q_weight
                                                                  
[0093/0405] saving model.layers.7.self_attn.qkv_proj.q_scale
                                                                  
[0094/0405] saving model.layers.7.self_attn.o_proj.q_weight
                                                                  
[0095/0405] saving model.layers.7.self_attn.o_proj.q_scale
                                                                  
[0096/0405] saving model.layers.10.input_layernorm.weight
                                                                  
[0097/0405] saving model.layers.10.mlp.down_proj.q_weight
                                                                  
[0098/0405] saving model.layers.10.mlp.down_proj.q_scale
                                                                  
[0099/0405] saving model.layers.10.mlp.gate_up_proj.q_weight
                                                                  
[0100/0405] saving model.layers.10.mlp.gate_up_proj.q_scale
                                                                  
[0101/0405] saving model.layers.10.post_attention_layernorm.weight
                                                                  
[0102/0405] saving model.layers.10.self_attn.qkv_proj.q_weight
                                                                  
[0103/0405] saving model.layers.10.self_attn.qkv_proj.q_scale
                                                                  
[0104/0405] saving model.layers.10.self_attn.o_proj.q_weight
                                                                  
[0105/0405] saving model.layers.10.self_attn.o_proj.q_scale
                                                                  
[0106/0405] saving model.layers.11.input_layernorm.weight
                                                                  
[0107/0405] saving model.layers.11.mlp.down_proj.q_weight
                                                                  
[0108/0405] saving model.layers.11.mlp.down_proj.q_scale
                                                                  
[0109/0405] saving model.layers.11.mlp.gate_up_proj.q_weight
                                                                  
[0110/0405] saving model.layers.11.mlp.gate_up_proj.q_scale
                                                                  
[0111/0405] saving model.layers.11.post_attention_layernorm.weight
                                                                  
[0112/0405] saving model.layers.11.self_attn.qkv_proj.q_weight
                                                                  
[0113/0405] saving model.layers.11.self_attn.qkv_proj.q_scale
                                                                  
[0114/0405] saving model.layers.11.self_attn.o_proj.q_weight
                                                                  
[0115/0405] saving model.layers.11.self_attn.o_proj.q_scale
                                                                  
[0116/0405] saving model.layers.12.input_layernorm.weight
                                                                  
[0117/0405] saving model.layers.12.mlp.down_proj.q_weight
                                                                  
[0118/0405] saving model.layers.12.mlp.down_proj.q_scale
                                                                  
[0119/0405] saving model.layers.12.mlp.gate_up_proj.q_weight
                                                                  
[0120/0405] saving model.layers.12.mlp.gate_up_proj.q_scale
                                                                  
[0121/0405] saving model.layers.12.post_attention_layernorm.weight
                                                                  
[0122/0405] saving model.layers.12.self_attn.qkv_proj.q_weight
                                                                  
[0123/0405] saving model.layers.12.self_attn.qkv_proj.q_scale
                                                                  
[0124/0405] saving model.layers.12.self_attn.o_proj.q_weight
                                                                  
[0125/0405] saving model.layers.12.self_attn.o_proj.q_scale
                                                                  
[0126/0405] saving model.layers.13.input_layernorm.weight
                                                                  
[0127/0405] saving model.layers.13.mlp.down_proj.q_weight
                                                                  
[0128/0405] saving model.layers.13.mlp.down_proj.q_scale
                                                                  
[0129/0405] saving model.layers.13.mlp.gate_up_proj.q_weight
                                                                  
[0130/0405] saving model.layers.13.mlp.gate_up_proj.q_scale
                                                                  
[0131/0405] saving model.layers.13.post_attention_layernorm.weight
                                                                  
[0132/0405] saving model.layers.13.self_attn.qkv_proj.q_weight
                                                                  
[0133/0405] saving model.layers.13.self_attn.qkv_proj.q_scale
                                                                  
[0134/0405] saving model.layers.13.self_attn.o_proj.q_weight
                                                                  
[0135/0405] saving model.layers.13.self_attn.o_proj.q_scale
                                                                  
[0136/0405] saving model.layers.14.input_layernorm.weight
                                                                  
[0137/0405] saving model.layers.14.mlp.down_proj.q_weight
                                                                  
[0138/0405] saving model.layers.14.mlp.down_proj.q_scale
                                                                  
[0139/0405] saving model.layers.14.mlp.gate_up_proj.q_weight
                                                                  
[0140/0405] saving model.layers.14.mlp.gate_up_proj.q_scale
                                                                  
[0141/0405] saving model.layers.14.post_attention_layernorm.weight
                                                                  
[0142/0405] saving model.layers.14.self_attn.qkv_proj.q_weight
                                                                  
[0143/0405] saving model.layers.14.self_attn.qkv_proj.q_scale
                                                                  
[0144/0405] saving model.layers.14.self_attn.o_proj.q_weight
                                                                  
[0145/0405] saving model.layers.14.self_attn.o_proj.q_scale
                                                                  
[0146/0405] saving model.layers.15.self_attn.qkv_proj.q_weight
                                                                  
[0147/0405] saving model.layers.15.self_attn.qkv_proj.q_scale
                                                                  
[0148/0405] saving model.layers.7.input_layernorm.weight
                                                                  
[0149/0405] saving model.layers.7.mlp.down_proj.q_weight
                                                                  
[0150/0405] saving model.layers.7.mlp.down_proj.q_scale
                                                                  
[0151/0405] saving model.layers.7.mlp.gate_up_proj.q_weight
                                                                  
[0152/0405] saving model.layers.7.mlp.gate_up_proj.q_scale
                                                                  
[0153/0405] saving model.layers.7.post_attention_layernorm.weight
                                                                  
[0154/0405] saving model.layers.8.input_layernorm.weight
                                                                  
[0155/0405] saving model.layers.8.mlp.down_proj.q_weight
                                                                  
[0156/0405] saving model.layers.8.mlp.down_proj.q_scale
                                                                  
[0157/0405] saving model.layers.8.mlp.gate_up_proj.q_weight
                                                                  
[0158/0405] saving model.layers.8.mlp.gate_up_proj.q_scale
                                                                  
[0159/0405] saving model.layers.8.post_attention_layernorm.weight
                                                                  
[0160/0405] saving model.layers.8.self_attn.qkv_proj.q_weight
                                                                  
[0161/0405] saving model.layers.8.self_attn.qkv_proj.q_scale
                                                                  
[0162/0405] saving model.layers.8.self_attn.o_proj.q_weight
                                                                  
[0163/0405] saving model.layers.8.self_attn.o_proj.q_scale
                                                                  
[0164/0405] saving model.layers.9.input_layernorm.weight
                                                                  
[0165/0405] saving model.layers.9.mlp.down_proj.q_weight
                                                                  
[0166/0405] saving model.layers.9.mlp.down_proj.q_scale
                                                                  
[0167/0405] saving model.layers.9.mlp.gate_up_proj.q_weight
                                                                  
[0168/0405] saving model.layers.9.mlp.gate_up_proj.q_scale
                                                                  
[0169/0405] saving model.layers.9.post_attention_layernorm.weight
                                                                  
[0170/0405] saving model.layers.9.self_attn.qkv_proj.q_weight
                                                                  
[0171/0405] saving model.layers.9.self_attn.qkv_proj.q_scale
                                                                  
[0172/0405] saving model.layers.9.self_attn.o_proj.q_weight
                                                                  
[0173/0405] saving model.layers.9.self_attn.o_proj.q_scale
                                                                  
[0174/0405] saving model.layers.15.input_layernorm.weight
                                                                  
[0175/0405] saving model.layers.15.mlp.down_proj.q_weight
                                                                  
[0176/0405] saving model.layers.15.mlp.down_proj.q_scale
                                                                  
[0177/0405] saving model.layers.15.mlp.gate_up_proj.q_weight
                                                                  
[0178/0405] saving model.layers.15.mlp.gate_up_proj.q_scale
                                                                  
[0179/0405] saving model.layers.15.post_attention_layernorm.weight
                                                                  
[0180/0405] saving model.layers.15.self_attn.o_proj.q_weight
                                                                  
[0181/0405] saving model.layers.15.self_attn.o_proj.q_scale
                                                                  
[0182/0405] saving model.layers.16.input_layernorm.weight
                                                                  
[0183/0405] saving model.layers.16.mlp.down_proj.q_weight
                                                                  
[0184/0405] saving model.layers.16.mlp.down_proj.q_scale
                                                                  
[0185/0405] saving model.layers.16.mlp.gate_up_proj.q_weight
                                                                  
[0186/0405] saving model.layers.16.mlp.gate_up_proj.q_scale
                                                                  
[0187/0405] saving model.layers.16.post_attention_layernorm.weight
                                                                  
[0188/0405] saving model.layers.16.self_attn.qkv_proj.q_weight
                                                                  
[0189/0405] saving model.layers.16.self_attn.qkv_proj.q_scale
                                                                  
[0190/0405] saving model.layers.16.self_attn.o_proj.q_weight
                                                                  
[0191/0405] saving model.layers.16.self_attn.o_proj.q_scale
                                                                  
[0192/0405] saving model.layers.17.input_layernorm.weight
                                                                  
[0193/0405] saving model.layers.17.mlp.down_proj.q_weight
                                                                  
[0194/0405] saving model.layers.17.mlp.down_proj.q_scale
                                                                  
[0195/0405] saving model.layers.17.mlp.gate_up_proj.q_weight
                                                                  
[0196/0405] saving model.layers.17.mlp.gate_up_proj.q_scale
                                                                  
[0197/0405] saving model.layers.17.post_attention_layernorm.weight
                                                                  
[0198/0405] saving model.layers.17.self_attn.qkv_proj.q_weight
                                                                  
[0199/0405] saving model.layers.17.self_attn.qkv_proj.q_scale
                                                                  
[0200/0405] saving model.layers.17.self_attn.o_proj.q_weight
                                                                  
[0201/0405] saving model.layers.17.self_attn.o_proj.q_scale
                                                                  
[0202/0405] saving model.layers.18.input_layernorm.weight
                                                                  
[0203/0405] saving model.layers.18.mlp.down_proj.q_weight
                                                                  
[0204/0405] saving model.layers.18.mlp.down_proj.q_scale
                                                                  
[0205/0405] saving model.layers.18.mlp.gate_up_proj.q_weight
                                                                  
[0206/0405] saving model.layers.18.mlp.gate_up_proj.q_scale
                                                                  
[0207/0405] saving model.layers.18.post_attention_layernorm.weight
                                                                  
[0208/0405] saving model.layers.18.self_attn.qkv_proj.q_weight
                                                                  
[0209/0405] saving model.layers.18.self_attn.qkv_proj.q_scale
                                                                  
[0210/0405] saving model.layers.18.self_attn.o_proj.q_weight
                                                                  
[0211/0405] saving model.layers.18.self_attn.o_proj.q_scale
                                                                  
[0212/0405] saving model.layers.19.input_layernorm.weight
                                                                  
[0213/0405] saving model.layers.19.mlp.down_proj.q_weight
                                                                  
[0214/0405] saving model.layers.19.mlp.down_proj.q_scale
                                                                  
[0215/0405] saving model.layers.19.mlp.gate_up_proj.q_weight
                                                                  
[0216/0405] saving model.layers.19.mlp.gate_up_proj.q_scale
                                                                  
[0217/0405] saving model.layers.19.post_attention_layernorm.weight
                                                                  
[0218/0405] saving model.layers.19.self_attn.qkv_proj.q_weight
                                                                  
[0219/0405] saving model.layers.19.self_attn.qkv_proj.q_scale
                                                                  
[0220/0405] saving model.layers.19.self_attn.o_proj.q_weight
                                                                  
[0221/0405] saving model.layers.19.self_attn.o_proj.q_scale
                                                                  
[0222/0405] saving model.layers.20.input_layernorm.weight
                                                                  
[0223/0405] saving model.layers.20.mlp.down_proj.q_weight
                                                                  
[0224/0405] saving model.layers.20.mlp.down_proj.q_scale
                                                                  
[0225/0405] saving model.layers.20.mlp.gate_up_proj.q_weight
                                                                  
[0226/0405] saving model.layers.20.mlp.gate_up_proj.q_scale
                                                                  
[0227/0405] saving model.layers.20.post_attention_layernorm.weight
                                                                  
[0228/0405] saving model.layers.20.self_attn.qkv_proj.q_weight
                                                                  
[0229/0405] saving model.layers.20.self_attn.qkv_proj.q_scale
                                                                  
[0230/0405] saving model.layers.20.self_attn.o_proj.q_weight
                                                                  
[0231/0405] saving model.layers.20.self_attn.o_proj.q_scale
                                                                  
[0232/0405] saving model.layers.21.input_layernorm.weight
                                                                  
[0233/0405] saving model.layers.21.mlp.down_proj.q_weight
                                                                  
[0234/0405] saving model.layers.21.mlp.down_proj.q_scale
                                                                  
[0235/0405] saving model.layers.21.mlp.gate_up_proj.q_weight
                                                                  
[0236/0405] saving model.layers.21.mlp.gate_up_proj.q_scale
                                                                  
[0237/0405] saving model.layers.21.post_attention_layernorm.weight
                                                                  
[0238/0405] saving model.layers.21.self_attn.qkv_proj.q_weight
                                                                  
[0239/0405] saving model.layers.21.self_attn.qkv_proj.q_scale
                                                                  
[0240/0405] saving model.layers.21.self_attn.o_proj.q_weight
                                                                  
[0241/0405] saving model.layers.21.self_attn.o_proj.q_scale
                                                                  
[0242/0405] saving model.layers.22.input_layernorm.weight
                                                                  
[0243/0405] saving model.layers.22.mlp.down_proj.q_weight
                                                                  
[0244/0405] saving model.layers.22.mlp.down_proj.q_scale
                                                                  
[0245/0405] saving model.layers.22.mlp.gate_up_proj.q_weight
                                                                  
[0246/0405] saving model.layers.22.mlp.gate_up_proj.q_scale
                                                                  
[0247/0405] saving model.layers.22.post_attention_layernorm.weight
                                                                  
[0248/0405] saving model.layers.22.self_attn.qkv_proj.q_weight
                                                                  
[0249/0405] saving model.layers.22.self_attn.qkv_proj.q_scale
                                                                  
[0250/0405] saving model.layers.22.self_attn.o_proj.q_weight
                                                                  
[0251/0405] saving model.layers.22.self_attn.o_proj.q_scale
                                                                  
[0252/0405] saving model.layers.23.input_layernorm.weight
                                                                  
[0253/0405] saving model.layers.23.mlp.down_proj.q_weight
                                                                  
[0254/0405] saving model.layers.23.mlp.down_proj.q_scale
                                                                  
[0255/0405] saving model.layers.23.mlp.gate_up_proj.q_weight
                                                                  
[0256/0405] saving model.layers.23.mlp.gate_up_proj.q_scale
                                                                  
[0257/0405] saving model.layers.23.post_attention_layernorm.weight
                                                                  
[0258/0405] saving model.layers.23.self_attn.qkv_proj.q_weight
                                                                  
[0259/0405] saving model.layers.23.self_attn.qkv_proj.q_scale
                                                                  
[0260/0405] saving model.layers.23.self_attn.o_proj.q_weight
                                                                  
[0261/0405] saving model.layers.23.self_attn.o_proj.q_scale
                                                                  
[0262/0405] saving model.layers.24.input_layernorm.weight
                                                                  
[0263/0405] saving model.layers.24.mlp.down_proj.q_weight
                                                                  
[0264/0405] saving model.layers.24.mlp.down_proj.q_scale
                                                                  
[0265/0405] saving model.layers.24.mlp.gate_up_proj.q_weight
                                                                  
[0266/0405] saving model.layers.24.mlp.gate_up_proj.q_scale
                                                                  
[0267/0405] saving model.layers.24.post_attention_layernorm.weight
                                                                  
[0268/0405] saving model.layers.24.self_attn.qkv_proj.q_weight
                                                                  
[0269/0405] saving model.layers.24.self_attn.qkv_proj.q_scale
                                                                  
[0270/0405] saving model.layers.24.self_attn.o_proj.q_weight
                                                                  
[0271/0405] saving model.layers.24.self_attn.o_proj.q_scale
                                                                  
[0272/0405] saving model.layers.25.input_layernorm.weight
                                                                  
[0273/0405] saving model.layers.25.mlp.down_proj.q_weight
                                                                  
[0274/0405] saving model.layers.25.mlp.down_proj.q_scale
                                                                  
[0275/0405] saving model.layers.25.mlp.gate_up_proj.q_weight
                                                                  
[0276/0405] saving model.layers.25.mlp.gate_up_proj.q_scale
                                                                  
[0277/0405] saving model.layers.25.post_attention_layernorm.weight
                                                                  
[0278/0405] saving model.layers.25.self_attn.qkv_proj.q_weight
                                                                  
[0279/0405] saving model.layers.25.self_attn.qkv_proj.q_scale
                                                                  
[0280/0405] saving model.layers.25.self_attn.o_proj.q_weight
                                                                  
[0281/0405] saving model.layers.25.self_attn.o_proj.q_scale
                                                                  
[0282/0405] saving model.layers.26.input_layernorm.weight
                                                                  
[0283/0405] saving model.layers.26.mlp.down_proj.q_weight
                                                                  
[0284/0405] saving model.layers.26.mlp.down_proj.q_scale
                                                                  
[0285/0405] saving model.layers.26.mlp.gate_up_proj.q_weight
                                                                  
[0286/0405] saving model.layers.26.mlp.gate_up_proj.q_scale
                                                                  
[0287/0405] saving model.layers.26.post_attention_layernorm.weight
                                                                  
[0288/0405] saving model.layers.26.self_attn.qkv_proj.q_weight
                                                                  
[0289/0405] saving model.layers.26.self_attn.qkv_proj.q_scale
                                                                  
[0290/0405] saving model.layers.26.self_attn.o_proj.q_weight
                                                                  
[0291/0405] saving model.layers.26.self_attn.o_proj.q_scale
                                                                  
[0292/0405] saving model.layers.27.input_layernorm.weight
                                                                  
[0293/0405] saving model.layers.27.mlp.down_proj.q_weight
                                                                  
[0294/0405] saving model.layers.27.mlp.down_proj.q_scale
                                                                  
[0295/0405] saving model.layers.27.mlp.gate_up_proj.q_weight
                                                                  
[0296/0405] saving model.layers.27.mlp.gate_up_proj.q_scale
                                                                  
[0297/0405] saving model.layers.27.post_attention_layernorm.weight
                                                                  
[0298/0405] saving model.layers.27.self_attn.qkv_proj.q_weight
                                                                  
[0299/0405] saving model.layers.27.self_attn.qkv_proj.q_scale
                                                                  
[0300/0405] saving model.layers.27.self_attn.o_proj.q_weight
                                                                  
[0301/0405] saving model.layers.27.self_attn.o_proj.q_scale
                                                                  
[0302/0405] saving model.layers.28.input_layernorm.weight
                                                                  
[0303/0405] saving model.layers.28.mlp.down_proj.q_weight
                                                                  
[0304/0405] saving model.layers.28.mlp.down_proj.q_scale
                                                                  
[0305/0405] saving model.layers.28.mlp.gate_up_proj.q_weight
                                                                  
[0306/0405] saving model.layers.28.mlp.gate_up_proj.q_scale
                                                                  
[0307/0405] saving model.layers.28.post_attention_layernorm.weight
                                                                  
[0308/0405] saving model.layers.28.self_attn.qkv_proj.q_weight
                                                                  
[0309/0405] saving model.layers.28.self_attn.qkv_proj.q_scale
                                                                  
[0310/0405] saving model.layers.28.self_attn.o_proj.q_weight
                                                                  
[0311/0405] saving model.layers.28.self_attn.o_proj.q_scale
                                                                  
[0312/0405] saving model.layers.29.input_layernorm.weight
                                                                  
[0313/0405] saving model.layers.29.mlp.down_proj.q_weight
                                                                  
[0314/0405] saving model.layers.29.mlp.down_proj.q_scale
                                                                  
[0315/0405] saving model.layers.29.mlp.gate_up_proj.q_weight
                                                                  
[0316/0405] saving model.layers.29.mlp.gate_up_proj.q_scale
                                                                  
[0317/0405] saving model.layers.29.post_attention_layernorm.weight
                                                                  
[0318/0405] saving model.layers.29.self_attn.qkv_proj.q_weight
                                                                  
[0319/0405] saving model.layers.29.self_attn.qkv_proj.q_scale
                                                                  
[0320/0405] saving model.layers.29.self_attn.o_proj.q_weight
                                                                  
[0321/0405] saving model.layers.29.self_attn.o_proj.q_scale
                                                                  
[0322/0405] saving model.layers.30.mlp.gate_up_proj.q_weight
                                                                  
[0323/0405] saving model.layers.30.mlp.gate_up_proj.q_scale
                                                                  
[0324/0405] saving model.layers.30.self_attn.qkv_proj.q_weight
                                                                  
[0325/0405] saving model.layers.30.self_attn.qkv_proj.q_scale
                                                                  
[0326/0405] saving model.layers.30.self_attn.o_proj.q_weight
                                                                  
[0327/0405] saving model.layers.30.self_attn.o_proj.q_scale
                                                                  
[0328/0405] saving model.layers.30.input_layernorm.weight
                                                                  
[0329/0405] saving model.layers.30.mlp.down_proj.q_weight
                                                                  
[0330/0405] saving model.layers.30.mlp.down_proj.q_scale
                                                                  
[0331/0405] saving model.layers.30.post_attention_layernorm.weight
                                                                  
[0332/0405] saving model.layers.31.input_layernorm.weight
                                                                  
[0333/0405] saving model.layers.31.mlp.down_proj.q_weight
                                                                  
[0334/0405] saving model.layers.31.mlp.down_proj.q_scale
                                                                  
[0335/0405] saving model.layers.31.mlp.gate_up_proj.q_weight
                                                                  
[0336/0405] saving model.layers.31.mlp.gate_up_proj.q_scale
                                                                  
[0337/0405] saving model.layers.31.post_attention_layernorm.weight
                                                                  
[0338/0405] saving model.layers.31.self_attn.qkv_proj.q_weight
                                                                  
[0339/0405] saving model.layers.31.self_attn.qkv_proj.q_scale
                                                                  
[0340/0405] saving model.layers.31.self_attn.o_proj.q_weight
                                                                  
[0341/0405] saving model.layers.31.self_attn.o_proj.q_scale
                                                                  
[0342/0405] saving model.layers.32.input_layernorm.weight
                                                                  
[0343/0405] saving model.layers.32.mlp.down_proj.q_weight
                                                                  
[0344/0405] saving model.layers.32.mlp.down_proj.q_scale
                                                                  
[0345/0405] saving model.layers.32.mlp.gate_up_proj.q_weight
                                                                  
[0346/0405] saving model.layers.32.mlp.gate_up_proj.q_scale
                                                                  
[0347/0405] saving model.layers.32.post_attention_layernorm.weight
                                                                  
[0348/0405] saving model.layers.32.self_attn.qkv_proj.q_weight
                                                                  
[0349/0405] saving model.layers.32.self_attn.qkv_proj.q_scale
                                                                  
[0350/0405] saving model.layers.32.self_attn.o_proj.q_weight
                                                                  
[0351/0405] saving model.layers.32.self_attn.o_proj.q_scale
                                                                  
[0352/0405] saving model.layers.33.input_layernorm.weight
                                                                  
[0353/0405] saving model.layers.33.mlp.down_proj.q_weight
                                                                  
[0354/0405] saving model.layers.33.mlp.down_proj.q_scale
                                                                  
[0355/0405] saving model.layers.33.mlp.gate_up_proj.q_weight
                                                                  
[0356/0405] saving model.layers.33.mlp.gate_up_proj.q_scale
                                                                  
[0357/0405] saving model.layers.33.post_attention_layernorm.weight
                                                                  
[0358/0405] saving model.layers.33.self_attn.qkv_proj.q_weight
                                                                  
[0359/0405] saving model.layers.33.self_attn.qkv_proj.q_scale
                                                                  
[0360/0405] saving model.layers.33.self_attn.o_proj.q_weight
                                                                  
[0361/0405] saving model.layers.33.self_attn.o_proj.q_scale
                                                                  
[0362/0405] saving model.layers.34.input_layernorm.weight
                                                                  
[0363/0405] saving model.layers.34.mlp.down_proj.q_weight
                                                                  
[0364/0405] saving model.layers.34.mlp.down_proj.q_scale
                                                                  
[0365/0405] saving model.layers.34.mlp.gate_up_proj.q_weight
                                                                  
[0366/0405] saving model.layers.34.mlp.gate_up_proj.q_scale
                                                                  
[0367/0405] saving model.layers.34.post_attention_layernorm.weight
                                                                  
[0368/0405] saving model.layers.34.self_attn.qkv_proj.q_weight
                                                                  
[0369/0405] saving model.layers.34.self_attn.qkv_proj.q_scale
                                                                  
[0370/0405] saving model.layers.34.self_attn.o_proj.q_weight
                                                                  
[0371/0405] saving model.layers.34.self_attn.o_proj.q_scale
                                                                  
[0372/0405] saving model.layers.35.input_layernorm.weight
                                                                  
[0373/0405] saving model.layers.35.mlp.down_proj.q_weight
                                                                  
[0374/0405] saving model.layers.35.mlp.down_proj.q_scale
                                                                  
[0375/0405] saving model.layers.35.mlp.gate_up_proj.q_weight
                                                                  
[0376/0405] saving model.layers.35.mlp.gate_up_proj.q_scale
                                                                  
[0377/0405] saving model.layers.35.post_attention_layernorm.weight
                                                                  
[0378/0405] saving model.layers.35.self_attn.qkv_proj.q_weight
                                                                  
[0379/0405] saving model.layers.35.self_attn.qkv_proj.q_scale
                                                                  
[0380/0405] saving model.layers.35.self_attn.o_proj.q_weight
                                                                  
[0381/0405] saving model.layers.35.self_attn.o_proj.q_scale
                                                                  
[0382/0405] saving model.layers.36.input_layernorm.weight
                                                                  
[0383/0405] saving model.layers.36.mlp.down_proj.q_weight
                                                                  
[0384/0405] saving model.layers.36.mlp.down_proj.q_scale
                                                                  
[0385/0405] saving model.layers.36.mlp.gate_up_proj.q_weight
                                                                  
[0386/0405] saving model.layers.36.mlp.gate_up_proj.q_scale[2023-12-17 15:59:22] INFO convert_weight.py:131: Saved to directory: /tmp/tmp25d3sfci
+
                                                                  
[0387/0405] saving model.layers.36.post_attention_layernorm.weight
                                                                  
[0388/0405] saving model.layers.36.self_attn.qkv_proj.q_weight
                                                                  
[0389/0405] saving model.layers.36.self_attn.qkv_proj.q_scale
                                                                  
[0390/0405] saving model.layers.36.self_attn.o_proj.q_weight
                                                                  
[0391/0405] saving model.layers.36.self_attn.o_proj.q_scale
                                                                  
[0392/0405] saving model.layers.37.input_layernorm.weight
                                                                  
[0393/0405] saving model.layers.37.mlp.down_proj.q_weight
                                                                  
[0394/0405] saving model.layers.37.mlp.down_proj.q_scale
                                                                  
[0395/0405] saving model.layers.37.mlp.gate_up_proj.q_weight
                                                                  
[0396/0405] saving model.layers.37.mlp.gate_up_proj.q_scale
                                                                  
[0397/0405] saving model.layers.37.post_attention_layernorm.weight
                                                                  
[0398/0405] saving model.layers.37.self_attn.qkv_proj.q_weight
                                                                  
[0399/0405] saving model.layers.37.self_attn.qkv_proj.q_scale
                                                                  
[0400/0405] saving model.layers.37.self_attn.o_proj.q_weight
                                                                  
[0401/0405] saving model.layers.37.self_attn.o_proj.q_scale
                                                                  
[0402/0405] saving model.layers.38.self_attn.qkv_proj.q_weight
                                                                  
[0403/0405] saving model.layers.38.self_attn.qkv_proj.q_scale
                                                                  
[0404/0405] saving model.layers.38.self_attn.o_proj.q_weight
                                                                  
[0405/0405] saving model.layers.38.self_attn.o_proj.q_scale
+All finished, 164 total shards committed, record saved to /tmp/tmp25d3sfci/ndarray-cache.json