python -m mlc_chat gen_config /ssd1/cfruan/mlc-llm-repos/mlc-llm-head/dist/models/gpt2 --quantization q0f16 --conv-template gpt2 --output /tmp/tmpif4lzkrt
[2023-12-28 08:13:57] INFO auto_config.py:115: Found model configuration: /ssd1/cfruan/mlc-llm-repos/mlc-llm-head/dist/models/gpt2/config.json
[2023-12-28 08:13:57] INFO auto_config.py:151: Found model type: gpt2. Use `--model-type` to override.
[2023-12-28 08:13:57] INFO gpt2_model.py:44: context_window_size not found in config.json. Falling back to n_positions (1024)
[2023-12-28 08:13:57] INFO gen_config.py:115: [generation_config.json] Setting bos_token_id: 50256
[2023-12-28 08:13:57] INFO gen_config.py:115: [generation_config.json] Setting eos_token_id: 50256
[2023-12-28 08:13:57] INFO gen_config.py:129: Not found tokenizer config: /ssd1/cfruan/mlc-llm-repos/mlc-llm-head/dist/models/gpt2/tokenizer.model
[2023-12-28 08:13:57] INFO gen_config.py:127: Found tokenizer config: /ssd1/cfruan/mlc-llm-repos/mlc-llm-head/dist/models/gpt2/tokenizer.json. Copying to /tmp/tmpif4lzkrt/tokenizer.json
[2023-12-28 08:13:57] INFO gen_config.py:127: Found tokenizer config: /ssd1/cfruan/mlc-llm-repos/mlc-llm-head/dist/models/gpt2/vocab.json. Copying to /tmp/tmpif4lzkrt/vocab.json
[2023-12-28 08:13:57] INFO gen_config.py:127: Found tokenizer config: /ssd1/cfruan/mlc-llm-repos/mlc-llm-head/dist/models/gpt2/merges.txt. Copying to /tmp/tmpif4lzkrt/merges.txt
[2023-12-28 08:13:57] INFO gen_config.py:129: Not found tokenizer config: /ssd1/cfruan/mlc-llm-repos/mlc-llm-head/dist/models/gpt2/added_tokens.json
[2023-12-28 08:13:57] INFO gen_config.py:129: Not found tokenizer config: /ssd1/cfruan/mlc-llm-repos/mlc-llm-head/dist/models/gpt2/tokenizer_config.json
[2023-12-28 08:13:57] INFO gen_config.py:69: [System default] Setting pad_token_id: 0
[2023-12-28 08:13:57] INFO gen_config.py:69: [System default] Setting temperature: 0.7
[2023-12-28 08:13:57] INFO gen_config.py:69: [System default] Setting repetition_penalty: 1.0
[2023-12-28 08:13:57] INFO gen_config.py:69: [System default] Setting top_p: 0.95
[2023-12-28 08:13:57] INFO gen_config.py:69: [System default] Setting mean_gen_len: 128
[2023-12-28 08:13:57] INFO gen_config.py:69: [System default] Setting max_gen_len: 512
[2023-12-28 08:13:57] INFO gen_config.py:69: [System default] Setting shift_fill_factor: 0.3
[2023-12-28 08:13:57] INFO gen_config.py:157: Dumping configuration file to: /tmp/tmpif4lzkrt/mlc-chat-config.json
python -m mlc_chat convert_weight /ssd1/cfruan/mlc-llm-repos/mlc-llm-head/dist/models/gpt2 --quantization q0f16 --source-format auto --output /tmp/tmpif4lzkrt
[2023-12-28 08:13:57] INFO auto_config.py:115: Found model configuration: /ssd1/cfruan/mlc-llm-repos/mlc-llm-head/dist/models/gpt2/config.json
[2023-12-28 08:13:57] INFO auto_device.py:75: Found device: cuda:0
[2023-12-28 08:13:57] INFO auto_device.py:75: Found device: cuda:1
[2023-12-28 08:13:58] INFO auto_device.py:84: Not found device: rocm:0
[2023-12-28 08:13:58] INFO auto_device.py:84: Not found device: metal:0
[2023-12-28 08:13:58] INFO auto_device.py:75: Found device: vulkan:0
[2023-12-28 08:13:58] INFO auto_device.py:75: Found device: vulkan:1
[2023-12-28 08:13:58] INFO auto_device.py:75: Found device: vulkan:2
[2023-12-28 08:13:58] INFO auto_device.py:84: Not found device: opencl:0
[2023-12-28 08:13:58] INFO auto_device.py:33: Using device: cuda:0
[2023-12-28 08:13:58] INFO auto_weight.py:70: Finding weights in: /ssd1/cfruan/mlc-llm-repos/mlc-llm-head/dist/models/gpt2
[2023-12-28 08:13:58] INFO auto_weight.py:129: Found source weight format: huggingface-torch. Source configuration: /ssd1/cfruan/mlc-llm-repos/mlc-llm-head/dist/models/gpt2/pytorch_model.bin
[2023-12-28 08:13:58] INFO auto_weight.py:149: Not found Huggingface Safetensor
[2023-12-28 08:13:58] INFO auto_weight.py:106: Using source weight configuration: /ssd1/cfruan/mlc-llm-repos/mlc-llm-head/dist/models/gpt2/pytorch_model.bin. Use `--source` to override.
[2023-12-28 08:13:58] INFO auto_weight.py:110: Using source weight format: huggingface-torch. Use `--source-format` to override.
[2023-12-28 08:13:58] INFO auto_config.py:151: Found model type: gpt2. Use `--model-type` to override.
[2023-12-28 08:13:58] INFO gpt2_model.py:44: context_window_size not found in config.json. Falling back to n_positions (1024)
[2023-12-28 08:13:59] INFO huggingface_loader.py:169: Loading HF parameters from: /ssd1/cfruan/mlc-llm-repos/mlc-llm-head/dist/models/gpt2/pytorch_model.bin
Weight conversion with arguments:
  --config          /ssd1/cfruan/mlc-llm-repos/mlc-llm-head/dist/models/gpt2/config.json
  --quantization    NoQuantize(name='q0f16', kind='no-quant', model_dtype='float16')
  --model-type      gpt2
  --device          cuda:0
  --source          /ssd1/cfruan/mlc-llm-repos/mlc-llm-head/dist/models/gpt2/pytorch_model.bin
  --source-format   huggingface-torch
  --output          /tmp/tmpif4lzkrt

  0%|                                                                                                                                                                                                                                                                             | 0/149 [00:00<?, ?it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "lm_head.weight", shape: (50257, 768), dtype: float16

  0%|                                                                                                                                                                                                                                                                             | 0/149 [00:00<?, ?it/s]
  1%|█▊                                                                                                                                                                                                                                                                   | 1/149 [00:00<00:36,  4.05it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.wte.weight", shape: (50257, 768), dtype: float16

  1%|█▊                                                                                                                                                                                                                                                                   | 1/149 [00:00<00:36,  4.05it/s]
  1%|███▌                                                                                                                                                                                                                                                                 | 2/149 [00:00<00:35,  4.13it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.wpe.weight", shape: (1024, 768), dtype: float16

  1%|███▌                                                                                                                                                                                                                                                                 | 2/149 [00:00<00:35,  4.13it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.0.ln_1.weight", shape: (768,), dtype: float16

  1%|███▌                                                                                                                                                                                                                                                                 | 2/149 [00:00<00:35,  4.13it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.0.ln_1.bias", shape: (768,), dtype: float16

  1%|███▌                                                                                                                                                                                                                                                                 | 2/149 [00:00<00:35,  4.13it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.0.attn.c_attn.weight", shape: (2304, 768), dtype: float16

  1%|███▌                                                                                                                                                                                                                                                                 | 2/149 [00:00<00:35,  4.13it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.0.attn.c_attn.bias", shape: (2304,), dtype: float16

  1%|███▌                                                                                                                                                                                                                                                                 | 2/149 [00:00<00:35,  4.13it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.0.attn.c_proj.weight", shape: (768, 768), dtype: float16

  1%|███▌                                                                                                                                                                                                                                                                 | 2/149 [00:00<00:35,  4.13it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.0.attn.c_proj.bias", shape: (768,), dtype: float16

  1%|███▌                                                                                                                                                                                                                                                                 | 2/149 [00:00<00:35,  4.13it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.0.ln_2.weight", shape: (768,), dtype: float16

  1%|███▌                                                                                                                                                                                                                                                                 | 2/149 [00:00<00:35,  4.13it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.0.ln_2.bias", shape: (768,), dtype: float16

  1%|███▌                                                                                                                                                                                                                                                                 | 2/149 [00:00<00:35,  4.13it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.0.mlp.c_fc.weight", shape: (3072, 768), dtype: float16

  1%|███▌                                                                                                                                                                                                                                                                 | 2/149 [00:00<00:35,  4.13it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.0.mlp.c_fc.bias", shape: (3072,), dtype: float16

  1%|███▌                                                                                                                                                                                                                                                                 | 2/149 [00:00<00:35,  4.13it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.0.mlp.c_proj.weight", shape: (768, 3072), dtype: float16

  1%|███▌                                                                                                                                                                                                                                                                 | 2/149 [00:00<00:35,  4.13it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.0.mlp.c_proj.bias", shape: (768,), dtype: float16

  1%|███▌                                                                                                                                                                                                                                                                 | 2/149 [00:00<00:35,  4.13it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.1.ln_1.weight", shape: (768,), dtype: float16

  1%|███▌                                                                                                                                                                                                                                                                 | 2/149 [00:00<00:35,  4.13it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.1.ln_1.bias", shape: (768,), dtype: float16

  1%|███▌                                                                                                                                                                                                                                                                 | 2/149 [00:00<00:35,  4.13it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.1.attn.c_attn.weight", shape: (2304, 768), dtype: float16

  1%|███▌                                                                                                                                                                                                                                                                 | 2/149 [00:00<00:35,  4.13it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.1.attn.c_attn.bias", shape: (2304,), dtype: float16

  1%|███▌                                                                                                                                                                                                                                                                 | 2/149 [00:00<00:35,  4.13it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.1.attn.c_proj.weight", shape: (768, 768), dtype: float16

  1%|███▌                                                                                                                                                                                                                                                                 | 2/149 [00:00<00:35,  4.13it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.1.attn.c_proj.bias", shape: (768,), dtype: float16

  1%|███▌                                                                                                                                                                                                                                                                 | 2/149 [00:00<00:35,  4.13it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.1.ln_2.weight", shape: (768,), dtype: float16

  1%|███▌                                                                                                                                                                                                                                                                 | 2/149 [00:00<00:35,  4.13it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.1.ln_2.bias", shape: (768,), dtype: float16

  1%|███▌                                                                                                                                                                                                                                                                 | 2/149 [00:00<00:35,  4.13it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.1.mlp.c_fc.weight", shape: (3072, 768), dtype: float16

  1%|███▌                                                                                                                                                                                                                                                                 | 2/149 [00:00<00:35,  4.13it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.1.mlp.c_fc.bias", shape: (3072,), dtype: float16

  1%|███▌                                                                                                                                                                                                                                                                 | 2/149 [00:00<00:35,  4.13it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.1.mlp.c_proj.weight", shape: (768, 3072), dtype: float16

  1%|███▌                                                                                                                                                                                                                                                                 | 2/149 [00:00<00:35,  4.13it/s]
 17%|█████████████████████████████████████████████▎                                                                                                                                                                                                                      | 26/149 [00:00<00:01, 64.25it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.1.mlp.c_proj.bias", shape: (768,), dtype: float16

 17%|█████████████████████████████████████████████▎                                                                                                                                                                                                                      | 26/149 [00:00<00:01, 64.25it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.2.ln_1.weight", shape: (768,), dtype: float16

 17%|█████████████████████████████████████████████▎                                                                                                                                                                                                                      | 26/149 [00:00<00:01, 64.25it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.2.ln_1.bias", shape: (768,), dtype: float16

 17%|█████████████████████████████████████████████▎                                                                                                                                                                                                                      | 26/149 [00:00<00:01, 64.25it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.2.attn.c_attn.weight", shape: (2304, 768), dtype: float16

 17%|█████████████████████████████████████████████▎                                                                                                                                                                                                                      | 26/149 [00:00<00:01, 64.25it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.2.attn.c_attn.bias", shape: (2304,), dtype: float16

 17%|█████████████████████████████████████████████▎                                                                                                                                                                                                                      | 26/149 [00:00<00:01, 64.25it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.2.attn.c_proj.weight", shape: (768, 768), dtype: float16

 17%|█████████████████████████████████████████████▎                                                                                                                                                                                                                      | 26/149 [00:00<00:01, 64.25it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.2.attn.c_proj.bias", shape: (768,), dtype: float16

 17%|█████████████████████████████████████████████▎                                                                                                                                                                                                                      | 26/149 [00:00<00:01, 64.25it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.2.ln_2.weight", shape: (768,), dtype: float16

 17%|█████████████████████████████████████████████▎                                                                                                                                                                                                                      | 26/149 [00:00<00:01, 64.25it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.2.ln_2.bias", shape: (768,), dtype: float16

 17%|█████████████████████████████████████████████▎                                                                                                                                                                                                                      | 26/149 [00:00<00:01, 64.25it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.2.mlp.c_fc.weight", shape: (3072, 768), dtype: float16

 17%|█████████████████████████████████████████████▎                                                                                                                                                                                                                      | 26/149 [00:00<00:01, 64.25it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.2.mlp.c_fc.bias", shape: (3072,), dtype: float16

 17%|█████████████████████████████████████████████▎                                                                                                                                                                                                                      | 26/149 [00:00<00:01, 64.25it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.2.mlp.c_proj.weight", shape: (768, 3072), dtype: float16

 17%|█████████████████████████████████████████████▎                                                                                                                                                                                                                      | 26/149 [00:00<00:01, 64.25it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.2.mlp.c_proj.bias", shape: (768,), dtype: float16

 17%|█████████████████████████████████████████████▎                                                                                                                                                                                                                      | 26/149 [00:00<00:01, 64.25it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.3.ln_1.weight", shape: (768,), dtype: float16

 17%|█████████████████████████████████████████████▎                                                                                                                                                                                                                      | 26/149 [00:00<00:01, 64.25it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.3.ln_1.bias", shape: (768,), dtype: float16

 17%|█████████████████████████████████████████████▎                                                                                                                                                                                                                      | 26/149 [00:00<00:01, 64.25it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.3.attn.c_attn.weight", shape: (2304, 768), dtype: float16

 17%|█████████████████████████████████████████████▎                                                                                                                                                                                                                      | 26/149 [00:00<00:01, 64.25it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.3.attn.c_attn.bias", shape: (2304,), dtype: float16

 17%|█████████████████████████████████████████████▎                                                                                                                                                                                                                      | 26/149 [00:00<00:01, 64.25it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.3.attn.c_proj.weight", shape: (768, 768), dtype: float16

 17%|█████████████████████████████████████████████▎                                                                                                                                                                                                                      | 26/149 [00:00<00:01, 64.25it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.3.attn.c_proj.bias", shape: (768,), dtype: float16

 17%|█████████████████████████████████████████████▎                                                                                                                                                                                                                      | 26/149 [00:00<00:01, 64.25it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.3.ln_2.weight", shape: (768,), dtype: float16

 17%|█████████████████████████████████████████████▎                                                                                                                                                                                                                      | 26/149 [00:00<00:01, 64.25it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.3.ln_2.bias", shape: (768,), dtype: float16

 17%|█████████████████████████████████████████████▎                                                                                                                                                                                                                      | 26/149 [00:00<00:01, 64.25it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.3.mlp.c_fc.weight", shape: (3072, 768), dtype: float16

 17%|█████████████████████████████████████████████▎                                                                                                                                                                                                                      | 26/149 [00:00<00:01, 64.25it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.3.mlp.c_fc.bias", shape: (3072,), dtype: float16

 17%|█████████████████████████████████████████████▎                                                                                                                                                                                                                      | 26/149 [00:00<00:01, 64.25it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.3.mlp.c_proj.weight", shape: (768, 3072), dtype: float16

 17%|█████████████████████████████████████████████▎                                                                                                                                                                                                                      | 26/149 [00:00<00:01, 64.25it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.3.mlp.c_proj.bias", shape: (768,), dtype: float16

 17%|█████████████████████████████████████████████▎                                                                                                                                                                                                                      | 26/149 [00:00<00:01, 64.25it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.4.ln_1.weight", shape: (768,), dtype: float16

 17%|█████████████████████████████████████████████▎                                                                                                                                                                                                                      | 26/149 [00:00<00:01, 64.25it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.4.ln_1.bias", shape: (768,), dtype: float16

 17%|█████████████████████████████████████████████▎                                                                                                                                                                                                                      | 26/149 [00:00<00:01, 64.25it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.4.attn.c_attn.weight", shape: (2304, 768), dtype: float16

 17%|█████████████████████████████████████████████▎                                                                                                                                                                                                                      | 26/149 [00:00<00:01, 64.25it/s]
 36%|█████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                     | 54/149 [00:00<00:00, 119.07it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.4.attn.c_attn.bias", shape: (2304,), dtype: float16

 36%|█████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                     | 54/149 [00:00<00:00, 119.07it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.4.attn.c_proj.weight", shape: (768, 768), dtype: float16

 36%|█████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                     | 54/149 [00:00<00:00, 119.07it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.4.attn.c_proj.bias", shape: (768,), dtype: float16

 36%|█████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                     | 54/149 [00:00<00:00, 119.07it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.4.ln_2.weight", shape: (768,), dtype: float16

 36%|█████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                     | 54/149 [00:00<00:00, 119.07it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.4.ln_2.bias", shape: (768,), dtype: float16

 36%|█████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                     | 54/149 [00:00<00:00, 119.07it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.4.mlp.c_fc.weight", shape: (3072, 768), dtype: float16

 36%|█████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                     | 54/149 [00:00<00:00, 119.07it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.4.mlp.c_fc.bias", shape: (3072,), dtype: float16

 36%|█████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                     | 54/149 [00:00<00:00, 119.07it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.4.mlp.c_proj.weight", shape: (768, 3072), dtype: float16

 36%|█████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                     | 54/149 [00:00<00:00, 119.07it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.4.mlp.c_proj.bias", shape: (768,), dtype: float16

 36%|█████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                     | 54/149 [00:00<00:00, 119.07it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.5.ln_1.weight", shape: (768,), dtype: float16

 36%|█████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                     | 54/149 [00:00<00:00, 119.07it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.5.ln_1.bias", shape: (768,), dtype: float16

 36%|█████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                     | 54/149 [00:00<00:00, 119.07it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.5.attn.c_attn.weight", shape: (2304, 768), dtype: float16

 36%|█████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                     | 54/149 [00:00<00:00, 119.07it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.5.attn.c_attn.bias", shape: (2304,), dtype: float16

 36%|█████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                     | 54/149 [00:00<00:00, 119.07it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.5.attn.c_proj.weight", shape: (768, 768), dtype: float16

 36%|█████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                     | 54/149 [00:00<00:00, 119.07it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.5.attn.c_proj.bias", shape: (768,), dtype: float16

 36%|█████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                     | 54/149 [00:00<00:00, 119.07it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.5.ln_2.weight", shape: (768,), dtype: float16

 36%|█████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                     | 54/149 [00:00<00:00, 119.07it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.5.ln_2.bias", shape: (768,), dtype: float16

 36%|█████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                     | 54/149 [00:00<00:00, 119.07it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.5.mlp.c_fc.weight", shape: (3072, 768), dtype: float16

 36%|█████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                     | 54/149 [00:00<00:00, 119.07it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.5.mlp.c_fc.bias", shape: (3072,), dtype: float16

 36%|█████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                     | 54/149 [00:00<00:00, 119.07it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.5.mlp.c_proj.weight", shape: (768, 3072), dtype: float16

 36%|█████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                     | 54/149 [00:00<00:00, 119.07it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.5.mlp.c_proj.bias", shape: (768,), dtype: float16

 36%|█████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                     | 54/149 [00:00<00:00, 119.07it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.6.ln_1.weight", shape: (768,), dtype: float16

 36%|█████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                     | 54/149 [00:00<00:00, 119.07it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.6.ln_1.bias", shape: (768,), dtype: float16

 36%|█████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                     | 54/149 [00:00<00:00, 119.07it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.6.attn.c_attn.weight", shape: (2304, 768), dtype: float16

 36%|█████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                     | 54/149 [00:00<00:00, 119.07it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.6.attn.c_attn.bias", shape: (2304,), dtype: float16

 36%|█████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                     | 54/149 [00:00<00:00, 119.07it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.6.attn.c_proj.weight", shape: (768, 768), dtype: float16

 36%|█████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                     | 54/149 [00:00<00:00, 119.07it/s]
 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 80/149 [00:00<00:00, 156.83it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.6.attn.c_proj.bias", shape: (768,), dtype: float16

 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 80/149 [00:00<00:00, 156.83it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.6.ln_2.weight", shape: (768,), dtype: float16

 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 80/149 [00:00<00:00, 156.83it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.6.ln_2.bias", shape: (768,), dtype: float16

 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 80/149 [00:00<00:00, 156.83it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.6.mlp.c_fc.weight", shape: (3072, 768), dtype: float16

 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 80/149 [00:00<00:00, 156.83it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.6.mlp.c_fc.bias", shape: (3072,), dtype: float16

 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 80/149 [00:00<00:00, 156.83it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.6.mlp.c_proj.weight", shape: (768, 3072), dtype: float16

 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 80/149 [00:00<00:00, 156.83it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.6.mlp.c_proj.bias", shape: (768,), dtype: float16

 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 80/149 [00:00<00:00, 156.83it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.7.ln_1.weight", shape: (768,), dtype: float16

 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 80/149 [00:00<00:00, 156.83it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.7.ln_1.bias", shape: (768,), dtype: float16

 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 80/149 [00:00<00:00, 156.83it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.7.attn.c_attn.weight", shape: (2304, 768), dtype: float16

 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 80/149 [00:00<00:00, 156.83it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.7.attn.c_attn.bias", shape: (2304,), dtype: float16

 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 80/149 [00:00<00:00, 156.83it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.7.attn.c_proj.weight", shape: (768, 768), dtype: float16

 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 80/149 [00:00<00:00, 156.83it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.7.attn.c_proj.bias", shape: (768,), dtype: float16

 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 80/149 [00:00<00:00, 156.83it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.7.ln_2.weight", shape: (768,), dtype: float16

 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 80/149 [00:00<00:00, 156.83it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.7.ln_2.bias", shape: (768,), dtype: float16

 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 80/149 [00:00<00:00, 156.83it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.7.mlp.c_fc.weight", shape: (3072, 768), dtype: float16

 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 80/149 [00:00<00:00, 156.83it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.7.mlp.c_fc.bias", shape: (3072,), dtype: float16

 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 80/149 [00:00<00:00, 156.83it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.7.mlp.c_proj.weight", shape: (768, 3072), dtype: float16

 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 80/149 [00:00<00:00, 156.83it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.7.mlp.c_proj.bias", shape: (768,), dtype: float16

 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 80/149 [00:00<00:00, 156.83it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.8.ln_1.weight", shape: (768,), dtype: float16

 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 80/149 [00:00<00:00, 156.83it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.8.ln_1.bias", shape: (768,), dtype: float16

 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 80/149 [00:00<00:00, 156.83it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.8.attn.c_attn.weight", shape: (2304, 768), dtype: float16

 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 80/149 [00:00<00:00, 156.83it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.8.attn.c_attn.bias", shape: (2304,), dtype: float16

 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 80/149 [00:00<00:00, 156.83it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.8.attn.c_proj.weight", shape: (768, 768), dtype: float16

 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 80/149 [00:00<00:00, 156.83it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.8.attn.c_proj.bias", shape: (768,), dtype: float16

 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 80/149 [00:00<00:00, 156.83it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.8.ln_2.weight", shape: (768,), dtype: float16

 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 80/149 [00:00<00:00, 156.83it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.8.ln_2.bias", shape: (768,), dtype: float16

 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 80/149 [00:00<00:00, 156.83it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.8.mlp.c_fc.weight", shape: (3072, 768), dtype: float16

 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 80/149 [00:00<00:00, 156.83it/s]
 72%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                       | 108/149 [00:00<00:00, 183.99it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.8.mlp.c_fc.bias", shape: (3072,), dtype: float16

 72%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                       | 108/149 [00:00<00:00, 183.99it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.8.mlp.c_proj.weight", shape: (768, 3072), dtype: float16

 72%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                       | 108/149 [00:00<00:00, 183.99it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.8.mlp.c_proj.bias", shape: (768,), dtype: float16

 72%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                       | 108/149 [00:00<00:00, 183.99it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.9.ln_1.weight", shape: (768,), dtype: float16

 72%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                       | 108/149 [00:00<00:00, 183.99it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.9.ln_1.bias", shape: (768,), dtype: float16

 72%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                       | 108/149 [00:00<00:00, 183.99it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.9.attn.c_attn.weight", shape: (2304, 768), dtype: float16

 72%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                       | 108/149 [00:00<00:00, 183.99it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.9.attn.c_attn.bias", shape: (2304,), dtype: float16

 72%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                       | 108/149 [00:00<00:00, 183.99it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.9.attn.c_proj.weight", shape: (768, 768), dtype: float16

 72%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                       | 108/149 [00:00<00:00, 183.99it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.9.attn.c_proj.bias", shape: (768,), dtype: float16

 72%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                       | 108/149 [00:00<00:00, 183.99it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.9.ln_2.weight", shape: (768,), dtype: float16

 72%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                       | 108/149 [00:00<00:00, 183.99it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.9.ln_2.bias", shape: (768,), dtype: float16

 72%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                       | 108/149 [00:00<00:00, 183.99it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.9.mlp.c_fc.weight", shape: (3072, 768), dtype: float16

 72%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                       | 108/149 [00:00<00:00, 183.99it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.9.mlp.c_fc.bias", shape: (3072,), dtype: float16

 72%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                       | 108/149 [00:00<00:00, 183.99it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.9.mlp.c_proj.weight", shape: (768, 3072), dtype: float16

 72%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                       | 108/149 [00:00<00:00, 183.99it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.9.mlp.c_proj.bias", shape: (768,), dtype: float16

 72%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                       | 108/149 [00:00<00:00, 183.99it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.10.ln_1.weight", shape: (768,), dtype: float16

 72%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                       | 108/149 [00:00<00:00, 183.99it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.10.ln_1.bias", shape: (768,), dtype: float16

 72%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                       | 108/149 [00:00<00:00, 183.99it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.10.attn.c_attn.weight", shape: (2304, 768), dtype: float16

 72%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                       | 108/149 [00:00<00:00, 183.99it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.10.attn.c_attn.bias", shape: (2304,), dtype: float16

 72%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                       | 108/149 [00:00<00:00, 183.99it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.10.attn.c_proj.weight", shape: (768, 768), dtype: float16

 72%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                       | 108/149 [00:00<00:00, 183.99it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.10.attn.c_proj.bias", shape: (768,), dtype: float16

 72%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                       | 108/149 [00:00<00:00, 183.99it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.10.ln_2.weight", shape: (768,), dtype: float16

 72%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                       | 108/149 [00:00<00:00, 183.99it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.10.ln_2.bias", shape: (768,), dtype: float16

 72%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                       | 108/149 [00:00<00:00, 183.99it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.10.mlp.c_fc.weight", shape: (3072, 768), dtype: float16

 72%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                       | 108/149 [00:01<00:00, 183.99it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.10.mlp.c_fc.bias", shape: (3072,), dtype: float16

 72%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                       | 108/149 [00:01<00:00, 183.99it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.10.mlp.c_proj.weight", shape: (768, 3072), dtype: float16

 72%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                       | 108/149 [00:01<00:00, 183.99it/s]
 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                          | 134/149 [00:01<00:00, 199.21it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.10.mlp.c_proj.bias", shape: (768,), dtype: float16

 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                          | 134/149 [00:01<00:00, 199.21it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.11.ln_1.weight", shape: (768,), dtype: float16

 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                          | 134/149 [00:01<00:00, 199.21it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.11.ln_1.bias", shape: (768,), dtype: float16

 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                          | 134/149 [00:01<00:00, 199.21it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.11.attn.c_attn.weight", shape: (2304, 768), dtype: float16

 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                          | 134/149 [00:01<00:00, 199.21it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.11.attn.c_attn.bias", shape: (2304,), dtype: float16

 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                          | 134/149 [00:01<00:00, 199.21it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.11.attn.c_proj.weight", shape: (768, 768), dtype: float16

 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                          | 134/149 [00:01<00:00, 199.21it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.11.attn.c_proj.bias", shape: (768,), dtype: float16

 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                          | 134/149 [00:01<00:00, 199.21it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.11.ln_2.weight", shape: (768,), dtype: float16

 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                          | 134/149 [00:01<00:00, 199.21it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.11.ln_2.bias", shape: (768,), dtype: float16

 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                          | 134/149 [00:01<00:00, 199.21it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.11.mlp.c_fc.weight", shape: (3072, 768), dtype: float16

 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                          | 134/149 [00:01<00:00, 199.21it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.11.mlp.c_fc.bias", shape: (3072,), dtype: float16

 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                          | 134/149 [00:01<00:00, 199.21it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.11.mlp.c_proj.weight", shape: (768, 3072), dtype: float16

 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                          | 134/149 [00:01<00:00, 199.21it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.11.mlp.c_proj.bias", shape: (768,), dtype: float16

 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                          | 134/149 [00:01<00:00, 199.21it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.ln_f.weight", shape: (768,), dtype: float16

 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                          | 134/149 [00:01<00:00, 199.21it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 08:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.ln_f.bias", shape: (768,), dtype: float16

 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                          | 134/149 [00:01<00:00, 199.21it/s]
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 149/149 [00:01<00:00, 138.80it/s]
[2023-12-28 08:14:02] INFO huggingface_loader.py:179: Unloading HF weight file: /ssd1/cfruan/mlc-llm-repos/mlc-llm-head/dist/models/gpt2/pytorch_model.bin
[2023-12-28 08:14:02] INFO stats.py:71: Time usage: HF loading: 2.135 sec; Pre-quantization mapping: 0.693 sec; Quantization: 0.000 sec
[2023-12-28 08:14:02] INFO stats.py:85: RAM usage: Peak RAM: 0.510 GB. Total bytes loaded from disk: 0.510 GB
[2023-12-28 08:14:02] INFO convert_weight.py:110: Parameter size after quantization: 0.304 GB
[2023-12-28 08:14:02] INFO convert_weight.py:115: Total parameters: 163,037,184
[2023-12-28 08:14:02] INFO convert_weight.py:116: Bits per parameter: 16.000
Start storing to cache /tmp/tmpif4lzkrt


[0001/0149] saving lm_head.weight
                                 
[0002/0149] saving transformer.wte.weight
                                         
[0003/0149] saving transformer.wpe.weight
                                         
[0004/0149] saving transformer.h.0.ln_1.weight
                                              
[0005/0149] saving transformer.h.0.ln_1.bias
                                              
[0006/0149] saving transformer.h.0.attn.c_attn.weight
                                                     
[0007/0149] saving transformer.h.0.attn.c_attn.bias
                                                     
[0008/0149] saving transformer.h.0.attn.c_proj.weight
                                                     
[0009/0149] saving transformer.h.0.attn.c_proj.bias
                                                     
[0010/0149] saving transformer.h.0.ln_2.weight
                                                     
[0011/0149] saving transformer.h.0.ln_2.bias
                                                     
[0012/0149] saving transformer.h.0.mlp.c_fc.weight
                                                     
[0013/0149] saving transformer.h.0.mlp.c_fc.bias
                                                     
[0014/0149] saving transformer.h.0.mlp.c_proj.weight
                                                     
[0015/0149] saving transformer.h.0.mlp.c_proj.bias
                                                     
[0016/0149] saving transformer.h.1.ln_1.weight
                                                     
[0017/0149] saving transformer.h.1.ln_1.bias
                                                     
[0018/0149] saving transformer.h.1.attn.c_attn.weight
                                                     
[0019/0149] saving transformer.h.1.attn.c_attn.bias
                                                     
[0020/0149] saving transformer.h.1.attn.c_proj.weight
                                                     
[0021/0149] saving transformer.h.1.attn.c_proj.bias
                                                     
[0022/0149] saving transformer.h.1.ln_2.weight
                                                     
[0023/0149] saving transformer.h.1.ln_2.bias
                                                     
[0024/0149] saving transformer.h.1.mlp.c_fc.weight
                                                     
[0025/0149] saving transformer.h.1.mlp.c_fc.bias
                                                     
[0026/0149] saving transformer.h.1.mlp.c_proj.weight
                                                     
[0027/0149] saving transformer.h.1.mlp.c_proj.bias
                                                     
[0028/0149] saving transformer.h.2.ln_1.weight
                                                     
[0029/0149] saving transformer.h.2.ln_1.bias
                                                     
[0030/0149] saving transformer.h.2.attn.c_attn.weight
                                                     
[0031/0149] saving transformer.h.2.attn.c_attn.bias
                                                     
[0032/0149] saving transformer.h.2.attn.c_proj.weight
                                                     
[0033/0149] saving transformer.h.2.attn.c_proj.bias
                                                     
[0034/0149] saving transformer.h.2.ln_2.weight
                                                     
[0035/0149] saving transformer.h.2.ln_2.bias
                                                     
[0036/0149] saving transformer.h.2.mlp.c_fc.weight
                                                     
[0037/0149] saving transformer.h.2.mlp.c_fc.bias
                                                     
[0038/0149] saving transformer.h.2.mlp.c_proj.weight
                                                     
[0039/0149] saving transformer.h.2.mlp.c_proj.bias
                                                     
[0040/0149] saving transformer.h.3.ln_1.weight
                                                     
[0041/0149] saving transformer.h.3.ln_1.bias
                                                     
[0042/0149] saving transformer.h.3.attn.c_attn.weight
                                                     
[0043/0149] saving transformer.h.3.attn.c_attn.bias
                                                     
[0044/0149] saving transformer.h.3.attn.c_proj.weight
                                                     
[0045/0149] saving transformer.h.3.attn.c_proj.bias
                                                     
[0046/0149] saving transformer.h.3.ln_2.weight
                                                     
[0047/0149] saving transformer.h.3.ln_2.bias
                                                     
[0048/0149] saving transformer.h.3.mlp.c_fc.weight
                                                     
[0049/0149] saving transformer.h.3.mlp.c_fc.bias
                                                     
[0050/0149] saving transformer.h.3.mlp.c_proj.weight
                                                     
[0051/0149] saving transformer.h.3.mlp.c_proj.bias
                                                     
[0052/0149] saving transformer.h.4.ln_1.weight
                                                     
[0053/0149] saving transformer.h.4.ln_1.bias
                                                     
[0054/0149] saving transformer.h.4.attn.c_attn.weight
                                                     
[0055/0149] saving transformer.h.4.attn.c_attn.bias
                                                     
[0056/0149] saving transformer.h.4.attn.c_proj.weight
                                                     
[0057/0149] saving transformer.h.4.attn.c_proj.bias
                                                     
[0058/0149] saving transformer.h.4.ln_2.weight
                                                     
[0059/0149] saving transformer.h.4.ln_2.bias
                                                     
[0060/0149] saving transformer.h.4.mlp.c_fc.weight
                                                     
[0061/0149] saving transformer.h.4.mlp.c_fc.bias
                                                     
[0062/0149] saving transformer.h.4.mlp.c_proj.weight
                                                     
[0063/0149] saving transformer.h.4.mlp.c_proj.bias
                                                     
[0064/0149] saving transformer.h.5.ln_1.weight
                                                     
[0065/0149] saving transformer.h.5.ln_1.bias
                                                     
[0066/0149] saving transformer.h.5.attn.c_attn.weight
                                                     
[0067/0149] saving transformer.h.5.attn.c_attn.bias
                                                     
[0068/0149] saving transformer.h.5.attn.c_proj.weight
                                                     
[0069/0149] saving transformer.h.5.attn.c_proj.bias
                                                     
[0070/0149] saving transformer.h.5.ln_2.weight
                                                     
[0071/0149] saving transformer.h.5.ln_2.bias
                                                     
[0072/0149] saving transformer.h.5.mlp.c_fc.weight
                                                     
[0073/0149] saving transformer.h.5.mlp.c_fc.bias
                                                     
[0074/0149] saving transformer.h.5.mlp.c_proj.weight
                                                     
[0075/0149] saving transformer.h.5.mlp.c_proj.bias
                                                     
[0076/0149] saving transformer.h.6.ln_1.weight
                                                     
[0077/0149] saving transformer.h.6.ln_1.bias
                                                     
[0078/0149] saving transformer.h.6.attn.c_attn.weight
                                                     
[0079/0149] saving transformer.h.6.attn.c_attn.bias[2023-12-28 08:14:03] INFO convert_weight.py:132: Saved to directory: /tmp/tmpif4lzkrt

                                                     
[0080/0149] saving transformer.h.6.attn.c_proj.weight
                                                     
[0081/0149] saving transformer.h.6.attn.c_proj.bias
                                                     
[0082/0149] saving transformer.h.6.ln_2.weight
                                                     
[0083/0149] saving transformer.h.6.ln_2.bias
                                                     
[0084/0149] saving transformer.h.6.mlp.c_fc.weight
                                                     
[0085/0149] saving transformer.h.6.mlp.c_fc.bias
                                                     
[0086/0149] saving transformer.h.6.mlp.c_proj.weight
                                                     
[0087/0149] saving transformer.h.6.mlp.c_proj.bias
                                                     
[0088/0149] saving transformer.h.7.ln_1.weight
                                                     
[0089/0149] saving transformer.h.7.ln_1.bias
                                                     
[0090/0149] saving transformer.h.7.attn.c_attn.weight
                                                     
[0091/0149] saving transformer.h.7.attn.c_attn.bias
                                                     
[0092/0149] saving transformer.h.7.attn.c_proj.weight
                                                     
[0093/0149] saving transformer.h.7.attn.c_proj.bias
                                                     
[0094/0149] saving transformer.h.7.ln_2.weight
                                                     
[0095/0149] saving transformer.h.7.ln_2.bias
                                                     
[0096/0149] saving transformer.h.7.mlp.c_fc.weight
                                                     
[0097/0149] saving transformer.h.7.mlp.c_fc.bias
                                                     
[0098/0149] saving transformer.h.7.mlp.c_proj.weight
                                                     
[0099/0149] saving transformer.h.7.mlp.c_proj.bias
                                                     
[0100/0149] saving transformer.h.8.ln_1.weight
                                                     
[0101/0149] saving transformer.h.8.ln_1.bias
                                                     
[0102/0149] saving transformer.h.8.attn.c_attn.weight
                                                     
[0103/0149] saving transformer.h.8.attn.c_attn.bias
                                                     
[0104/0149] saving transformer.h.8.attn.c_proj.weight
                                                     
[0105/0149] saving transformer.h.8.attn.c_proj.bias
                                                     
[0106/0149] saving transformer.h.8.ln_2.weight
                                                     
[0107/0149] saving transformer.h.8.ln_2.bias
                                                     
[0108/0149] saving transformer.h.8.mlp.c_fc.weight
                                                     
[0109/0149] saving transformer.h.8.mlp.c_fc.bias
                                                     
[0110/0149] saving transformer.h.8.mlp.c_proj.weight
                                                     
[0111/0149] saving transformer.h.8.mlp.c_proj.bias
                                                     
[0112/0149] saving transformer.h.9.ln_1.weight
                                                     
[0113/0149] saving transformer.h.9.ln_1.bias
                                                     
[0114/0149] saving transformer.h.9.attn.c_attn.weight
                                                     
[0115/0149] saving transformer.h.9.attn.c_attn.bias
                                                     
[0116/0149] saving transformer.h.9.attn.c_proj.weight
                                                     
[0117/0149] saving transformer.h.9.attn.c_proj.bias
                                                     
[0118/0149] saving transformer.h.9.ln_2.weight
                                                     
[0119/0149] saving transformer.h.9.ln_2.bias
                                                     
[0120/0149] saving transformer.h.9.mlp.c_fc.weight
                                                     
[0121/0149] saving transformer.h.9.mlp.c_fc.bias
                                                     
[0122/0149] saving transformer.h.9.mlp.c_proj.weight
                                                     
[0123/0149] saving transformer.h.9.mlp.c_proj.bias
                                                     
[0124/0149] saving transformer.h.10.ln_1.weight
                                                     
[0125/0149] saving transformer.h.10.ln_1.bias
                                                     
[0126/0149] saving transformer.h.10.attn.c_attn.weight
                                                      
[0127/0149] saving transformer.h.10.attn.c_attn.bias
                                                      
[0128/0149] saving transformer.h.10.attn.c_proj.weight
                                                      
[0129/0149] saving transformer.h.10.attn.c_proj.bias
                                                      
[0130/0149] saving transformer.h.10.ln_2.weight
                                                      
[0131/0149] saving transformer.h.10.ln_2.bias
                                                      
[0132/0149] saving transformer.h.10.mlp.c_fc.weight
                                                      
[0133/0149] saving transformer.h.10.mlp.c_fc.bias
                                                      
[0134/0149] saving transformer.h.10.mlp.c_proj.weight
                                                      
[0135/0149] saving transformer.h.10.mlp.c_proj.bias
                                                      
[0136/0149] saving transformer.h.11.ln_1.weight
                                                      
[0137/0149] saving transformer.h.11.ln_1.bias
                                                      
[0138/0149] saving transformer.h.11.attn.c_attn.weight
                                                      
[0139/0149] saving transformer.h.11.attn.c_attn.bias
                                                      
[0140/0149] saving transformer.h.11.attn.c_proj.weight
                                                      
[0141/0149] saving transformer.h.11.attn.c_proj.bias
                                                      
[0142/0149] saving transformer.h.11.ln_2.weight
                                                      
[0143/0149] saving transformer.h.11.ln_2.bias
                                                      
[0144/0149] saving transformer.h.11.mlp.c_fc.weight
                                                      
[0145/0149] saving transformer.h.11.mlp.c_fc.bias
                                                      
[0146/0149] saving transformer.h.11.mlp.c_proj.weight
                                                      
[0147/0149] saving transformer.h.11.mlp.c_proj.bias
                                                      
[0148/0149] saving transformer.ln_f.weight
                                                      
[0149/0149] saving transformer.ln_f.bias
All finished, 8 total shards committed, record saved to /tmp/tmpif4lzkrt/ndarray-cache.json