tobiaslee commited on
Commit
8ec44e9
1 Parent(s): b883af5
This view is limited to 50 files because it contains too many changes.   See raw diff
Files changed (50) hide show
  1. .gitattributes +1 -0
  2. qformer2_128/checkpoints/latest-checkpoint.pt +3 -0
  3. qformer2_128/config.json +60 -0
  4. qformer2_128/config.yaml +53 -0
  5. qformer2_128/qformer2_128.jsonl +0 -0
  6. qformer2_128/run-metrics.jsonl +1 -0
  7. qformer2_128/wandb/debug-internal.log +1 -0
  8. qformer2_128/wandb/debug.log +1 -0
  9. qformer2_128/wandb/latest-run +1 -0
  10. qformer2_128/wandb/run-20240312_142853-zo3nkbji/files/conda-environment.yaml +194 -0
  11. qformer2_128/wandb/run-20240312_142853-zo3nkbji/files/config.yaml +119 -0
  12. qformer2_128/wandb/run-20240312_142853-zo3nkbji/files/output.log +5203 -0
  13. qformer2_128/wandb/run-20240312_142853-zo3nkbji/files/requirements.txt +122 -0
  14. qformer2_128/wandb/run-20240312_142853-zo3nkbji/files/wandb-metadata.json +1360 -0
  15. qformer2_128/wandb/run-20240312_142853-zo3nkbji/files/wandb-summary.json +1 -0
  16. qformer2_128/wandb/run-20240312_142853-zo3nkbji/logs/debug-internal.log +0 -0
  17. qformer2_128/wandb/run-20240312_142853-zo3nkbji/logs/debug.log +34 -0
  18. qformer2_128/wandb/run-20240312_142853-zo3nkbji/run-zo3nkbji.wandb +3 -0
  19. qformer2_256/checkpoints/latest-checkpoint.pt +3 -0
  20. qformer2_256/config.json +60 -0
  21. qformer2_256/config.yaml +53 -0
  22. qformer2_256/qformer2_256.jsonl +0 -0
  23. qformer2_256/run-metrics.jsonl +1 -0
  24. qformer2_256/wandb/debug-internal.log +1 -0
  25. qformer2_256/wandb/debug.log +1 -0
  26. qformer2_256/wandb/latest-run +1 -0
  27. qformer2_256/wandb/run-20240312_142903-yrs4wcl6/files/conda-environment.yaml +194 -0
  28. qformer2_256/wandb/run-20240312_142903-yrs4wcl6/files/config.yaml +119 -0
  29. qformer2_256/wandb/run-20240312_142903-yrs4wcl6/files/output.log +5203 -0
  30. qformer2_256/wandb/run-20240312_142903-yrs4wcl6/files/requirements.txt +122 -0
  31. qformer2_256/wandb/run-20240312_142903-yrs4wcl6/files/wandb-metadata.json +1360 -0
  32. qformer2_256/wandb/run-20240312_142903-yrs4wcl6/files/wandb-summary.json +1 -0
  33. qformer2_256/wandb/run-20240312_142903-yrs4wcl6/logs/debug-internal.log +0 -0
  34. qformer2_256/wandb/run-20240312_142903-yrs4wcl6/logs/debug.log +34 -0
  35. qformer2_256/wandb/run-20240312_142903-yrs4wcl6/run-yrs4wcl6.wandb +3 -0
  36. qformer2_32/checkpoints/latest-checkpoint.pt +3 -0
  37. qformer2_32/config.json +60 -0
  38. qformer2_32/config.yaml +53 -0
  39. qformer2_32/qformer2_32.jsonl +0 -0
  40. qformer2_32/run-metrics.jsonl +1 -0
  41. qformer2_32/wandb/debug-internal.log +1 -0
  42. qformer2_32/wandb/debug.log +1 -0
  43. qformer2_32/wandb/latest-run +1 -0
  44. qformer2_32/wandb/run-20240312_142855-srovbvi2/files/conda-environment.yaml +194 -0
  45. qformer2_32/wandb/run-20240312_142855-srovbvi2/files/config.yaml +119 -0
  46. qformer2_32/wandb/run-20240312_142855-srovbvi2/files/output.log +5198 -0
  47. qformer2_32/wandb/run-20240312_142855-srovbvi2/files/requirements.txt +122 -0
  48. qformer2_32/wandb/run-20240312_142855-srovbvi2/files/wandb-metadata.json +1360 -0
  49. qformer2_32/wandb/run-20240312_142855-srovbvi2/files/wandb-summary.json +1 -0
  50. qformer2_32/wandb/run-20240312_142855-srovbvi2/logs/debug-internal.log +0 -0
.gitattributes CHANGED
@@ -33,3 +33,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
33
  *.zip filter=lfs diff=lfs merge=lfs -text
34
  *.zst filter=lfs diff=lfs merge=lfs -text
35
  *tfevents* filter=lfs diff=lfs merge=lfs -text
 
 
33
  *.zip filter=lfs diff=lfs merge=lfs -text
34
  *.zst filter=lfs diff=lfs merge=lfs -text
35
  *tfevents* filter=lfs diff=lfs merge=lfs -text
36
+ *.wandb filter=lfs diff=lfs merge=lfs -text
qformer2_128/checkpoints/latest-checkpoint.pt ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:6d4c74b79c6a0a254825b6fd9a8a9376c0972356dc57e58f270bba29110fdbe3
3
+ size 28822409398
qformer2_128/config.json ADDED
@@ -0,0 +1,60 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "dataset": {
3
+ "align_stage_components": [
4
+ "download/llava-laion-cc-sbu-558k/chat.json",
5
+ "download/llava-laion-cc-sbu-558k"
6
+ ],
7
+ "dataset_id": "llava-v15",
8
+ "dataset_root_dir": "data",
9
+ "finetune_stage_components": [
10
+ "download/llava-v1.5-instruct/llava_v1_5_mix665k.json",
11
+ "download/llava-v1.5-instruct"
12
+ ],
13
+ "type": "llava-v15"
14
+ },
15
+ "hf_token": ".hf_token",
16
+ "max_length": 4096,
17
+ "model": {
18
+ "align_epochs": 1,
19
+ "align_global_batch_size": 256,
20
+ "align_learning_rate": 0.001,
21
+ "align_lr_scheduler_type": "linear-warmup+cosine-decay",
22
+ "align_max_grad_norm": 1.0,
23
+ "align_max_steps": null,
24
+ "align_per_device_batch_size": 16,
25
+ "align_train_strategy": "fsdp-shard-grad-op",
26
+ "align_warmup_ratio": 0.03,
27
+ "align_weight_decay": 0.0,
28
+ "arch_specifier": "qformer2_128",
29
+ "enable_gradient_checkpointing": true,
30
+ "enable_mixed_precision_training": true,
31
+ "finetune_epochs": 1,
32
+ "finetune_global_batch_size": 128,
33
+ "finetune_learning_rate": 2e-05,
34
+ "finetune_lr_scheduler_type": "linear-warmup+cosine-decay",
35
+ "finetune_max_grad_norm": 1.0,
36
+ "finetune_max_steps": null,
37
+ "finetune_per_device_batch_size": 16,
38
+ "finetune_train_strategy": "fsdp-full-shard",
39
+ "finetune_warmup_ratio": 0.03,
40
+ "finetune_weight_decay": 0.1,
41
+ "image_resize_strategy": "letterbox",
42
+ "llm_backbone_id": "vicuna-v15-7b",
43
+ "llm_max_length": 2048,
44
+ "model_id": "one-stage+7b_qformer2_128",
45
+ "reduce_in_full_precision": false,
46
+ "type": "one-stage+7b",
47
+ "vision_backbone_id": "clip-vit-l-336px"
48
+ },
49
+ "pretrained_checkpoint": null,
50
+ "run_id": "qformer2_128",
51
+ "run_root_dir": "runs",
52
+ "seed": 7,
53
+ "stage": "finetune",
54
+ "trackers": [
55
+ "jsonl",
56
+ "wandb"
57
+ ],
58
+ "wandb_entity": "lilei_stones",
59
+ "wandb_project": "hf-vlms"
60
+ }
qformer2_128/config.yaml ADDED
@@ -0,0 +1,53 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ dataset:
2
+ align_stage_components:
3
+ - download/llava-laion-cc-sbu-558k/chat.json
4
+ - download/llava-laion-cc-sbu-558k
5
+ dataset_id: llava-v15
6
+ dataset_root_dir: data
7
+ finetune_stage_components:
8
+ - download/llava-v1.5-instruct/llava_v1_5_mix665k.json
9
+ - download/llava-v1.5-instruct
10
+ type: llava-v15
11
+ hf_token: .hf_token
12
+ max_length: 4096
13
+ model:
14
+ align_epochs: 1
15
+ align_global_batch_size: 256
16
+ align_learning_rate: 0.001
17
+ align_lr_scheduler_type: linear-warmup+cosine-decay
18
+ align_max_grad_norm: 1.0
19
+ align_max_steps: null
20
+ align_per_device_batch_size: 16
21
+ align_train_strategy: fsdp-shard-grad-op
22
+ align_warmup_ratio: 0.03
23
+ align_weight_decay: 0.0
24
+ arch_specifier: qformer2_128
25
+ enable_gradient_checkpointing: true
26
+ enable_mixed_precision_training: true
27
+ finetune_epochs: 1
28
+ finetune_global_batch_size: 128
29
+ finetune_learning_rate: 2.0e-05
30
+ finetune_lr_scheduler_type: linear-warmup+cosine-decay
31
+ finetune_max_grad_norm: 1.0
32
+ finetune_max_steps: null
33
+ finetune_per_device_batch_size: 16
34
+ finetune_train_strategy: fsdp-full-shard
35
+ finetune_warmup_ratio: 0.03
36
+ finetune_weight_decay: 0.1
37
+ image_resize_strategy: letterbox
38
+ llm_backbone_id: vicuna-v15-7b
39
+ llm_max_length: 2048
40
+ model_id: one-stage+7b_qformer2_128
41
+ reduce_in_full_precision: false
42
+ type: one-stage+7b
43
+ vision_backbone_id: clip-vit-l-336px
44
+ pretrained_checkpoint: null
45
+ run_id: qformer2_128
46
+ run_root_dir: runs
47
+ seed: 7
48
+ stage: finetune
49
+ trackers:
50
+ - jsonl
51
+ - wandb
52
+ wandb_entity: lilei_stones
53
+ wandb_project: hf-vlms
qformer2_128/qformer2_128.jsonl ADDED
The diff for this file is too large to render. See raw diff
 
qformer2_128/run-metrics.jsonl ADDED
@@ -0,0 +1 @@
 
 
1
+ {"hparams": {"dataset": {"align_stage_components": ["download/llava-laion-cc-sbu-558k/chat.json", "download/llava-laion-cc-sbu-558k"], "dataset_id": "llava-v15", "dataset_root_dir": "data", "finetune_stage_components": ["download/llava-v1.5-instruct/llava_v1_5_mix665k.json", "download/llava-v1.5-instruct"], "type": "llava-v15"}, "hf_token": ".hf_token", "max_length": 4096, "model": {"align_epochs": 1, "align_global_batch_size": 256, "align_learning_rate": 0.001, "align_lr_scheduler_type": "linear-warmup+cosine-decay", "align_max_grad_norm": 1.0, "align_max_steps": null, "align_per_device_batch_size": 16, "align_train_strategy": "fsdp-shard-grad-op", "align_warmup_ratio": 0.03, "align_weight_decay": 0.0, "arch_specifier": "qformer2_128", "enable_gradient_checkpointing": true, "enable_mixed_precision_training": true, "finetune_epochs": 1, "finetune_global_batch_size": 128, "finetune_learning_rate": 2e-05, "finetune_lr_scheduler_type": "linear-warmup+cosine-decay", "finetune_max_grad_norm": 1.0, "finetune_max_steps": null, "finetune_per_device_batch_size": 16, "finetune_train_strategy": "fsdp-full-shard", "finetune_warmup_ratio": 0.03, "finetune_weight_decay": 0.1, "image_resize_strategy": "letterbox", "llm_backbone_id": "vicuna-v15-7b", "llm_max_length": 2048, "model_id": "one-stage+7b_qformer2_128", "reduce_in_full_precision": false, "type": "one-stage+7b", "vision_backbone_id": "clip-vit-l-336px"}, "pretrained_checkpoint": null, "run_id": "qformer2_128", "run_root_dir": "runs", "seed": 7, "stage": "finetune", "trackers": ["jsonl", "wandb"], "wandb_entity": "lilei_stones", "wandb_project": "hf-vlms"}, "run_id": "qformer2_128"}
qformer2_128/wandb/debug-internal.log ADDED
@@ -0,0 +1 @@
 
 
1
+ run-20240312_142853-zo3nkbji/logs/debug-internal.log
qformer2_128/wandb/debug.log ADDED
@@ -0,0 +1 @@
 
 
1
+ run-20240312_142853-zo3nkbji/logs/debug.log
qformer2_128/wandb/latest-run ADDED
@@ -0,0 +1 @@
 
 
1
+ run-20240312_142853-zo3nkbji
qformer2_128/wandb/run-20240312_142853-zo3nkbji/files/conda-environment.yaml ADDED
@@ -0,0 +1,194 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ name: pvlm
2
+ channels:
3
+ - pytorch
4
+ - nvidia
5
+ - defaults
6
+ dependencies:
7
+ - _libgcc_mutex=0.1=main
8
+ - _openmp_mutex=5.1=1_gnu
9
+ - blas=1.0=mkl
10
+ - bzip2=1.0.8=h7b6447c_0
11
+ - ca-certificates=2023.12.12=h06a4308_0
12
+ - certifi=2024.2.2=py310h06a4308_0
13
+ - charset-normalizer=2.0.4=pyhd3eb1b0_0
14
+ - cuda-cudart=11.8.89=0
15
+ - cuda-cupti=11.8.87=0
16
+ - cuda-libraries=11.8.0=0
17
+ - cuda-nvrtc=11.8.89=0
18
+ - cuda-nvtx=11.8.86=0
19
+ - cuda-runtime=11.8.0=0
20
+ - ffmpeg=4.3=hf484d3e_0
21
+ - filelock=3.13.1=py310h06a4308_0
22
+ - freetype=2.12.1=h4a9f257_0
23
+ - gmp=6.2.1=h295c915_3
24
+ - gmpy2=2.1.2=py310heeb90bb_0
25
+ - gnutls=3.6.15=he1e5248_0
26
+ - idna=3.4=py310h06a4308_0
27
+ - intel-openmp=2023.1.0=hdb19cb5_46306
28
+ - jinja2=3.1.3=py310h06a4308_0
29
+ - jpeg=9e=h5eee18b_1
30
+ - lame=3.100=h7b6447c_0
31
+ - lcms2=2.12=h3be6417_0
32
+ - ld_impl_linux-64=2.38=h1181459_1
33
+ - lerc=3.0=h295c915_0
34
+ - libcublas=11.11.3.6=0
35
+ - libcufft=10.9.0.58=0
36
+ - libcufile=1.8.1.2=0
37
+ - libcurand=10.3.4.107=0
38
+ - libcusolver=11.4.1.48=0
39
+ - libcusparse=11.7.5.86=0
40
+ - libdeflate=1.17=h5eee18b_1
41
+ - libffi=3.4.4=h6a678d5_0
42
+ - libgcc-ng=11.2.0=h1234567_1
43
+ - libgomp=11.2.0=h1234567_1
44
+ - libiconv=1.16=h7f8727e_2
45
+ - libidn2=2.3.4=h5eee18b_0
46
+ - libjpeg-turbo=2.0.0=h9bf148f_0
47
+ - libnpp=11.8.0.86=0
48
+ - libnvjpeg=11.9.0.86=0
49
+ - libpng=1.6.39=h5eee18b_0
50
+ - libstdcxx-ng=11.2.0=h1234567_1
51
+ - libtasn1=4.19.0=h5eee18b_0
52
+ - libtiff=4.5.1=h6a678d5_0
53
+ - libunistring=0.9.10=h27cfd23_0
54
+ - libuuid=1.41.5=h5eee18b_0
55
+ - libwebp-base=1.3.2=h5eee18b_0
56
+ - llvm-openmp=14.0.6=h9e868ea_0
57
+ - lz4-c=1.9.4=h6a678d5_0
58
+ - markupsafe=2.1.3=py310h5eee18b_0
59
+ - mkl=2023.1.0=h213fc3f_46344
60
+ - mkl-service=2.4.0=py310h5eee18b_1
61
+ - mkl_fft=1.3.8=py310h5eee18b_0
62
+ - mkl_random=1.2.4=py310hdb19cb5_0
63
+ - mpc=1.1.0=h10f8cd9_1
64
+ - mpfr=4.0.2=hb69a4c5_1
65
+ - mpmath=1.3.0=py310h06a4308_0
66
+ - ncurses=6.4=h6a678d5_0
67
+ - nettle=3.7.3=hbbd107a_1
68
+ - networkx=3.1=py310h06a4308_0
69
+ - numpy=1.26.4=py310h5f9d8c6_0
70
+ - numpy-base=1.26.4=py310hb5e798b_0
71
+ - openh264=2.1.1=h4ff587b_0
72
+ - openjpeg=2.4.0=h3ad879b_0
73
+ - openssl=3.0.13=h7f8727e_0
74
+ - pillow=10.2.0=py310h5eee18b_0
75
+ - pip=23.3.1=py310h06a4308_0
76
+ - python=3.10.13=h955ad1f_0
77
+ - pytorch=2.2.1=py3.10_cuda11.8_cudnn8.7.0_0
78
+ - pytorch-cuda=11.8=h7e8668a_5
79
+ - pytorch-mutex=1.0=cuda
80
+ - pyyaml=6.0.1=py310h5eee18b_0
81
+ - readline=8.2=h5eee18b_0
82
+ - requests=2.31.0=py310h06a4308_1
83
+ - setuptools=68.2.2=py310h06a4308_0
84
+ - sqlite=3.41.2=h5eee18b_0
85
+ - sympy=1.12=py310h06a4308_0
86
+ - tbb=2021.8.0=hdb19cb5_0
87
+ - tk=8.6.12=h1ccaba5_0
88
+ - torchaudio=2.2.1=py310_cu118
89
+ - torchtriton=2.2.0=py310
90
+ - torchvision=0.17.1=py310_cu118
91
+ - typing_extensions=4.9.0=py310h06a4308_1
92
+ - urllib3=2.1.0=py310h06a4308_0
93
+ - wheel=0.41.2=py310h06a4308_0
94
+ - xz=5.4.5=h5eee18b_0
95
+ - yaml=0.2.5=h7b6447c_0
96
+ - zlib=1.2.13=h5eee18b_0
97
+ - zstd=1.5.5=hc292b87_0
98
+ - pip:
99
+ - accelerate==0.27.2
100
+ - aiohttp==3.9.3
101
+ - aiosignal==1.3.1
102
+ - annotated-types==0.6.0
103
+ - appdirs==1.4.4
104
+ - async-timeout==4.0.3
105
+ - attrs==23.2.0
106
+ - beautifulsoup4==4.12.3
107
+ - blis==0.7.11
108
+ - catalogue==2.0.10
109
+ - click==8.1.7
110
+ - cloudpathlib==0.16.0
111
+ - confection==0.1.4
112
+ - contourpy==1.2.0
113
+ - cycler==0.12.1
114
+ - cymem==2.0.8
115
+ - datasets==2.18.0
116
+ - deepspeed==0.13.4
117
+ - dill==0.3.8
118
+ - docker-pycreds==0.4.0
119
+ - draccus==0.7.1
120
+ - einops==0.7.0
121
+ - flash-attn==2.5.5
122
+ - fonttools==4.49.0
123
+ - frozenlist==1.4.1
124
+ - fsspec==2024.2.0
125
+ - gdown==5.1.0
126
+ - gitdb==4.0.11
127
+ - gitpython==3.1.42
128
+ - hjson==3.1.0
129
+ - huggingface-hub==0.20.3
130
+ - install==1.3.5
131
+ - jsonlines==4.0.0
132
+ - kiwisolver==1.4.5
133
+ - langcodes==3.3.0
134
+ - markdown-it-py==3.0.0
135
+ - matplotlib==3.8.3
136
+ - mdurl==0.1.2
137
+ - mergedeep==1.3.4
138
+ - multidict==6.0.5
139
+ - multiprocess==0.70.16
140
+ - murmurhash==1.0.10
141
+ - mypy-extensions==1.0.0
142
+ - ninja==1.11.1.1
143
+ - packaging==23.2
144
+ - pandas==2.2.1
145
+ - preshed==3.0.9
146
+ - prismatic==0.0.1
147
+ - protobuf==4.25.3
148
+ - psutil==5.9.8
149
+ - py-cpuinfo==9.0.0
150
+ - pyarrow==15.0.0
151
+ - pyarrow-hotfix==0.6
152
+ - pycocoevalcap==1.2
153
+ - pycocotools==2.0.7
154
+ - pydantic==2.6.3
155
+ - pydantic-core==2.16.3
156
+ - pygments==2.17.2
157
+ - pynvml==11.5.0
158
+ - pyparsing==3.1.1
159
+ - pysocks==1.7.1
160
+ - pythainlp==5.0.1
161
+ - python-dateutil==2.9.0.post0
162
+ - pytz==2024.1
163
+ - pyyaml-include==1.3.2
164
+ - regex==2023.12.25
165
+ - rich==13.7.0
166
+ - safetensors==0.4.2
167
+ - sentencepiece==0.2.0
168
+ - sentry-sdk==1.40.5
169
+ - setproctitle==1.3.3
170
+ - six==1.16.0
171
+ - smart-open==6.4.0
172
+ - smmap==5.0.1
173
+ - soupsieve==2.5
174
+ - spacy==3.7.4
175
+ - spacy-legacy==3.0.12
176
+ - spacy-loggers==1.0.5
177
+ - srsly==2.4.8
178
+ - sudachidict-core==20240109
179
+ - sudachipy==0.6.8
180
+ - thinc==8.2.3
181
+ - timm==0.9.16
182
+ - tokenizers==0.15.2
183
+ - toml==0.10.2
184
+ - tqdm==4.66.2
185
+ - transformers==4.38.1
186
+ - typer==0.9.0
187
+ - typing-inspect==0.9.0
188
+ - tzdata==2024.1
189
+ - wandb==0.16.3
190
+ - wasabi==1.1.2
191
+ - weasel==0.3.4
192
+ - xxhash==3.4.1
193
+ - yarl==1.9.4
194
+ prefix: /home/lilei/anaconda3/envs/pvlm
qformer2_128/wandb/run-20240312_142853-zo3nkbji/files/config.yaml ADDED
@@ -0,0 +1,119 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ wandb_version: 1
2
+
3
+ model:
4
+ desc: null
5
+ value:
6
+ type: one-stage+7b
7
+ model_id: one-stage+7b_qformer2_128
8
+ arch_specifier: qformer2_128
9
+ vision_backbone_id: clip-vit-l-336px
10
+ llm_backbone_id: vicuna-v15-7b
11
+ image_resize_strategy: letterbox
12
+ llm_max_length: 2048
13
+ align_epochs: 1
14
+ align_max_steps: null
15
+ align_global_batch_size: 256
16
+ align_per_device_batch_size: 16
17
+ align_learning_rate: 0.001
18
+ align_weight_decay: 0.0
19
+ align_max_grad_norm: 1.0
20
+ align_lr_scheduler_type: linear-warmup+cosine-decay
21
+ align_warmup_ratio: 0.03
22
+ align_train_strategy: fsdp-shard-grad-op
23
+ finetune_epochs: 1
24
+ finetune_max_steps: null
25
+ finetune_global_batch_size: 128
26
+ finetune_per_device_batch_size: 16
27
+ finetune_learning_rate: 2.0e-05
28
+ finetune_weight_decay: 0.1
29
+ finetune_max_grad_norm: 1.0
30
+ finetune_lr_scheduler_type: linear-warmup+cosine-decay
31
+ finetune_warmup_ratio: 0.03
32
+ finetune_train_strategy: fsdp-full-shard
33
+ enable_gradient_checkpointing: true
34
+ enable_mixed_precision_training: true
35
+ reduce_in_full_precision: false
36
+ dataset:
37
+ desc: null
38
+ value:
39
+ type: llava-v15
40
+ dataset_id: llava-v15
41
+ align_stage_components:
42
+ - download/llava-laion-cc-sbu-558k/chat.json
43
+ - download/llava-laion-cc-sbu-558k
44
+ finetune_stage_components:
45
+ - download/llava-v1.5-instruct/llava_v1_5_mix665k.json
46
+ - download/llava-v1.5-instruct
47
+ dataset_root_dir: data
48
+ stage:
49
+ desc: null
50
+ value: finetune
51
+ pretrained_checkpoint:
52
+ desc: null
53
+ value: null
54
+ run_id:
55
+ desc: null
56
+ value: qformer2_128
57
+ run_root_dir:
58
+ desc: null
59
+ value: runs
60
+ seed:
61
+ desc: null
62
+ value: 7
63
+ hf_token:
64
+ desc: null
65
+ value: .hf_token
66
+ trackers:
67
+ desc: null
68
+ value:
69
+ - jsonl
70
+ - wandb
71
+ wandb_project:
72
+ desc: null
73
+ value: hf-vlms
74
+ wandb_entity:
75
+ desc: null
76
+ value: lilei_stones
77
+ max_length:
78
+ desc: null
79
+ value: 4096
80
+ _wandb:
81
+ desc: null
82
+ value:
83
+ python_version: 3.10.13
84
+ cli_version: 0.16.3
85
+ framework: huggingface
86
+ huggingface_version: 4.38.1
87
+ is_jupyter_run: false
88
+ is_kaggle_kernel: false
89
+ start_time: 1710253733.688548
90
+ t:
91
+ 1:
92
+ - 1
93
+ - 11
94
+ - 41
95
+ - 49
96
+ - 51
97
+ - 55
98
+ - 63
99
+ - 71
100
+ 2:
101
+ - 1
102
+ - 11
103
+ - 41
104
+ - 49
105
+ - 51
106
+ - 55
107
+ - 63
108
+ - 71
109
+ 3:
110
+ - 2
111
+ - 13
112
+ - 16
113
+ - 23
114
+ 4: 3.10.13
115
+ 5: 0.16.3
116
+ 6: 4.38.1
117
+ 8:
118
+ - 5
119
+ 13: linux-x86_64
qformer2_128/wandb/run-20240312_142853-zo3nkbji/files/output.log ADDED
@@ -0,0 +1,5203 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+
2
+ 03/12 [14:28:59] INFO  | >> [*] Starting Training Loop ]8;id=72103;file:///home/lilei/prismatic-vlms/scripts/pretrain.py\pretrain.py]8;;\:]8;id=880770;file:///home/lilei/prismatic-vlms/scripts/pretrain.py#226\226]8;;\
3
+
4
+
5
+
6
+
7
+
8
+
9
+
10
+
11
+
12
+
13
+
14
+
15
+
16
+
17
+
18
+
19
+
20
+
21
+
22
+
23
+
24
+
25
+
26
+
27
+
28
+
29
+
30
+
31
+
32
+
33
+
34
+
35
+
36
+
37
+
38
+
39
+
40
+
41
+
42
+
43
+
44
+
45
+
46
+
47
+
48
+
49
+
50
+
51
+
52
+
53
+
54
+
55
+
56
+
57
+
58
+
59
+
60
+
61
+
62
+
63
+
64
+
65
+
66
+
67
+
68
+
69
+
70
+
71
+
72
+
73
+
74
+
75
+
76
+
77
+
78
+
79
+
80
+
81
+
82
+
83
+
84
+
85
+
86
+
87
+
88
+
89
+
90
+
91
+
92
+
93
+
94
+
95
+
96
+
97
+
98
+
99
+
100
+
101
+
102
+
103
+
104
+
105
+
106
+
107
+
108
+
109
+
110
+
111
+
112
+
113
+
114
+
115
+
116
+
117
+
118
+
119
+
120
+
121
+
122
+
123
+
124
+
125
+
126
+
127
+
128
+
129
+
130
+
131
+
132
+
133
+
134
+
135
+
136
+
137
+
138
+
139
+
140
+
141
+
142
+
143
+
144
+
145
+
146
+
147
+
148
+
149
+
150
+
151
+
152
+
153
+
154
+
155
+
156
+
157
+
158
+
159
+
160
+
161
+
162
+
163
+
164
+
165
+
166
+
167
+
168
+
169
+
170
+
171
+
172
+
173
+
174
+
175
+
176
+
177
+
178
+
179
+
180
+
181
+
182
+
183
+
184
+
185
+
186
+
187
+
188
+
189
+
190
+
191
+
192
+
193
+
194
+
195
+
196
+
197
+
198
+
199
+
200
+
201
+
202
+
203
+
204
+
205
+
206
+
207
+
208
+
209
+
210
+
211
+
212
+
213
+
214
+
215
+
216
+
217
+
218
+
219
+
220
+
221
+
222
+
223
+
224
+
225
+
226
+
227
+
228
+
229
+
230
+
231
+
232
+
233
+
234
+
235
+
236
+
237
+
238
+
239
+
240
+
241
+
242
+
243
+
244
+
245
+
246
+
247
+
248
+
249
+
250
+
251
+
252
+
253
+
254
+
255
+
256
+
257
+
258
+
259
+
260
+
261
+
262
+
263
+
264
+
265
+
266
+
267
+
268
+
269
+
270
+
271
+
272
+
273
+
274
+
275
+
276
+
277
+
278
+
279
+
280
+
281
+
282
+
283
+
284
+
285
+
286
+
287
+
288
+
289
+
290
+
291
+
292
+
293
+
294
+
295
+
296
+
297
+
298
+
299
+
300
+
301
+
302
+
303
+
304
+
305
+
306
+
307
+
308
+
309
+
310
+
311
+
312
+
313
+
314
+
315
+
316
+
317
+
318
+
319
+
320
+
321
+
322
+
323
+
324
+
325
+
326
+
327
+
328
+
329
+
330
+
331
+
332
+
333
+
334
+
335
+
336
+
337
+
338
+
339
+
340
+
341
+
342
+
343
+
344
+
345
+
346
+
347
+
348
+
349
+
350
+
351
+
352
+
353
+
354
+
355
+
356
+
357
+
358
+
359
+
360
+
361
+
362
+
363
+
364
+
365
+
366
+
367
+
368
+
369
+
370
+
371
+
372
+
373
+
374
+
375
+
376
+
377
+
378
+
379
+
380
+
381
+
382
+
383
+
384
+
385
+
386
+
387
+
388
+
389
+
390
+
391
+
392
+
393
+
394
+
395
+
396
+
397
+
398
+
399
+
400
+
401
+
402
+
403
+
404
+
405
+
406
+
407
+
408
+
409
+
410
+
411
+
412
+
413
+
414
+
415
+
416
+
417
+
418
+
419
+
420
+
421
+
422
+
423
+
424
+
425
+
426
+
427
+
428
+
429
+
430
+
431
+
432
+
433
+
434
+
435
+
436
+
437
+
438
+
439
+
440
+
441
+
442
+
443
+
444
+
445
+
446
+
447
+
448
+
449
+
450
+
451
+
452
+
453
+
454
+
455
+
456
+
457
+
458
+
459
+
460
+
461
+
462
+
463
+
464
+
465
+
466
+
467
+
468
+
469
+
470
+
471
+
472
+
473
+
474
+
475
+
476
+
477
+
478
+
479
+
480
+
481
+
482
+
483
+
484
+
485
+
486
+
487
+
488
+
489
+
490
+
491
+
492
+
493
+
494
+
495
+
496
+
497
+
498
+
499
+
500
+
501
+
502
+
503
+
504
+
505
+
506
+
507
+
508
+
509
+
510
+
511
+
512
+
513
+
514
+
515
+
516
+
517
+
518
+
519
+
520
+
521
+
522
+
523
+
524
+
525
+
526
+
527
+
528
+
529
+
530
+
531
+
532
+
533
+
534
+
535
+
536
+
537
+
538
+
539
+
540
+
541
+
542
+
543
+
544
+
545
+
546
+
547
+
548
+
549
+
550
+
551
+
552
+
553
+
554
+
555
+
556
+
557
+
558
+
559
+
560
+
561
+
562
+
563
+
564
+
565
+
566
+
567
+
568
+
569
+
570
+
571
+
572
+
573
+
574
+
575
+
576
+
577
+
578
+
579
+
580
+
581
+
582
+
583
+
584
+
585
+
586
+
587
+
588
+
589
+
590
+
591
+
592
+
593
+
594
+
595
+
596
+
597
+
598
+
599
+
600
+
601
+
602
+
603
+
604
+
605
+
606
+
607
+
608
+
609
+
610
+
611
+
612
+
613
+
614
+
615
+
616
+
617
+
618
+
619
+
620
+
621
+
622
+
623
+
624
+
625
+
626
+
627
+
628
+
629
+
630
+
631
+
632
+
633
+
634
+
635
+
636
+
637
+
638
+
639
+
640
+
641
+
642
+
643
+
644
+
645
+
646
+
647
+
648
+
649
+
650
+
651
+
652
+
653
+
654
+
655
+
656
+
657
+
658
+
659
+
660
+
661
+
662
+
663
+
664
+
665
+
666
+
667
+
668
+
669
+
670
+
671
+
672
+
673
+
674
+
675
+
676
+
677
+
678
+
679
+
680
+
681
+
682
+
683
+
684
+
685
+
686
+
687
+
688
+
689
+
690
+
691
+
692
+
693
+
694
+
695
+
696
+
697
+
698
+
699
+
700
+
701
+
702
+
703
+
704
+
705
+
706
+
707
+
708
+
709
+
710
+
711
+
712
+
713
+
714
+
715
+
716
+
717
+
718
+
719
+
720
+
721
+
722
+
723
+
724
+
725
+
726
+
727
+
728
+
729
+
730
+
731
+
732
+
733
+
734
+
735
+
736
+
737
+
738
+
739
+
740
+
741
+
742
+
743
+
744
+
745
+
746
+
747
+
748
+
749
+
750
+
751
+
752
+
753
+
754
+
755
+
756
+
757
+
758
+
759
+
760
+
761
+
762
+
763
+
764
+
765
+
766
+
767
+
768
+
769
+
770
+
771
+
772
+
773
+
774
+
775
+
776
+
777
+
778
+
779
+
780
+
781
+
782
+
783
+
784
+
785
+
786
+
787
+
788
+
789
+
790
+
791
+
792
+
793
+
794
+
795
+
796
+
797
+
798
+
799
+
800
+
801
+
802
+
803
+
804
+
805
+
806
+
807
+
808
+
809
+
810
+
811
+
812
+
813
+
814
+
815
+
816
+
817
+
818
+
819
+
820
+
821
+
822
+
823
+
824
+
825
+
826
+
827
+
828
+
829
+
830
+
831
+
832
+
833
+
834
+
835
+
836
+
837
+
838
+
839
+
840
+
841
+
842
+
843
+
844
+
845
+
846
+
847
+
848
+
849
+
850
+
851
+
852
+
853
+
854
+
855
+
856
+
857
+
858
+
859
+
860
+
861
+
862
+
863
+
864
+
865
+
866
+
867
+
868
+
869
+
870
+
871
+
872
+
873
+
874
+
875
+
876
+
877
+
878
+
879
+
880
+
881
+
882
+
883
+
884
+
885
+
886
+
887
+
888
+
889
+
890
+
891
+
892
+
893
+
894
+
895
+
896
+
897
+
898
+
899
+
900
+
901
+
902
+
903
+
904
+
905
+
906
+
907
+
908
+
909
+
910
+
911
+
912
+
913
+
914
+
915
+
916
+
917
+
918
+
919
+
920
+
921
+
922
+
923
+
924
+
925
+
926
+
927
+
928
+
929
+
930
+
931
+
932
+
933
+
934
+
935
+
936
+
937
+
938
+
939
+
940
+
941
+
942
+
943
+
944
+
945
+
946
+
947
+
948
+
949
+
950
+
951
+
952
+
953
+
954
+
955
+
956
+
957
+
958
+
959
+
960
+
961
+
962
+
963
+
964
+
965
+
966
+
967
+
968
+
969
+
970
+
971
+
972
+
973
+
974
+
975
+
976
+
977
+
978
+
979
+
980
+
981
+
982
+
983
+
984
+
985
+
986
+
987
+
988
+
989
+
990
+
991
+
992
+
993
+
994
+
995
+
996
+
997
+
998
+
999
+
1000
+
1001
+
1002
+
1003
+
1004
+
1005
+
1006
+
1007
+
1008
+
1009
+
1010
+
1011
+
1012
+
1013
+
1014
+
1015
+
1016
+
1017
+
1018
+
1019
+
1020
+
1021
+
1022
+
1023
+
1024
+
1025
+
1026
+
1027
+
1028
+
1029
+
1030
+
1031
+
1032
+
1033
+
1034
+
1035
+
1036
+
1037
+
1038
+
1039
+
1040
+
1041
+
1042
+
1043
+
1044
+
1045
+
1046
+
1047
+
1048
+
1049
+
1050
+
1051
+
1052
+
1053
+
1054
+
1055
+
1056
+
1057
+
1058
+
1059
+
1060
+
1061
+
1062
+
1063
+
1064
+
1065
+
1066
+
1067
+
1068
+
1069
+
1070
+
1071
+
1072
+
1073
+
1074
+
1075
+
1076
+
1077
+
1078
+
1079
+
1080
+
1081
+
1082
+
1083
+
1084
+
1085
+
1086
+
1087
+
1088
+
1089
+
1090
+
1091
+
1092
+
1093
+
1094
+
1095
+
1096
+
1097
+
1098
+
1099
+
1100
+
1101
+
1102
+
1103
+
1104
+
1105
+
1106
+
1107
+
1108
+
1109
+
1110
+
1111
+
1112
+
1113
+
1114
+
1115
+
1116
+
1117
+
1118
+
1119
+
1120
+
1121
+
1122
+
1123
+
1124
+
1125
+
1126
+
1127
+
1128
+
1129
+
1130
+
1131
+
1132
+
1133
+
1134
+
1135
+
1136
+
1137
+
1138
+
1139
+
1140
+
1141
+
1142
+
1143
+
1144
+
1145
+
1146
+
1147
+
1148
+
1149
+
1150
+
1151
+
1152
+
1153
+
1154
+
1155
+
1156
+
1157
+
1158
+
1159
+
1160
+
1161
+
1162
+
1163
+
1164
+
1165
+
1166
+
1167
+
1168
+
1169
+
1170
+
1171
+
1172
+
1173
+
1174
+
1175
+
1176
+
1177
+
1178
+
1179
+
1180
+
1181
+
1182
+
1183
+
1184
+
1185
+
1186
+
1187
+
1188
+
1189
+
1190
+
1191
+
1192
+
1193
+
1194
+
1195
+
1196
+
1197
+
1198
+
1199
+
1200
+
1201
+
1202
+
1203
+
1204
+
1205
+
1206
+
1207
+
1208
+
1209
+
1210
+
1211
+
1212
+
1213
+
1214
+
1215
+
1216
+
1217
+
1218
+
1219
+
1220
+
1221
+
1222
+
1223
+
1224
+
1225
+
1226
+
1227
+
1228
+
1229
+
1230
+
1231
+
1232
+
1233
+
1234
+
1235
+
1236
+
1237
+
1238
+
1239
+
1240
+
1241
+
1242
+
1243
+
1244
+
1245
+
1246
+
1247
+
1248
+
1249
+
1250
+
1251
+
1252
+
1253
+
1254
+
1255
+
1256
+
1257
+
1258
+
1259
+
1260
+
1261
+
1262
+
1263
+
1264
+
1265
+
1266
+
1267
+
1268
+
1269
+
1270
+
1271
+
1272
+
1273
+
1274
+
1275
+
1276
+
1277
+
1278
+
1279
+
1280
+
1281
+
1282
+
1283
+
1284
+
1285
+
1286
+
1287
+
1288
+
1289
+
1290
+
1291
+
1292
+
1293
+
1294
+
1295
+
1296
+
1297
+
1298
+
1299
+
1300
+
1301
+
1302
+
1303
+
1304
+
1305
+
1306
+
1307
+
1308
+
1309
+
1310
+
1311
+
1312
+
1313
+
1314
+
1315
+
1316
+
1317
+
1318
+
1319
+
1320
+
1321
+
1322
+
1323
+
1324
+
1325
+
1326
+
1327
+
1328
+
1329
+
1330
+
1331
+
1332
+
1333
+
1334
+
1335
+
1336
+
1337
+
1338
+
1339
+
1340
+
1341
+
1342
+
1343
+
1344
+
1345
+
1346
+
1347
+
1348
+
1349
+
1350
+
1351
+
1352
+
1353
+
1354
+
1355
+
1356
+
1357
+
1358
+
1359
+
1360
+
1361
+
1362
+
1363
+
1364
+
1365
+
1366
+
1367
+
1368
+
1369
+
1370
+
1371
+
1372
+
1373
+
1374
+
1375
+
1376
+
1377
+
1378
+
1379
+
1380
+
1381
+
1382
+
1383
+
1384
+
1385
+
1386
+
1387
+
1388
+
1389
+
1390
+
1391
+
1392
+
1393
+
1394
+
1395
+
1396
+
1397
+
1398
+
1399
+
1400
+
1401
+
1402
+
1403
+
1404
+
1405
+
1406
+
1407
+
1408
+
1409
+
1410
+
1411
+
1412
+
1413
+
1414
+
1415
+
1416
+
1417
+
1418
+
1419
+
1420
+
1421
+
1422
+
1423
+
1424
+
1425
+
1426
+
1427
+
1428
+
1429
+
1430
+
1431
+
1432
+
1433
+
1434
+
1435
+
1436
+
1437
+
1438
+
1439
+
1440
+
1441
+
1442
+
1443
+
1444
+
1445
+
1446
+
1447
+
1448
+
1449
+
1450
+
1451
+
1452
+
1453
+
1454
+
1455
+
1456
+
1457
+
1458
+
1459
+
1460
+
1461
+
1462
+
1463
+
1464
+
1465
+
1466
+
1467
+
1468
+
1469
+
1470
+
1471
+
1472
+
1473
+
1474
+
1475
+
1476
+
1477
+
1478
+
1479
+
1480
+
1481
+
1482
+
1483
+
1484
+
1485
+
1486
+
1487
+
1488
+
1489
+
1490
+
1491
+
1492
+
1493
+
1494
+
1495
+
1496
+
1497
+
1498
+
1499
+
1500
+
1501
+
1502
+
1503
+
1504
+
1505
+
1506
+
1507
+
1508
+
1509
+
1510
+
1511
+
1512
+
1513
+
1514
+
1515
+
1516
+
1517
+
1518
+
1519
+
1520
+
1521
+
1522
+
1523
+
1524
+
1525
+
1526
+
1527
+
1528
+
1529
+
1530
+
1531
+
1532
+
1533
+
1534
+
1535
+
1536
+
1537
+
1538
+
1539
+
1540
+
1541
+
1542
+
1543
+
1544
+
1545
+
1546
+
1547
+
1548
+
1549
+
1550
+
1551
+
1552
+
1553
+
1554
+
1555
+
1556
+
1557
+
1558
+
1559
+
1560
+
1561
+
1562
+
1563
+
1564
+
1565
+
1566
+
1567
+
1568
+
1569
+
1570
+
1571
+
1572
+
1573
+
1574
+
1575
+
1576
+
1577
+
1578
+
1579
+
1580
+
1581
+
1582
+
1583
+
1584
+
1585
+
1586
+
1587
+
1588
+
1589
+
1590
+
1591
+
1592
+
1593
+
1594
+
1595
+
1596
+
1597
+
1598
+
1599
+
1600
+
1601
+
1602
+
1603
+
1604
+
1605
+
1606
+
1607
+
1608
+
1609
+
1610
+
1611
+
1612
+
1613
+
1614
+
1615
+
1616
+
1617
+
1618
+
1619
+
1620
+
1621
+
1622
+
1623
+
1624
+
1625
+
1626
+
1627
+
1628
+
1629
+
1630
+
1631
+
1632
+
1633
+
1634
+
1635
+
1636
+
1637
+
1638
+
1639
+
1640
+
1641
+
1642
+
1643
+
1644
+
1645
+
1646
+
1647
+
1648
+
1649
+
1650
+
1651
+
1652
+
1653
+
1654
+
1655
+
1656
+
1657
+
1658
+
1659
+
1660
+
1661
+
1662
+
1663
+
1664
+
1665
+
1666
+
1667
+
1668
+
1669
+
1670
+
1671
+
1672
+
1673
+
1674
+
1675
+
1676
+
1677
+
1678
+
1679
+
1680
+
1681
+
1682
+
1683
+
1684
+
1685
+
1686
+
1687
+
1688
+
1689
+
1690
+
1691
+
1692
+
1693
+
1694
+
1695
+
1696
+
1697
+
1698
+
1699
+
1700
+
1701
+
1702
+
1703
+
1704
+
1705
+
1706
+
1707
+
1708
+
1709
+
1710
+
1711
+
1712
+
1713
+
1714
+
1715
+
1716
+
1717
+
1718
+
1719
+
1720
+
1721
+
1722
+
1723
+
1724
+
1725
+
1726
+
1727
+
1728
+
1729
+
1730
+
1731
+
1732
+
1733
+
1734
+
1735
+
1736
+
1737
+
1738
+
1739
+
1740
+
1741
+
1742
+
1743
+
1744
+
1745
+
1746
+
1747
+
1748
+
1749
+
1750
+
1751
+
1752
+
1753
+
1754
+
1755
+
1756
+
1757
+
1758
+
1759
+
1760
+
1761
+
1762
+
1763
+
1764
+
1765
+
1766
+
1767
+
1768
+
1769
+
1770
+
1771
+
1772
+
1773
+
1774
+
1775
+
1776
+
1777
+
1778
+
1779
+
1780
+
1781
+
1782
+
1783
+
1784
+
1785
+
1786
+
1787
+
1788
+
1789
+
1790
+
1791
+
1792
+
1793
+
1794
+
1795
+
1796
+
1797
+
1798
+
1799
+
1800
+
1801
+
1802
+
1803
+
1804
+
1805
+
1806
+
1807
+
1808
+
1809
+
1810
+
1811
+
1812
+
1813
+
1814
+
1815
+
1816
+
1817
+
1818
+
1819
+
1820
+
1821
+
1822
+
1823
+
1824
+
1825
+
1826
+
1827
+
1828
+
1829
+
1830
+
1831
+
1832
+
1833
+
1834
+
1835
+
1836
+
1837
+
1838
+
1839
+
1840
+
1841
+
1842
+
1843
+
1844
+
1845
+
1846
+
1847
+
1848
+
1849
+
1850
+
1851
+
1852
+
1853
+
1854
+
1855
+
1856
+
1857
+
1858
+
1859
+
1860
+
1861
+
1862
+
1863
+
1864
+
1865
+
1866
+
1867
+
1868
+
1869
+
1870
+
1871
+
1872
+
1873
+
1874
+
1875
+
1876
+
1877
+
1878
+
1879
+
1880
+
1881
+
1882
+
1883
+
1884
+
1885
+
1886
+
1887
+
1888
+
1889
+
1890
+
1891
+
1892
+
1893
+
1894
+
1895
+
1896
+
1897
+
1898
+
1899
+
1900
+
1901
+
1902
+
1903
+
1904
+
1905
+
1906
+
1907
+
1908
+
1909
+
1910
+
1911
+
1912
+
1913
+
1914
+
1915
+
1916
+
1917
+
1918
+
1919
+
1920
+
1921
+
1922
+
1923
+
1924
+
1925
+
1926
+
1927
+
1928
+
1929
+
1930
+
1931
+
1932
+
1933
+
1934
+
1935
+
1936
+
1937
+
1938
+
1939
+
1940
+
1941
+
1942
+
1943
+
1944
+
1945
+
1946
+
1947
+
1948
+
1949
+
1950
+
1951
+
1952
+
1953
+
1954
+
1955
+
1956
+
1957
+
1958
+
1959
+
1960
+
1961
+
1962
+
1963
+
1964
+
1965
+
1966
+
1967
+
1968
+
1969
+
1970
+
1971
+
1972
+
1973
+
1974
+
1975
+
1976
+
1977
+
1978
+
1979
+
1980
+
1981
+
1982
+
1983
+
1984
+
1985
+
1986
+
1987
+
1988
+
1989
+
1990
+
1991
+
1992
+
1993
+
1994
+
1995
+
1996
+
1997
+
1998
+
1999
+
2000
+
2001
+
2002
+
2003
+
2004
+
2005
+
2006
+
2007
+
2008
+
2009
+
2010
+
2011
+
2012
+
2013
+
2014
+
2015
+
2016
+
2017
+
2018
+
2019
+
2020
+
2021
+
2022
+
2023
+
2024
+
2025
+
2026
+
2027
+
2028
+
2029
+
2030
+
2031
+
2032
+
2033
+
2034
+
2035
+
2036
+
2037
+
2038
+
2039
+
2040
+
2041
+
2042
+
2043
+
2044
+
2045
+
2046
+
2047
+
2048
+
2049
+
2050
+
2051
+
2052
+
2053
+
2054
+
2055
+
2056
+
2057
+
2058
+
2059
+
2060
+
2061
+
2062
+
2063
+
2064
+
2065
+
2066
+
2067
+
2068
+
2069
+
2070
+
2071
+
2072
+
2073
+
2074
+
2075
+
2076
+
2077
+
2078
+
2079
+
2080
+
2081
+
2082
+
2083
+
2084
+
2085
+
2086
+
2087
+
2088
+
2089
+
2090
+
2091
+
2092
+
2093
+
2094
+
2095
+
2096
+
2097
+
2098
+
2099
+
2100
+
2101
+
2102
+
2103
+
2104
+
2105
+
2106
+
2107
+
2108
+
2109
+
2110
+
2111
+
2112
+
2113
+
2114
+
2115
+
2116
+
2117
+
2118
+
2119
+
2120
+
2121
+
2122
+
2123
+
2124
+
2125
+
2126
+
2127
+
2128
+
2129
+
2130
+
2131
+
2132
+
2133
+
2134
+
2135
+
2136
+
2137
+
2138
+
2139
+
2140
+
2141
+
2142
+
2143
+
2144
+
2145
+
2146
+
2147
+
2148
+
2149
+
2150
+
2151
+
2152
+
2153
+
2154
+
2155
+
2156
+
2157
+
2158
+
2159
+
2160
+
2161
+
2162
+
2163
+
2164
+
2165
+
2166
+
2167
+
2168
+
2169
+
2170
+
2171
+
2172
+
2173
+
2174
+
2175
+
2176
+
2177
+
2178
+
2179
+
2180
+
2181
+
2182
+
2183
+
2184
+
2185
+
2186
+
2187
+
2188
+
2189
+
2190
+
2191
+
2192
+
2193
+
2194
+
2195
+
2196
+
2197
+
2198
+
2199
+
2200
+
2201
+
2202
+
2203
+
2204
+
2205
+
2206
+
2207
+
2208
+
2209
+
2210
+
2211
+
2212
+
2213
+
2214
+
2215
+
2216
+
2217
+
2218
+
2219
+
2220
+
2221
+
2222
+
2223
+
2224
+
2225
+
2226
+
2227
+
2228
+
2229
+
2230
+
2231
+
2232
+
2233
+
2234
+
2235
+
2236
+
2237
+
2238
+
2239
+
2240
+
2241
+
2242
+
2243
+
2244
+
2245
+
2246
+
2247
+
2248
+
2249
+
2250
+
2251
+
2252
+
2253
+
2254
+
2255
+
2256
+
2257
+
2258
+
2259
+
2260
+
2261
+
2262
+
2263
+
2264
+
2265
+
2266
+
2267
+
2268
+
2269
+
2270
+
2271
+
2272
+
2273
+
2274
+
2275
+
2276
+
2277
+
2278
+
2279
+
2280
+
2281
+
2282
+
2283
+
2284
+
2285
+
2286
+
2287
+
2288
+
2289
+
2290
+
2291
+
2292
+
2293
+
2294
+
2295
+
2296
+
2297
+
2298
+
2299
+
2300
+
2301
+
2302
+
2303
+
2304
+
2305
+
2306
+
2307
+
2308
+
2309
+
2310
+
2311
+
2312
+
2313
+
2314
+
2315
+
2316
+
2317
+
2318
+
2319
+
2320
+
2321
+
2322
+
2323
+
2324
+
2325
+
2326
+
2327
+
2328
+
2329
+
2330
+
2331
+
2332
+
2333
+
2334
+
2335
+
2336
+
2337
+
2338
+
2339
+
2340
+
2341
+
2342
+
2343
+
2344
+
2345
+
2346
+
2347
+
2348
+
2349
+
2350
+
2351
+
2352
+
2353
+
2354
+
2355
+
2356
+
2357
+
2358
+
2359
+
2360
+
2361
+
2362
+
2363
+
2364
+
2365
+
2366
+
2367
+
2368
+
2369
+
2370
+
2371
+
2372
+
2373
+
2374
+
2375
+
2376
+
2377
+
2378
+
2379
+
2380
+
2381
+
2382
+
2383
+
2384
+
2385
+
2386
+
2387
+
2388
+
2389
+
2390
+
2391
+
2392
+
2393
+
2394
+
2395
+
2396
+
2397
+
2398
+
2399
+
2400
+
2401
+
2402
+
2403
+
2404
+
2405
+
2406
+
2407
+
2408
+
2409
+
2410
+
2411
+
2412
+
2413
+
2414
+
2415
+
2416
+
2417
+
2418
+
2419
+
2420
+
2421
+
2422
+
2423
+
2424
+
2425
+
2426
+
2427
+
2428
+
2429
+
2430
+
2431
+
2432
+
2433
+
2434
+
2435
+
2436
+
2437
+
2438
+
2439
+
2440
+
2441
+
2442
+
2443
+
2444
+
2445
+
2446
+
2447
+
2448
+
2449
+
2450
+
2451
+
2452
+
2453
+
2454
+
2455
+
2456
+
2457
+
2458
+
2459
+
2460
+
2461
+
2462
+
2463
+
2464
+
2465
+
2466
+
2467
+
2468
+
2469
+
2470
+
2471
+
2472
+
2473
+
2474
+
2475
+
2476
+
2477
+
2478
+
2479
+
2480
+
2481
+
2482
+
2483
+
2484
+
2485
+
2486
+
2487
+
2488
+
2489
+
2490
+
2491
+
2492
+
2493
+
2494
+
2495
+
2496
+
2497
+
2498
+
2499
+
2500
+
2501
+
2502
+
2503
+
2504
+
2505
+
2506
+
2507
+
2508
+
2509
+
2510
+
2511
+
2512
+
2513
+
2514
+
2515
+
2516
+
2517
+
2518
+
2519
+
2520
+
2521
+
2522
+
2523
+
2524
+
2525
+
2526
+
2527
+
2528
+
2529
+
2530
+
2531
+
2532
+
2533
+
2534
+
2535
+
2536
+
2537
+
2538
+
2539
+
2540
+
2541
+
2542
+
2543
+
2544
+
2545
+
2546
+
2547
+
2548
+
2549
+
2550
+
2551
+
2552
+
2553
+
2554
+
2555
+
2556
+
2557
+
2558
+
2559
+
2560
+
2561
+
2562
+
2563
+
2564
+
2565
+
2566
+
2567
+
2568
+
2569
+
2570
+
2571
+
2572
+
2573
+
2574
+
2575
+
2576
+
2577
+
2578
+
2579
+
2580
+
2581
+
2582
+
2583
+
2584
+
2585
+
2586
+
2587
+
2588
+
2589
+
2590
+
2591
+
2592
+
2593
+
2594
+
2595
+
2596
+
2597
+
2598
+
2599
+
2600
+
2601
+
2602
+
2603
+
2604
+
2605
+
2606
+
2607
+
2608
+
2609
+
2610
+
2611
+
2612
+
2613
+
2614
+
2615
+
2616
+
2617
+
2618
+
2619
+
2620
+
2621
+
2622
+
2623
+
2624
+
2625
+
2626
+
2627
+
2628
+
2629
+
2630
+
2631
+
2632
+
2633
+
2634
+
2635
+
2636
+
2637
+
2638
+
2639
+
2640
+
2641
+
2642
+
2643
+
2644
+
2645
+
2646
+
2647
+
2648
+
2649
+
2650
+
2651
+
2652
+
2653
+
2654
+
2655
+
2656
+
2657
+
2658
+
2659
+
2660
+
2661
+
2662
+
2663
+
2664
+
2665
+
2666
+
2667
+
2668
+
2669
+
2670
+
2671
+
2672
+
2673
+
2674
+
2675
+
2676
+
2677
+
2678
+
2679
+
2680
+
2681
+
2682
+
2683
+
2684
+
2685
+
2686
+
2687
+
2688
+
2689
+
2690
+
2691
+
2692
+
2693
+
2694
+
2695
+
2696
+
2697
+
2698
+
2699
+
2700
+
2701
+
2702
+
2703
+
2704
+
2705
+
2706
+
2707
+
2708
+
2709
+
2710
+
2711
+
2712
+
2713
+
2714
+
2715
+
2716
+
2717
+
2718
+
2719
+
2720
+
2721
+
2722
+
2723
+
2724
+
2725
+
2726
+
2727
+
2728
+
2729
+
2730
+
2731
+
2732
+
2733
+
2734
+
2735
+
2736
+
2737
+
2738
+
2739
+
2740
+
2741
+
2742
+
2743
+
2744
+
2745
+
2746
+
2747
+
2748
+
2749
+
2750
+
2751
+
2752
+
2753
+
2754
+
2755
+
2756
+
2757
+
2758
+
2759
+
2760
+
2761
+
2762
+
2763
+
2764
+
2765
+
2766
+
2767
+
2768
+
2769
+
2770
+
2771
+
2772
+
2773
+
2774
+
2775
+
2776
+
2777
+
2778
+
2779
+
2780
+
2781
+
2782
+
2783
+
2784
+
2785
+
2786
+
2787
+
2788
+
2789
+
2790
+
2791
+
2792
+
2793
+
2794
+
2795
+
2796
+
2797
+
2798
+
2799
+
2800
+
2801
+
2802
+
2803
+
2804
+
2805
+
2806
+
2807
+
2808
+
2809
+
2810
+
2811
+
2812
+
2813
+
2814
+
2815
+
2816
+
2817
+
2818
+
2819
+
2820
+
2821
+
2822
+
2823
+
2824
+
2825
+
2826
+
2827
+
2828
+
2829
+
2830
+
2831
+
2832
+
2833
+
2834
+
2835
+
2836
+
2837
+
2838
+
2839
+
2840
+
2841
+
2842
+
2843
+
2844
+
2845
+
2846
+
2847
+
2848
+
2849
+
2850
+
2851
+
2852
+
2853
+
2854
+
2855
+
2856
+
2857
+
2858
+
2859
+
2860
+
2861
+
2862
+
2863
+
2864
+
2865
+
2866
+
2867
+
2868
+
2869
+
2870
+
2871
+
2872
+
2873
+
2874
+
2875
+
2876
+
2877
+
2878
+
2879
+
2880
+
2881
+
2882
+
2883
+
2884
+
2885
+
2886
+
2887
+
2888
+
2889
+
2890
+
2891
+
2892
+
2893
+
2894
+
2895
+
2896
+
2897
+
2898
+
2899
+
2900
+
2901
+
2902
+
2903
+
2904
+
2905
+
2906
+
2907
+
2908
+
2909
+
2910
+
2911
+
2912
+
2913
+
2914
+
2915
+
2916
+
2917
+
2918
+
2919
+
2920
+
2921
+
2922
+
2923
+
2924
+
2925
+
2926
+
2927
+
2928
+
2929
+
2930
+
2931
+
2932
+
2933
+
2934
+
2935
+
2936
+
2937
+
2938
+
2939
+
2940
+
2941
+
2942
+
2943
+
2944
+
2945
+
2946
+
2947
+
2948
+
2949
+
2950
+
2951
+
2952
+
2953
+
2954
+
2955
+
2956
+
2957
+
2958
+
2959
+
2960
+
2961
+
2962
+
2963
+
2964
+
2965
+
2966
+
2967
+
2968
+
2969
+
2970
+
2971
+
2972
+
2973
+
2974
+
2975
+
2976
+
2977
+
2978
+
2979
+
2980
+
2981
+
2982
+
2983
+
2984
+
2985
+
2986
+
2987
+
2988
+
2989
+
2990
+
2991
+
2992
+
2993
+
2994
+
2995
+
2996
+
2997
+
2998
+
2999
+
3000
+
3001
+
3002
+
3003
+
3004
+
3005
+
3006
+
3007
+
3008
+
3009
+
3010
+
3011
+
3012
+
3013
+
3014
+
3015
+
3016
+
3017
+
3018
+
3019
+
3020
+
3021
+
3022
+
3023
+
3024
+
3025
+
3026
+
3027
+
3028
+
3029
+
3030
+
3031
+
3032
+
3033
+
3034
+
3035
+
3036
+
3037
+
3038
+
3039
+
3040
+
3041
+
3042
+
3043
+
3044
+
3045
+
3046
+
3047
+
3048
+
3049
+
3050
+
3051
+
3052
+
3053
+
3054
+
3055
+
3056
+
3057
+
3058
+
3059
+
3060
+
3061
+
3062
+
3063
+
3064
+
3065
+
3066
+
3067
+
3068
+
3069
+
3070
+
3071
+
3072
+
3073
+
3074
+
3075
+
3076
+
3077
+
3078
+
3079
+
3080
+
3081
+
3082
+
3083
+
3084
+
3085
+
3086
+
3087
+
3088
+
3089
+
3090
+
3091
+
3092
+
3093
+
3094
+
3095
+
3096
+
3097
+
3098
+
3099
+
3100
+
3101
+
3102
+
3103
+
3104
+
3105
+
3106
+
3107
+
3108
+
3109
+
3110
+
3111
+
3112
+
3113
+
3114
+
3115
+
3116
+
3117
+
3118
+
3119
+
3120
+
3121
+
3122
+
3123
+
3124
+
3125
+
3126
+
3127
+
3128
+
3129
+
3130
+
3131
+
3132
+
3133
+
3134
+
3135
+
3136
+
3137
+
3138
+
3139
+
3140
+
3141
+
3142
+
3143
+
3144
+
3145
+
3146
+
3147
+
3148
+
3149
+
3150
+
3151
+
3152
+
3153
+
3154
+
3155
+
3156
+
3157
+
3158
+
3159
+
3160
+
3161
+
3162
+
3163
+
3164
+
3165
+
3166
+
3167
+
3168
+
3169
+
3170
+
3171
+
3172
+
3173
+
3174
+
3175
+
3176
+
3177
+
3178
+
3179
+
3180
+
3181
+
3182
+
3183
+
3184
+
3185
+
3186
+
3187
+
3188
+
3189
+
3190
+
3191
+
3192
+
3193
+
3194
+
3195
+
3196
+
3197
+
3198
+
3199
+
3200
+
3201
+
3202
+
3203
+
3204
+
3205
+
3206
+
3207
+
3208
+
3209
+
3210
+
3211
+
3212
+
3213
+
3214
+
3215
+
3216
+
3217
+
3218
+
3219
+
3220
+
3221
+
3222
+
3223
+
3224
+
3225
+
3226
+
3227
+
3228
+
3229
+
3230
+
3231
+
3232
+
3233
+
3234
+
3235
+
3236
+
3237
+
3238
+
3239
+
3240
+
3241
+
3242
+
3243
+
3244
+
3245
+
3246
+
3247
+
3248
+
3249
+
3250
+
3251
+
3252
+
3253
+
3254
+
3255
+
3256
+
3257
+
3258
+
3259
+
3260
+
3261
+
3262
+
3263
+
3264
+
3265
+
3266
+
3267
+
3268
+
3269
+
3270
+
3271
+
3272
+
3273
+
3274
+
3275
+
3276
+
3277
+
3278
+
3279
+
3280
+
3281
+
3282
+
3283
+
3284
+
3285
+
3286
+
3287
+
3288
+
3289
+
3290
+
3291
+
3292
+
3293
+
3294
+
3295
+
3296
+
3297
+
3298
+
3299
+
3300
+
3301
+
3302
+
3303
+
3304
+
3305
+
3306
+
3307
+
3308
+
3309
+
3310
+
3311
+
3312
+
3313
+
3314
+
3315
+
3316
+
3317
+
3318
+
3319
+
3320
+
3321
+
3322
+
3323
+
3324
+
3325
+
3326
+
3327
+
3328
+
3329
+
3330
+
3331
+
3332
+
3333
+
3334
+
3335
+
3336
+
3337
+
3338
+
3339
+
3340
+
3341
+
3342
+
3343
+
3344
+
3345
+
3346
+
3347
+
3348
+
3349
+
3350
+
3351
+
3352
+
3353
+
3354
+
3355
+
3356
+
3357
+
3358
+
3359
+
3360
+
3361
+
3362
+
3363
+
3364
+
3365
+
3366
+
3367
+
3368
+
3369
+
3370
+
3371
+
3372
+
3373
+
3374
+
3375
+
3376
+
3377
+
3378
+
3379
+
3380
+
3381
+
3382
+
3383
+
3384
+
3385
+
3386
+
3387
+
3388
+
3389
+
3390
+
3391
+
3392
+
3393
+
3394
+
3395
+
3396
+
3397
+
3398
+
3399
+
3400
+
3401
+
3402
+
3403
+
3404
+
3405
+
3406
+
3407
+
3408
+
3409
+
3410
+
3411
+
3412
+
3413
+
3414
+
3415
+
3416
+
3417
+
3418
+
3419
+
3420
+
3421
+
3422
+
3423
+
3424
+
3425
+
3426
+
3427
+
3428
+
3429
+
3430
+
3431
+
3432
+
3433
+
3434
+
3435
+
3436
+
3437
+
3438
+
3439
+
3440
+
3441
+
3442
+
3443
+
3444
+
3445
+
3446
+
3447
+
3448
+
3449
+
3450
+
3451
+
3452
+
3453
+
3454
+
3455
+
3456
+
3457
+
3458
+
3459
+
3460
+
3461
+
3462
+
3463
+
3464
+
3465
+
3466
+
3467
+
3468
+
3469
+
3470
+
3471
+
3472
+
3473
+
3474
+
3475
+
3476
+
3477
+
3478
+
3479
+
3480
+
3481
+
3482
+
3483
+
3484
+
3485
+
3486
+
3487
+
3488
+
3489
+
3490
+
3491
+
3492
+
3493
+
3494
+
3495
+
3496
+
3497
+
3498
+
3499
+
3500
+
3501
+
3502
+
3503
+
3504
+
3505
+
3506
+
3507
+
3508
+
3509
+
3510
+
3511
+
3512
+
3513
+
3514
+
3515
+
3516
+
3517
+
3518
+
3519
+
3520
+
3521
+
3522
+
3523
+
3524
+
3525
+
3526
+
3527
+
3528
+
3529
+
3530
+
3531
+
3532
+
3533
+
3534
+
3535
+
3536
+
3537
+
3538
+
3539
+
3540
+
3541
+
3542
+
3543
+
3544
+
3545
+
3546
+
3547
+
3548
+
3549
+
3550
+
3551
+
3552
+
3553
+
3554
+
3555
+
3556
+
3557
+
3558
+
3559
+
3560
+
3561
+
3562
+
3563
+
3564
+
3565
+
3566
+
3567
+
3568
+
3569
+
3570
+
3571
+
3572
+
3573
+
3574
+
3575
+
3576
+
3577
+
3578
+
3579
+
3580
+
3581
+
3582
+
3583
+
3584
+
3585
+
3586
+
3587
+
3588
+
3589
+
3590
+
3591
+
3592
+
3593
+
3594
+
3595
+
3596
+
3597
+
3598
+
3599
+
3600
+
3601
+
3602
+
3603
+
3604
+
3605
+
3606
+
3607
+
3608
+
3609
+
3610
+
3611
+
3612
+
3613
+
3614
+
3615
+
3616
+
3617
+
3618
+
3619
+
3620
+
3621
+
3622
+
3623
+
3624
+
3625
+
3626
+
3627
+
3628
+
3629
+
3630
+
3631
+
3632
+
3633
+
3634
+
3635
+
3636
+
3637
+
3638
+
3639
+
3640
+
3641
+
3642
+
3643
+
3644
+
3645
+
3646
+
3647
+
3648
+
3649
+
3650
+
3651
+
3652
+
3653
+
3654
+
3655
+
3656
+
3657
+
3658
+
3659
+
3660
+
3661
+
3662
+
3663
+
3664
+
3665
+
3666
+
3667
+
3668
+
3669
+
3670
+
3671
+
3672
+
3673
+
3674
+
3675
+
3676
+
3677
+
3678
+
3679
+
3680
+
3681
+
3682
+
3683
+
3684
+
3685
+
3686
+
3687
+
3688
+
3689
+
3690
+
3691
+
3692
+
3693
+
3694
+
3695
+
3696
+
3697
+
3698
+
3699
+
3700
+
3701
+
3702
+
3703
+
3704
+
3705
+
3706
+
3707
+
3708
+
3709
+
3710
+
3711
+
3712
+
3713
+
3714
+
3715
+
3716
+
3717
+
3718
+
3719
+
3720
+
3721
+
3722
+
3723
+
3724
+
3725
+
3726
+
3727
+
3728
+
3729
+
3730
+
3731
+
3732
+
3733
+
3734
+
3735
+
3736
+
3737
+
3738
+
3739
+
3740
+
3741
+
3742
+
3743
+
3744
+
3745
+
3746
+
3747
+
3748
+
3749
+
3750
+
3751
+
3752
+
3753
+
3754
+
3755
+
3756
+
3757
+
3758
+
3759
+
3760
+
3761
+
3762
+
3763
+
3764
+
3765
+
3766
+
3767
+
3768
+
3769
+
3770
+
3771
+
3772
+
3773
+
3774
+
3775
+
3776
+
3777
+
3778
+
3779
+
3780
+
3781
+
3782
+
3783
+
3784
+
3785
+
3786
+
3787
+
3788
+
3789
+
3790
+
3791
+
3792
+
3793
+
3794
+
3795
+
3796
+
3797
+
3798
+
3799
+
3800
+
3801
+
3802
+
3803
+
3804
+
3805
+
3806
+
3807
+
3808
+
3809
+
3810
+
3811
+
3812
+
3813
+
3814
+
3815
+
3816
+
3817
+
3818
+
3819
+
3820
+
3821
+
3822
+
3823
+
3824
+
3825
+
3826
+
3827
+
3828
+
3829
+
3830
+
3831
+
3832
+
3833
+
3834
+
3835
+
3836
+
3837
+
3838
+
3839
+
3840
+
3841
+
3842
+
3843
+
3844
+
3845
+
3846
+
3847
+
3848
+
3849
+
3850
+
3851
+
3852
+
3853
+
3854
+
3855
+
3856
+
3857
+
3858
+
3859
+
3860
+
3861
+
3862
+
3863
+
3864
+
3865
+
3866
+
3867
+
3868
+
3869
+
3870
+
3871
+
3872
+
3873
+
3874
+
3875
+
3876
+
3877
+
3878
+
3879
+
3880
+
3881
+
3882
+
3883
+
3884
+
3885
+
3886
+
3887
+
3888
+
3889
+
3890
+
3891
+
3892
+
3893
+
3894
+
3895
+
3896
+
3897
+
3898
+
3899
+
3900
+
3901
+
3902
+
3903
+
3904
+
3905
+
3906
+
3907
+
3908
+
3909
+
3910
+
3911
+
3912
+
3913
+
3914
+
3915
+
3916
+
3917
+
3918
+
3919
+
3920
+
3921
+
3922
+
3923
+
3924
+
3925
+
3926
+
3927
+
3928
+
3929
+
3930
+
3931
+
3932
+
3933
+
3934
+
3935
+
3936
+
3937
+
3938
+
3939
+
3940
+
3941
+
3942
+
3943
+
3944
+
3945
+
3946
+
3947
+
3948
+
3949
+
3950
+
3951
+
3952
+
3953
+
3954
+
3955
+
3956
+
3957
+
3958
+
3959
+
3960
+
3961
+
3962
+
3963
+
3964
+
3965
+
3966
+
3967
+
3968
+
3969
+
3970
+
3971
+
3972
+
3973
+
3974
+
3975
+
3976
+
3977
+
3978
+
3979
+
3980
+
3981
+
3982
+
3983
+
3984
+
3985
+
3986
+
3987
+
3988
+
3989
+
3990
+
3991
+
3992
+
3993
+
3994
+
3995
+
3996
+
3997
+
3998
+
3999
+
4000
+
4001
+
4002
+
4003
+
4004
+
4005
+
4006
+
4007
+
4008
+
4009
+
4010
+
4011
+
4012
+
4013
+
4014
+
4015
+
4016
+
4017
+
4018
+
4019
+
4020
+
4021
+
4022
+
4023
+
4024
+
4025
+
4026
+
4027
+
4028
+
4029
+
4030
+
4031
+
4032
+
4033
+
4034
+
4035
+
4036
+
4037
+
4038
+
4039
+
4040
+
4041
+
4042
+
4043
+
4044
+
4045
+
4046
+
4047
+
4048
+
4049
+
4050
+
4051
+
4052
+
4053
+
4054
+
4055
+
4056
+
4057
+
4058
+
4059
+
4060
+
4061
+
4062
+
4063
+
4064
+
4065
+
4066
+
4067
+
4068
+
4069
+
4070
+
4071
+
4072
+
4073
+
4074
+
4075
+
4076
+
4077
+
4078
+
4079
+
4080
+
4081
+
4082
+
4083
+
4084
+
4085
+
4086
+
4087
+
4088
+
4089
+
4090
+
4091
+
4092
+
4093
+
4094
+
4095
+
4096
+
4097
+
4098
+
4099
+
4100
+
4101
+
4102
+
4103
+
4104
+
4105
+
4106
+
4107
+
4108
+
4109
+
4110
+
4111
+
4112
+
4113
+
4114
+
4115
+
4116
+
4117
+
4118
+
4119
+
4120
+
4121
+
4122
+
4123
+
4124
+
4125
+
4126
+
4127
+
4128
+
4129
+
4130
+
4131
+
4132
+
4133
+
4134
+
4135
+
4136
+
4137
+
4138
+
4139
+
4140
+
4141
+
4142
+
4143
+
4144
+
4145
+
4146
+
4147
+
4148
+
4149
+
4150
+
4151
+
4152
+
4153
+
4154
+
4155
+
4156
+
4157
+
4158
+
4159
+
4160
+
4161
+
4162
+
4163
+
4164
+
4165
+
4166
+
4167
+
4168
+
4169
+
4170
+
4171
+
4172
+
4173
+
4174
+
4175
+
4176
+
4177
+
4178
+
4179
+
4180
+
4181
+
4182
+
4183
+
4184
+
4185
+
4186
+
4187
+
4188
+
4189
+
4190
+
4191
+
4192
+
4193
+
4194
+
4195
+
4196
+
4197
+
4198
+
4199
+
4200
+
4201
+
4202
+
4203
+
4204
+
4205
+
4206
+
4207
+
4208
+
4209
+
4210
+
4211
+
4212
+
4213
+
4214
+
4215
+
4216
+
4217
+
4218
+
4219
+
4220
+
4221
+
4222
+
4223
+
4224
+
4225
+
4226
+
4227
+
4228
+
4229
+
4230
+
4231
+
4232
+
4233
+
4234
+
4235
+
4236
+
4237
+
4238
+
4239
+
4240
+
4241
+
4242
+
4243
+
4244
+
4245
+
4246
+
4247
+
4248
+
4249
+
4250
+
4251
+
4252
+
4253
+
4254
+
4255
+
4256
+
4257
+
4258
+
4259
+
4260
+
4261
+
4262
+
4263
+
4264
+
4265
+
4266
+
4267
+
4268
+
4269
+
4270
+
4271
+
4272
+
4273
+
4274
+
4275
+
4276
+
4277
+
4278
+
4279
+
4280
+
4281
+
4282
+
4283
+
4284
+
4285
+
4286
+
4287
+
4288
+
4289
+
4290
+
4291
+
4292
+
4293
+
4294
+
4295
+
4296
+
4297
+
4298
+
4299
+
4300
+
4301
+
4302
+
4303
+
4304
+
4305
+
4306
+
4307
+
4308
+
4309
+
4310
+
4311
+
4312
+
4313
+
4314
+
4315
+
4316
+
4317
+
4318
+
4319
+
4320
+
4321
+
4322
+
4323
+
4324
+
4325
+
4326
+
4327
+
4328
+
4329
+
4330
+
4331
+
4332
+
4333
+
4334
+
4335
+
4336
+
4337
+
4338
+
4339
+
4340
+
4341
+
4342
+
4343
+
4344
+
4345
+
4346
+
4347
+
4348
+
4349
+
4350
+
4351
+
4352
+
4353
+
4354
+
4355
+
4356
+
4357
+
4358
+
4359
+
4360
+
4361
+
4362
+
4363
+
4364
+
4365
+
4366
+
4367
+
4368
+
4369
+
4370
+
4371
+
4372
+
4373
+
4374
+
4375
+
4376
+
4377
+
4378
+
4379
+
4380
+
4381
+
4382
+
4383
+
4384
+
4385
+
4386
+
4387
+
4388
+
4389
+
4390
+
4391
+
4392
+
4393
+
4394
+
4395
+
4396
+
4397
+
4398
+
4399
+
4400
+
4401
+
4402
+
4403
+
4404
+
4405
+
4406
+
4407
+
4408
+
4409
+
4410
+
4411
+
4412
+
4413
+
4414
+
4415
+
4416
+
4417
+
4418
+
4419
+
4420
+
4421
+
4422
+
4423
+
4424
+
4425
+
4426
+
4427
+
4428
+
4429
+
4430
+
4431
+
4432
+
4433
+
4434
+
4435
+
4436
+
4437
+
4438
+
4439
+
4440
+
4441
+
4442
+
4443
+
4444
+
4445
+
4446
+
4447
+
4448
+
4449
+
4450
+
4451
+
4452
+
4453
+
4454
+
4455
+
4456
+
4457
+
4458
+
4459
+
4460
+
4461
+
4462
+
4463
+
4464
+
4465
+
4466
+
4467
+
4468
+
4469
+
4470
+
4471
+
4472
+
4473
+
4474
+
4475
+
4476
+
4477
+
4478
+
4479
+
4480
+
4481
+
4482
+
4483
+
4484
+
4485
+
4486
+
4487
+
4488
+
4489
+
4490
+
4491
+
4492
+
4493
+
4494
+
4495
+
4496
+
4497
+
4498
+
4499
+
4500
+
4501
+
4502
+
4503
+
4504
+
4505
+
4506
+
4507
+
4508
+
4509
+
4510
+
4511
+
4512
+
4513
+
4514
+
4515
+
4516
+
4517
+
4518
+
4519
+
4520
+
4521
+
4522
+
4523
+
4524
+
4525
+
4526
+
4527
+
4528
+
4529
+
4530
+
4531
+
4532
+
4533
+
4534
+
4535
+
4536
+
4537
+
4538
+
4539
+
4540
+
4541
+
4542
+
4543
+
4544
+
4545
+
4546
+
4547
+
4548
+
4549
+
4550
+
4551
+
4552
+
4553
+
4554
+
4555
+
4556
+
4557
+
4558
+
4559
+
4560
+
4561
+
4562
+
4563
+
4564
+
4565
+
4566
+
4567
+
4568
+
4569
+
4570
+
4571
+
4572
+
4573
+
4574
+
4575
+
4576
+
4577
+
4578
+
4579
+
4580
+
4581
+
4582
+
4583
+
4584
+
4585
+
4586
+
4587
+
4588
+
4589
+
4590
+
4591
+
4592
+
4593
+
4594
+
4595
+
4596
+
4597
+
4598
+
4599
+
4600
+
4601
+
4602
+
4603
+
4604
+
4605
+
4606
+
4607
+
4608
+
4609
+
4610
+
4611
+
4612
+
4613
+
4614
+
4615
+
4616
+
4617
+
4618
+
4619
+
4620
+
4621
+
4622
+
4623
+
4624
+
4625
+
4626
+
4627
+
4628
+
4629
+
4630
+
4631
+
4632
+
4633
+
4634
+
4635
+
4636
+
4637
+
4638
+
4639
+
4640
+
4641
+
4642
+
4643
+
4644
+
4645
+
4646
+
4647
+
4648
+
4649
+
4650
+
4651
+
4652
+
4653
+
4654
+
4655
+
4656
+
4657
+
4658
+
4659
+
4660
+
4661
+
4662
+
4663
+
4664
+
4665
+
4666
+
4667
+
4668
+
4669
+
4670
+
4671
+
4672
+
4673
+
4674
+
4675
+
4676
+
4677
+
4678
+
4679
+
4680
+
4681
+
4682
+
4683
+
4684
+
4685
+
4686
+
4687
+
4688
+
4689
+
4690
+
4691
+
4692
+
4693
+
4694
+
4695
+
4696
+
4697
+
4698
+
4699
+
4700
+
4701
+
4702
+
4703
+
4704
+
4705
+
4706
+
4707
+
4708
+
4709
+
4710
+
4711
+
4712
+
4713
+
4714
+
4715
+
4716
+
4717
+
4718
+
4719
+
4720
+
4721
+
4722
+
4723
+
4724
+
4725
+
4726
+
4727
+
4728
+
4729
+
4730
+
4731
+
4732
+
4733
+
4734
+
4735
+
4736
+
4737
+
4738
+
4739
+
4740
+
4741
+
4742
+
4743
+
4744
+
4745
+
4746
+
4747
+
4748
+
4749
+
4750
+
4751
+
4752
+
4753
+
4754
+
4755
+
4756
+
4757
+
4758
+
4759
+
4760
+
4761
+
4762
+
4763
+
4764
+
4765
+
4766
+
4767
+
4768
+
4769
+
4770
+
4771
+
4772
+
4773
+
4774
+
4775
+
4776
+
4777
+
4778
+
4779
+
4780
+
4781
+
4782
+
4783
+
4784
+
4785
+
4786
+
4787
+
4788
+
4789
+
4790
+
4791
+
4792
+
4793
+
4794
+
4795
+
4796
+
4797
+
4798
+
4799
+
4800
+
4801
+
4802
+
4803
+
4804
+
4805
+
4806
+
4807
+
4808
+
4809
+
4810
+
4811
+
4812
+
4813
+
4814
+
4815
+
4816
+
4817
+
4818
+
4819
+
4820
+
4821
+
4822
+
4823
+
4824
+
4825
+
4826
+
4827
+
4828
+
4829
+
4830
+
4831
+
4832
+
4833
+
4834
+
4835
+
4836
+
4837
+
4838
+
4839
+
4840
+
4841
+
4842
+
4843
+
4844
+
4845
+
4846
+
4847
+
4848
+
4849
+
4850
+
4851
+
4852
+
4853
+
4854
+
4855
+
4856
+
4857
+
4858
+
4859
+
4860
+
4861
+
4862
+
4863
+
4864
+
4865
+
4866
+
4867
+
4868
+
4869
+
4870
+
4871
+
4872
+
4873
+
4874
+
4875
+
4876
+
4877
+
4878
+
4879
+
4880
+
4881
+
4882
+
4883
+
4884
+
4885
+
4886
+
4887
+
4888
+
4889
+
4890
+
4891
+
4892
+
4893
+
4894
+
4895
+
4896
+
4897
+
4898
+
4899
+
4900
+
4901
+
4902
+
4903
+
4904
+
4905
+
4906
+
4907
+
4908
+
4909
+
4910
+
4911
+
4912
+
4913
+
4914
+
4915
+
4916
+
4917
+
4918
+
4919
+
4920
+
4921
+
4922
+
4923
+
4924
+
4925
+
4926
+
4927
+
4928
+
4929
+
4930
+
4931
+
4932
+
4933
+
4934
+
4935
+
4936
+
4937
+
4938
+
4939
+
4940
+
4941
+
4942
+
4943
+
4944
+
4945
+
4946
+
4947
+
4948
+
4949
+
4950
+
4951
+
4952
+
4953
+
4954
+
4955
+
4956
+
4957
+
4958
+
4959
+
4960
+
4961
+
4962
+
4963
+
4964
+
4965
+
4966
+
4967
+
4968
+
4969
+
4970
+
4971
+
4972
+
4973
+
4974
+
4975
+
4976
+
4977
+
4978
+
4979
+
4980
+
4981
+
4982
+
4983
+
4984
+
4985
+
4986
+
4987
+
4988
+
4989
+
4990
+
4991
+
4992
+
4993
+
4994
+
4995
+
4996
+
4997
+
4998
+
4999
+
5000
+
5001
+
5002
+
5003
+
5004
+
5005
+
5006
+
5007
+
5008
+
5009
+
5010
+
5011
+
5012
+
5013
+
5014
+
5015
+
5016
+
5017
+
5018
+
5019
+
5020
+
5021
+
5022
+
5023
+
5024
+
5025
+
5026
+
5027
+
5028
+
5029
+
5030
+
5031
+
5032
+
5033
+
5034
+
5035
+
5036
+
5037
+
5038
+
5039
+
5040
+
5041
+
5042
+
5043
+
5044
+
5045
+
5046
+
5047
+
5048
+
5049
+
5050
+
5051
+
5052
+
5053
+
5054
+
5055
+
5056
+
5057
+
5058
+
5059
+
5060
+
5061
+
5062
+
5063
+
5064
+
5065
+
5066
+
5067
+
5068
+
5069
+
5070
+
5071
+
5072
+
5073
+
5074
+
5075
+
5076
+
5077
+
5078
+
5079
+
5080
+
5081
+
5082
+
5083
+
5084
+
5085
+
5086
+
5087
+
5088
+
5089
+
5090
+
5091
+
5092
+
5093
+
5094
+
5095
+
5096
+
5097
+
5098
+
5099
+
5100
+
5101
+
5102
+
5103
+
5104
+
5105
+
5106
+
5107
+
5108
+
5109
+
5110
+
5111
+
5112
+
5113
+
5114
+
5115
+
5116
+
5117
+
5118
+
5119
+
5120
+
5121
+
5122
+
5123
+
5124
+
5125
+
5126
+
5127
+
5128
+
5129
+
5130
+
5131
+
5132
+
5133
+
5134
+
5135
+
5136
+
5137
+
5138
+
5139
+
5140
+
5141
+
5142
+
5143
+
5144
+
5145
+
5146
+
5147
+
5148
+
5149
+
5150
+
5151
+
5152
+
5153
+
5154
+
5155
+
5156
+
5157
+
5158
+
5159
+
5160
+
5161
+
5162
+
5163
+
5164
+
5165
+
5166
+
5167
+
5168
+
5169
+
5170
+
5171
+
5172
+
5173
+
5174
+
5175
+
5176
+
5177
+
5178
+
5179
+
5180
+
5181
+
5182
+
5183
+
5184
+
5185
+
5186
+
5187
+
5188
+
5189
+
5190
+
5191
+
5192
+
5193
+
5194
+
5195
+
5196
+
5197
+
5198
+
5199
+
5200
+
5201
+
5202
+ =>> [Global Step] 005198 =>> LR :: 0.000000 -- Loss :: 0.7976: 100%|█████████████████████████████████████████████| 5198/5198 [7:06:02<00:00, 4.68s/it]
5203
+ 03/12 [21:39:13] INFO  | >> [*] Done with Training =>> Finalizing Metrics ]8;id=696414;file:///home/lilei/prismatic-vlms/scripts/pretrain.py\pretrain.py]8;;\:]8;id=68157;file:///home/lilei/prismatic-vlms/scripts/pretrain.py#230\230]8;;\
qformer2_128/wandb/run-20240312_142853-zo3nkbji/files/requirements.txt ADDED
@@ -0,0 +1,122 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ accelerate==0.27.2
2
+ aiohttp==3.9.3
3
+ aiosignal==1.3.1
4
+ annotated-types==0.6.0
5
+ appdirs==1.4.4
6
+ async-timeout==4.0.3
7
+ attrs==23.2.0
8
+ beautifulsoup4==4.12.3
9
+ blis==0.7.11
10
+ catalogue==2.0.10
11
+ certifi==2024.2.2
12
+ charset-normalizer==2.0.4
13
+ click==8.1.7
14
+ cloudpathlib==0.16.0
15
+ confection==0.1.4
16
+ contourpy==1.2.0
17
+ cycler==0.12.1
18
+ cymem==2.0.8
19
+ datasets==2.18.0
20
+ deepspeed==0.13.4
21
+ dill==0.3.8
22
+ docker-pycreds==0.4.0
23
+ draccus==0.7.1
24
+ einops==0.7.0
25
+ filelock==3.13.1
26
+ flash-attn==2.5.5
27
+ fonttools==4.49.0
28
+ frozenlist==1.4.1
29
+ fsspec==2024.2.0
30
+ gdown==5.1.0
31
+ gitdb==4.0.11
32
+ gitpython==3.1.42
33
+ gmpy2==2.1.2
34
+ hjson==3.1.0
35
+ huggingface-hub==0.20.3
36
+ idna==3.4
37
+ install==1.3.5
38
+ jinja2==3.1.3
39
+ jsonlines==4.0.0
40
+ kiwisolver==1.4.5
41
+ langcodes==3.3.0
42
+ markdown-it-py==3.0.0
43
+ markupsafe==2.1.3
44
+ matplotlib==3.8.3
45
+ mdurl==0.1.2
46
+ mergedeep==1.3.4
47
+ mkl-fft==1.3.8
48
+ mkl-random==1.2.4
49
+ mkl-service==2.4.0
50
+ mpmath==1.3.0
51
+ multidict==6.0.5
52
+ multiprocess==0.70.16
53
+ murmurhash==1.0.10
54
+ mypy-extensions==1.0.0
55
+ networkx==3.1
56
+ ninja==1.11.1.1
57
+ numpy==1.26.4
58
+ ocifs==1.3.1
59
+ packaging==23.2
60
+ pandas==2.2.1
61
+ pillow==10.2.0
62
+ pip==23.3.1
63
+ preshed==3.0.9
64
+ prismatic==0.0.1
65
+ protobuf==4.25.3
66
+ psutil==5.9.8
67
+ py-cpuinfo==9.0.0
68
+ pyarrow-hotfix==0.6
69
+ pyarrow==15.0.0
70
+ pycocoevalcap==1.2
71
+ pycocotools==2.0.7
72
+ pydantic-core==2.16.3
73
+ pydantic==2.6.3
74
+ pygments==2.17.2
75
+ pynvml==11.5.0
76
+ pyparsing==3.1.1
77
+ pysocks==1.7.1
78
+ pythainlp==5.0.1
79
+ python-dateutil==2.9.0.post0
80
+ pytz==2024.1
81
+ pyyaml-include==1.3.2
82
+ pyyaml==6.0.1
83
+ regex==2023.12.25
84
+ requests==2.31.0
85
+ rich==13.7.0
86
+ safetensors==0.4.2
87
+ sentencepiece==0.2.0
88
+ sentry-sdk==1.40.5
89
+ setproctitle==1.3.3
90
+ setuptools==68.2.2
91
+ six==1.16.0
92
+ smart-open==6.4.0
93
+ smmap==5.0.1
94
+ soupsieve==2.5
95
+ spacy-legacy==3.0.12
96
+ spacy-loggers==1.0.5
97
+ spacy==3.7.4
98
+ srsly==2.4.8
99
+ sudachidict-core==20240109
100
+ sudachipy==0.6.8
101
+ sympy==1.12
102
+ thinc==8.2.3
103
+ timm==0.9.16
104
+ tokenizers==0.15.2
105
+ toml==0.10.2
106
+ torch==2.2.1
107
+ torchaudio==2.2.1
108
+ torchvision==0.17.1
109
+ tqdm==4.66.2
110
+ transformers==4.38.1
111
+ triton==2.2.0
112
+ typer==0.9.0
113
+ typing-extensions==4.9.0
114
+ typing-inspect==0.9.0
115
+ tzdata==2024.1
116
+ urllib3==2.1.0
117
+ wandb==0.16.3
118
+ wasabi==1.1.2
119
+ weasel==0.3.4
120
+ wheel==0.41.2
121
+ xxhash==3.4.1
122
+ yarl==1.9.4
qformer2_128/wandb/run-20240312_142853-zo3nkbji/files/wandb-metadata.json ADDED
@@ -0,0 +1,1360 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "os": "Linux-5.15.0-1027-oracle-x86_64-with-glibc2.31",
3
+ "python": "3.10.13",
4
+ "heartbeatAt": "2024-03-12T14:28:54.394423",
5
+ "startedAt": "2024-03-12T14:28:53.639298",
6
+ "docker": null,
7
+ "cuda": null,
8
+ "args": [
9
+ "--model.type",
10
+ "one-stage+7b",
11
+ "--model.model_id",
12
+ "one-stage+7b_qformer2_128",
13
+ "--run_id",
14
+ "qformer2_128",
15
+ "--model.arch_specifier",
16
+ "qformer2_128"
17
+ ],
18
+ "state": "running",
19
+ "program": "/home/lilei/prismatic-vlms/scripts/pretrain.py",
20
+ "codePathLocal": "scripts/pretrain.py",
21
+ "codePath": "scripts/pretrain.py",
22
+ "git": {
23
+ "remote": "https://github.com/TRI-ML/prismatic-vlms.git",
24
+ "commit": "b1c33c284c6e76d908c29e5545b00f5b8b4c601f"
25
+ },
26
+ "email": "tobiaslee@qq.com",
27
+ "root": "/home/lilei/prismatic-vlms",
28
+ "host": "compute-permanent-node-815",
29
+ "username": "lilei",
30
+ "executable": "/home/lilei/anaconda3/envs/pvlm/bin/python",
31
+ "cpu_count": 128,
32
+ "cpu_count_logical": 255,
33
+ "cpu_freq": {
34
+ "current": 2571.1995686274513,
35
+ "min": 1500.0,
36
+ "max": 2550.0
37
+ },
38
+ "cpu_freq_per_core": [
39
+ {
40
+ "current": 2550.0,
41
+ "min": 1500.0,
42
+ "max": 2550.0
43
+ },
44
+ {
45
+ "current": 2550.0,
46
+ "min": 1500.0,
47
+ "max": 2550.0
48
+ },
49
+ {
50
+ "current": 2550.0,
51
+ "min": 1500.0,
52
+ "max": 2550.0
53
+ },
54
+ {
55
+ "current": 2550.0,
56
+ "min": 1500.0,
57
+ "max": 2550.0
58
+ },
59
+ {
60
+ "current": 2550.0,
61
+ "min": 1500.0,
62
+ "max": 2550.0
63
+ },
64
+ {
65
+ "current": 2550.0,
66
+ "min": 1500.0,
67
+ "max": 2550.0
68
+ },
69
+ {
70
+ "current": 2550.0,
71
+ "min": 1500.0,
72
+ "max": 2550.0
73
+ },
74
+ {
75
+ "current": 2550.0,
76
+ "min": 1500.0,
77
+ "max": 2550.0
78
+ },
79
+ {
80
+ "current": 2550.0,
81
+ "min": 1500.0,
82
+ "max": 2550.0
83
+ },
84
+ {
85
+ "current": 2550.0,
86
+ "min": 1500.0,
87
+ "max": 2550.0
88
+ },
89
+ {
90
+ "current": 2550.0,
91
+ "min": 1500.0,
92
+ "max": 2550.0
93
+ },
94
+ {
95
+ "current": 2550.0,
96
+ "min": 1500.0,
97
+ "max": 2550.0
98
+ },
99
+ {
100
+ "current": 2550.0,
101
+ "min": 1500.0,
102
+ "max": 2550.0
103
+ },
104
+ {
105
+ "current": 2550.0,
106
+ "min": 1500.0,
107
+ "max": 2550.0
108
+ },
109
+ {
110
+ "current": 2550.0,
111
+ "min": 1500.0,
112
+ "max": 2550.0
113
+ },
114
+ {
115
+ "current": 2550.0,
116
+ "min": 1500.0,
117
+ "max": 2550.0
118
+ },
119
+ {
120
+ "current": 2550.0,
121
+ "min": 1500.0,
122
+ "max": 2550.0
123
+ },
124
+ {
125
+ "current": 2550.0,
126
+ "min": 1500.0,
127
+ "max": 2550.0
128
+ },
129
+ {
130
+ "current": 2550.0,
131
+ "min": 1500.0,
132
+ "max": 2550.0
133
+ },
134
+ {
135
+ "current": 2550.0,
136
+ "min": 1500.0,
137
+ "max": 2550.0
138
+ },
139
+ {
140
+ "current": 2550.0,
141
+ "min": 1500.0,
142
+ "max": 2550.0
143
+ },
144
+ {
145
+ "current": 2550.0,
146
+ "min": 1500.0,
147
+ "max": 2550.0
148
+ },
149
+ {
150
+ "current": 2550.0,
151
+ "min": 1500.0,
152
+ "max": 2550.0
153
+ },
154
+ {
155
+ "current": 2550.0,
156
+ "min": 1500.0,
157
+ "max": 2550.0
158
+ },
159
+ {
160
+ "current": 2550.0,
161
+ "min": 1500.0,
162
+ "max": 2550.0
163
+ },
164
+ {
165
+ "current": 2550.0,
166
+ "min": 1500.0,
167
+ "max": 2550.0
168
+ },
169
+ {
170
+ "current": 2550.0,
171
+ "min": 1500.0,
172
+ "max": 2550.0
173
+ },
174
+ {
175
+ "current": 2550.0,
176
+ "min": 1500.0,
177
+ "max": 2550.0
178
+ },
179
+ {
180
+ "current": 2550.0,
181
+ "min": 1500.0,
182
+ "max": 2550.0
183
+ },
184
+ {
185
+ "current": 2550.0,
186
+ "min": 1500.0,
187
+ "max": 2550.0
188
+ },
189
+ {
190
+ "current": 2550.0,
191
+ "min": 1500.0,
192
+ "max": 2550.0
193
+ },
194
+ {
195
+ "current": 2550.0,
196
+ "min": 1500.0,
197
+ "max": 2550.0
198
+ },
199
+ {
200
+ "current": 2550.0,
201
+ "min": 1500.0,
202
+ "max": 2550.0
203
+ },
204
+ {
205
+ "current": 2550.0,
206
+ "min": 1500.0,
207
+ "max": 2550.0
208
+ },
209
+ {
210
+ "current": 2550.0,
211
+ "min": 1500.0,
212
+ "max": 2550.0
213
+ },
214
+ {
215
+ "current": 2550.0,
216
+ "min": 1500.0,
217
+ "max": 2550.0
218
+ },
219
+ {
220
+ "current": 2550.0,
221
+ "min": 1500.0,
222
+ "max": 2550.0
223
+ },
224
+ {
225
+ "current": 2550.0,
226
+ "min": 1500.0,
227
+ "max": 2550.0
228
+ },
229
+ {
230
+ "current": 3248.918,
231
+ "min": 1500.0,
232
+ "max": 2550.0
233
+ },
234
+ {
235
+ "current": 2550.0,
236
+ "min": 1500.0,
237
+ "max": 2550.0
238
+ },
239
+ {
240
+ "current": 3248.707,
241
+ "min": 1500.0,
242
+ "max": 2550.0
243
+ },
244
+ {
245
+ "current": 2550.0,
246
+ "min": 1500.0,
247
+ "max": 2550.0
248
+ },
249
+ {
250
+ "current": 2550.0,
251
+ "min": 1500.0,
252
+ "max": 2550.0
253
+ },
254
+ {
255
+ "current": 2550.0,
256
+ "min": 1500.0,
257
+ "max": 2550.0
258
+ },
259
+ {
260
+ "current": 2550.0,
261
+ "min": 1500.0,
262
+ "max": 2550.0
263
+ },
264
+ {
265
+ "current": 3249.201,
266
+ "min": 1500.0,
267
+ "max": 2550.0
268
+ },
269
+ {
270
+ "current": 2550.0,
271
+ "min": 1500.0,
272
+ "max": 2550.0
273
+ },
274
+ {
275
+ "current": 2550.0,
276
+ "min": 1500.0,
277
+ "max": 2550.0
278
+ },
279
+ {
280
+ "current": 2550.0,
281
+ "min": 1500.0,
282
+ "max": 2550.0
283
+ },
284
+ {
285
+ "current": 2550.0,
286
+ "min": 1500.0,
287
+ "max": 2550.0
288
+ },
289
+ {
290
+ "current": 2550.0,
291
+ "min": 1500.0,
292
+ "max": 2550.0
293
+ },
294
+ {
295
+ "current": 2550.0,
296
+ "min": 1500.0,
297
+ "max": 2550.0
298
+ },
299
+ {
300
+ "current": 3249.098,
301
+ "min": 1500.0,
302
+ "max": 2550.0
303
+ },
304
+ {
305
+ "current": 2550.0,
306
+ "min": 1500.0,
307
+ "max": 2550.0
308
+ },
309
+ {
310
+ "current": 2550.0,
311
+ "min": 1500.0,
312
+ "max": 2550.0
313
+ },
314
+ {
315
+ "current": 2550.0,
316
+ "min": 1500.0,
317
+ "max": 2550.0
318
+ },
319
+ {
320
+ "current": 2550.0,
321
+ "min": 1500.0,
322
+ "max": 2550.0
323
+ },
324
+ {
325
+ "current": 2550.0,
326
+ "min": 1500.0,
327
+ "max": 2550.0
328
+ },
329
+ {
330
+ "current": 2550.0,
331
+ "min": 1500.0,
332
+ "max": 2550.0
333
+ },
334
+ {
335
+ "current": 2550.0,
336
+ "min": 1500.0,
337
+ "max": 2550.0
338
+ },
339
+ {
340
+ "current": 2550.0,
341
+ "min": 1500.0,
342
+ "max": 2550.0
343
+ },
344
+ {
345
+ "current": 2550.0,
346
+ "min": 1500.0,
347
+ "max": 2550.0
348
+ },
349
+ {
350
+ "current": 2550.0,
351
+ "min": 1500.0,
352
+ "max": 2550.0
353
+ },
354
+ {
355
+ "current": 2550.0,
356
+ "min": 1500.0,
357
+ "max": 2550.0
358
+ },
359
+ {
360
+ "current": 2550.0,
361
+ "min": 1500.0,
362
+ "max": 2550.0
363
+ },
364
+ {
365
+ "current": 2550.0,
366
+ "min": 1500.0,
367
+ "max": 2550.0
368
+ },
369
+ {
370
+ "current": 2550.0,
371
+ "min": 1500.0,
372
+ "max": 2550.0
373
+ },
374
+ {
375
+ "current": 2550.0,
376
+ "min": 1500.0,
377
+ "max": 2550.0
378
+ },
379
+ {
380
+ "current": 2550.0,
381
+ "min": 1500.0,
382
+ "max": 2550.0
383
+ },
384
+ {
385
+ "current": 2550.0,
386
+ "min": 1500.0,
387
+ "max": 2550.0
388
+ },
389
+ {
390
+ "current": 2550.0,
391
+ "min": 1500.0,
392
+ "max": 2550.0
393
+ },
394
+ {
395
+ "current": 2550.0,
396
+ "min": 1500.0,
397
+ "max": 2550.0
398
+ },
399
+ {
400
+ "current": 2550.0,
401
+ "min": 1500.0,
402
+ "max": 2550.0
403
+ },
404
+ {
405
+ "current": 2550.0,
406
+ "min": 1500.0,
407
+ "max": 2550.0
408
+ },
409
+ {
410
+ "current": 2550.0,
411
+ "min": 1500.0,
412
+ "max": 2550.0
413
+ },
414
+ {
415
+ "current": 2550.0,
416
+ "min": 1500.0,
417
+ "max": 2550.0
418
+ },
419
+ {
420
+ "current": 2550.0,
421
+ "min": 1500.0,
422
+ "max": 2550.0
423
+ },
424
+ {
425
+ "current": 2550.0,
426
+ "min": 1500.0,
427
+ "max": 2550.0
428
+ },
429
+ {
430
+ "current": 2550.0,
431
+ "min": 1500.0,
432
+ "max": 2550.0
433
+ },
434
+ {
435
+ "current": 2550.0,
436
+ "min": 1500.0,
437
+ "max": 2550.0
438
+ },
439
+ {
440
+ "current": 2550.0,
441
+ "min": 1500.0,
442
+ "max": 2550.0
443
+ },
444
+ {
445
+ "current": 2550.0,
446
+ "min": 1500.0,
447
+ "max": 2550.0
448
+ },
449
+ {
450
+ "current": 2550.0,
451
+ "min": 1500.0,
452
+ "max": 2550.0
453
+ },
454
+ {
455
+ "current": 2550.0,
456
+ "min": 1500.0,
457
+ "max": 2550.0
458
+ },
459
+ {
460
+ "current": 2550.0,
461
+ "min": 1500.0,
462
+ "max": 2550.0
463
+ },
464
+ {
465
+ "current": 2550.0,
466
+ "min": 1500.0,
467
+ "max": 2550.0
468
+ },
469
+ {
470
+ "current": 2550.0,
471
+ "min": 1500.0,
472
+ "max": 2550.0
473
+ },
474
+ {
475
+ "current": 2550.0,
476
+ "min": 1500.0,
477
+ "max": 2550.0
478
+ },
479
+ {
480
+ "current": 2550.0,
481
+ "min": 1500.0,
482
+ "max": 2550.0
483
+ },
484
+ {
485
+ "current": 2550.0,
486
+ "min": 1500.0,
487
+ "max": 2550.0
488
+ },
489
+ {
490
+ "current": 2550.0,
491
+ "min": 1500.0,
492
+ "max": 2550.0
493
+ },
494
+ {
495
+ "current": 2550.0,
496
+ "min": 1500.0,
497
+ "max": 2550.0
498
+ },
499
+ {
500
+ "current": 2550.0,
501
+ "min": 1500.0,
502
+ "max": 2550.0
503
+ },
504
+ {
505
+ "current": 2550.0,
506
+ "min": 1500.0,
507
+ "max": 2550.0
508
+ },
509
+ {
510
+ "current": 2550.0,
511
+ "min": 1500.0,
512
+ "max": 2550.0
513
+ },
514
+ {
515
+ "current": 2550.0,
516
+ "min": 1500.0,
517
+ "max": 2550.0
518
+ },
519
+ {
520
+ "current": 2550.0,
521
+ "min": 1500.0,
522
+ "max": 2550.0
523
+ },
524
+ {
525
+ "current": 2550.0,
526
+ "min": 1500.0,
527
+ "max": 2550.0
528
+ },
529
+ {
530
+ "current": 2550.0,
531
+ "min": 1500.0,
532
+ "max": 2550.0
533
+ },
534
+ {
535
+ "current": 2550.0,
536
+ "min": 1500.0,
537
+ "max": 2550.0
538
+ },
539
+ {
540
+ "current": 2550.0,
541
+ "min": 1500.0,
542
+ "max": 2550.0
543
+ },
544
+ {
545
+ "current": 2550.0,
546
+ "min": 1500.0,
547
+ "max": 2550.0
548
+ },
549
+ {
550
+ "current": 2550.0,
551
+ "min": 1500.0,
552
+ "max": 2550.0
553
+ },
554
+ {
555
+ "current": 2550.0,
556
+ "min": 1500.0,
557
+ "max": 2550.0
558
+ },
559
+ {
560
+ "current": 2550.0,
561
+ "min": 1500.0,
562
+ "max": 2550.0
563
+ },
564
+ {
565
+ "current": 2550.0,
566
+ "min": 1500.0,
567
+ "max": 2550.0
568
+ },
569
+ {
570
+ "current": 2550.0,
571
+ "min": 1500.0,
572
+ "max": 2550.0
573
+ },
574
+ {
575
+ "current": 2550.0,
576
+ "min": 1500.0,
577
+ "max": 2550.0
578
+ },
579
+ {
580
+ "current": 2550.0,
581
+ "min": 1500.0,
582
+ "max": 2550.0
583
+ },
584
+ {
585
+ "current": 2550.0,
586
+ "min": 1500.0,
587
+ "max": 2550.0
588
+ },
589
+ {
590
+ "current": 2550.0,
591
+ "min": 1500.0,
592
+ "max": 2550.0
593
+ },
594
+ {
595
+ "current": 2550.0,
596
+ "min": 1500.0,
597
+ "max": 2550.0
598
+ },
599
+ {
600
+ "current": 2550.0,
601
+ "min": 1500.0,
602
+ "max": 2550.0
603
+ },
604
+ {
605
+ "current": 2550.0,
606
+ "min": 1500.0,
607
+ "max": 2550.0
608
+ },
609
+ {
610
+ "current": 2550.0,
611
+ "min": 1500.0,
612
+ "max": 2550.0
613
+ },
614
+ {
615
+ "current": 2550.0,
616
+ "min": 1500.0,
617
+ "max": 2550.0
618
+ },
619
+ {
620
+ "current": 2550.0,
621
+ "min": 1500.0,
622
+ "max": 2550.0
623
+ },
624
+ {
625
+ "current": 2550.0,
626
+ "min": 1500.0,
627
+ "max": 2550.0
628
+ },
629
+ {
630
+ "current": 2550.0,
631
+ "min": 1500.0,
632
+ "max": 2550.0
633
+ },
634
+ {
635
+ "current": 2550.0,
636
+ "min": 1500.0,
637
+ "max": 2550.0
638
+ },
639
+ {
640
+ "current": 2550.0,
641
+ "min": 1500.0,
642
+ "max": 2550.0
643
+ },
644
+ {
645
+ "current": 2550.0,
646
+ "min": 1500.0,
647
+ "max": 2550.0
648
+ },
649
+ {
650
+ "current": 2550.0,
651
+ "min": 1500.0,
652
+ "max": 2550.0
653
+ },
654
+ {
655
+ "current": 2550.0,
656
+ "min": 1500.0,
657
+ "max": 2550.0
658
+ },
659
+ {
660
+ "current": 2550.0,
661
+ "min": 1500.0,
662
+ "max": 2550.0
663
+ },
664
+ {
665
+ "current": 2550.0,
666
+ "min": 1500.0,
667
+ "max": 2550.0
668
+ },
669
+ {
670
+ "current": 2550.0,
671
+ "min": 1500.0,
672
+ "max": 2550.0
673
+ },
674
+ {
675
+ "current": 2550.0,
676
+ "min": 1500.0,
677
+ "max": 2550.0
678
+ },
679
+ {
680
+ "current": 2550.0,
681
+ "min": 1500.0,
682
+ "max": 2550.0
683
+ },
684
+ {
685
+ "current": 2550.0,
686
+ "min": 1500.0,
687
+ "max": 2550.0
688
+ },
689
+ {
690
+ "current": 2550.0,
691
+ "min": 1500.0,
692
+ "max": 2550.0
693
+ },
694
+ {
695
+ "current": 2550.0,
696
+ "min": 1500.0,
697
+ "max": 2550.0
698
+ },
699
+ {
700
+ "current": 2550.0,
701
+ "min": 1500.0,
702
+ "max": 2550.0
703
+ },
704
+ {
705
+ "current": 2550.0,
706
+ "min": 1500.0,
707
+ "max": 2550.0
708
+ },
709
+ {
710
+ "current": 2550.0,
711
+ "min": 1500.0,
712
+ "max": 2550.0
713
+ },
714
+ {
715
+ "current": 2550.0,
716
+ "min": 1500.0,
717
+ "max": 2550.0
718
+ },
719
+ {
720
+ "current": 2550.0,
721
+ "min": 1500.0,
722
+ "max": 2550.0
723
+ },
724
+ {
725
+ "current": 2550.0,
726
+ "min": 1500.0,
727
+ "max": 2550.0
728
+ },
729
+ {
730
+ "current": 2550.0,
731
+ "min": 1500.0,
732
+ "max": 2550.0
733
+ },
734
+ {
735
+ "current": 2550.0,
736
+ "min": 1500.0,
737
+ "max": 2550.0
738
+ },
739
+ {
740
+ "current": 2550.0,
741
+ "min": 1500.0,
742
+ "max": 2550.0
743
+ },
744
+ {
745
+ "current": 2550.0,
746
+ "min": 1500.0,
747
+ "max": 2550.0
748
+ },
749
+ {
750
+ "current": 3248.2,
751
+ "min": 1500.0,
752
+ "max": 2550.0
753
+ },
754
+ {
755
+ "current": 2550.0,
756
+ "min": 1500.0,
757
+ "max": 2550.0
758
+ },
759
+ {
760
+ "current": 2550.0,
761
+ "min": 1500.0,
762
+ "max": 2550.0
763
+ },
764
+ {
765
+ "current": 2550.0,
766
+ "min": 1500.0,
767
+ "max": 2550.0
768
+ },
769
+ {
770
+ "current": 2550.0,
771
+ "min": 1500.0,
772
+ "max": 2550.0
773
+ },
774
+ {
775
+ "current": 2550.0,
776
+ "min": 1500.0,
777
+ "max": 2550.0
778
+ },
779
+ {
780
+ "current": 2550.0,
781
+ "min": 1500.0,
782
+ "max": 2550.0
783
+ },
784
+ {
785
+ "current": 2550.0,
786
+ "min": 1500.0,
787
+ "max": 2550.0
788
+ },
789
+ {
790
+ "current": 2550.0,
791
+ "min": 1500.0,
792
+ "max": 2550.0
793
+ },
794
+ {
795
+ "current": 2550.0,
796
+ "min": 1500.0,
797
+ "max": 2550.0
798
+ },
799
+ {
800
+ "current": 2550.0,
801
+ "min": 1500.0,
802
+ "max": 2550.0
803
+ },
804
+ {
805
+ "current": 2550.0,
806
+ "min": 1500.0,
807
+ "max": 2550.0
808
+ },
809
+ {
810
+ "current": 2550.0,
811
+ "min": 1500.0,
812
+ "max": 2550.0
813
+ },
814
+ {
815
+ "current": 2550.0,
816
+ "min": 1500.0,
817
+ "max": 2550.0
818
+ },
819
+ {
820
+ "current": 2550.0,
821
+ "min": 1500.0,
822
+ "max": 2550.0
823
+ },
824
+ {
825
+ "current": 2550.0,
826
+ "min": 1500.0,
827
+ "max": 2550.0
828
+ },
829
+ {
830
+ "current": 2550.0,
831
+ "min": 1500.0,
832
+ "max": 2550.0
833
+ },
834
+ {
835
+ "current": 2550.0,
836
+ "min": 1500.0,
837
+ "max": 2550.0
838
+ },
839
+ {
840
+ "current": 3245.15,
841
+ "min": 1500.0,
842
+ "max": 2550.0
843
+ },
844
+ {
845
+ "current": 3248.386,
846
+ "min": 1500.0,
847
+ "max": 2550.0
848
+ },
849
+ {
850
+ "current": 3248.237,
851
+ "min": 1500.0,
852
+ "max": 2550.0
853
+ },
854
+ {
855
+ "current": 2550.0,
856
+ "min": 1500.0,
857
+ "max": 2550.0
858
+ },
859
+ {
860
+ "current": 2550.0,
861
+ "min": 1500.0,
862
+ "max": 2550.0
863
+ },
864
+ {
865
+ "current": 2550.0,
866
+ "min": 1500.0,
867
+ "max": 2550.0
868
+ },
869
+ {
870
+ "current": 2550.0,
871
+ "min": 1500.0,
872
+ "max": 2550.0
873
+ },
874
+ {
875
+ "current": 2550.0,
876
+ "min": 1500.0,
877
+ "max": 2550.0
878
+ },
879
+ {
880
+ "current": 2550.0,
881
+ "min": 1500.0,
882
+ "max": 2550.0
883
+ },
884
+ {
885
+ "current": 2550.0,
886
+ "min": 1500.0,
887
+ "max": 2550.0
888
+ },
889
+ {
890
+ "current": 2550.0,
891
+ "min": 1500.0,
892
+ "max": 2550.0
893
+ },
894
+ {
895
+ "current": 2550.0,
896
+ "min": 1500.0,
897
+ "max": 2550.0
898
+ },
899
+ {
900
+ "current": 2550.0,
901
+ "min": 1500.0,
902
+ "max": 2550.0
903
+ },
904
+ {
905
+ "current": 2550.0,
906
+ "min": 1500.0,
907
+ "max": 2550.0
908
+ },
909
+ {
910
+ "current": 2550.0,
911
+ "min": 1500.0,
912
+ "max": 2550.0
913
+ },
914
+ {
915
+ "current": 2550.0,
916
+ "min": 1500.0,
917
+ "max": 2550.0
918
+ },
919
+ {
920
+ "current": 2550.0,
921
+ "min": 1500.0,
922
+ "max": 2550.0
923
+ },
924
+ {
925
+ "current": 2550.0,
926
+ "min": 1500.0,
927
+ "max": 2550.0
928
+ },
929
+ {
930
+ "current": 2550.0,
931
+ "min": 1500.0,
932
+ "max": 2550.0
933
+ },
934
+ {
935
+ "current": 2550.0,
936
+ "min": 1500.0,
937
+ "max": 2550.0
938
+ },
939
+ {
940
+ "current": 2550.0,
941
+ "min": 1500.0,
942
+ "max": 2550.0
943
+ },
944
+ {
945
+ "current": 2550.0,
946
+ "min": 1500.0,
947
+ "max": 2550.0
948
+ },
949
+ {
950
+ "current": 2550.0,
951
+ "min": 1500.0,
952
+ "max": 2550.0
953
+ },
954
+ {
955
+ "current": 2550.0,
956
+ "min": 1500.0,
957
+ "max": 2550.0
958
+ },
959
+ {
960
+ "current": 2550.0,
961
+ "min": 1500.0,
962
+ "max": 2550.0
963
+ },
964
+ {
965
+ "current": 2550.0,
966
+ "min": 1500.0,
967
+ "max": 2550.0
968
+ },
969
+ {
970
+ "current": 2550.0,
971
+ "min": 1500.0,
972
+ "max": 2550.0
973
+ },
974
+ {
975
+ "current": 2550.0,
976
+ "min": 1500.0,
977
+ "max": 2550.0
978
+ },
979
+ {
980
+ "current": 2550.0,
981
+ "min": 1500.0,
982
+ "max": 2550.0
983
+ },
984
+ {
985
+ "current": 3248.479,
986
+ "min": 1500.0,
987
+ "max": 2550.0
988
+ },
989
+ {
990
+ "current": 2550.0,
991
+ "min": 1500.0,
992
+ "max": 2550.0
993
+ },
994
+ {
995
+ "current": 2550.0,
996
+ "min": 1500.0,
997
+ "max": 2550.0
998
+ },
999
+ {
1000
+ "current": 2550.0,
1001
+ "min": 1500.0,
1002
+ "max": 2550.0
1003
+ },
1004
+ {
1005
+ "current": 2550.0,
1006
+ "min": 1500.0,
1007
+ "max": 2550.0
1008
+ },
1009
+ {
1010
+ "current": 2550.0,
1011
+ "min": 1500.0,
1012
+ "max": 2550.0
1013
+ },
1014
+ {
1015
+ "current": 2550.0,
1016
+ "min": 1500.0,
1017
+ "max": 2550.0
1018
+ },
1019
+ {
1020
+ "current": 2550.0,
1021
+ "min": 1500.0,
1022
+ "max": 2550.0
1023
+ },
1024
+ {
1025
+ "current": 2550.0,
1026
+ "min": 1500.0,
1027
+ "max": 2550.0
1028
+ },
1029
+ {
1030
+ "current": 2550.0,
1031
+ "min": 1500.0,
1032
+ "max": 2550.0
1033
+ },
1034
+ {
1035
+ "current": 2550.0,
1036
+ "min": 1500.0,
1037
+ "max": 2550.0
1038
+ },
1039
+ {
1040
+ "current": 2550.0,
1041
+ "min": 1500.0,
1042
+ "max": 2550.0
1043
+ },
1044
+ {
1045
+ "current": 2550.0,
1046
+ "min": 1500.0,
1047
+ "max": 2550.0
1048
+ },
1049
+ {
1050
+ "current": 2550.0,
1051
+ "min": 1500.0,
1052
+ "max": 2550.0
1053
+ },
1054
+ {
1055
+ "current": 2550.0,
1056
+ "min": 1500.0,
1057
+ "max": 2550.0
1058
+ },
1059
+ {
1060
+ "current": 2550.0,
1061
+ "min": 1500.0,
1062
+ "max": 2550.0
1063
+ },
1064
+ {
1065
+ "current": 2550.0,
1066
+ "min": 1500.0,
1067
+ "max": 2550.0
1068
+ },
1069
+ {
1070
+ "current": 2550.0,
1071
+ "min": 1500.0,
1072
+ "max": 2550.0
1073
+ },
1074
+ {
1075
+ "current": 2550.0,
1076
+ "min": 1500.0,
1077
+ "max": 2550.0
1078
+ },
1079
+ {
1080
+ "current": 2550.0,
1081
+ "min": 1500.0,
1082
+ "max": 2550.0
1083
+ },
1084
+ {
1085
+ "current": 2550.0,
1086
+ "min": 1500.0,
1087
+ "max": 2550.0
1088
+ },
1089
+ {
1090
+ "current": 2550.0,
1091
+ "min": 1500.0,
1092
+ "max": 2550.0
1093
+ },
1094
+ {
1095
+ "current": 2550.0,
1096
+ "min": 1500.0,
1097
+ "max": 2550.0
1098
+ },
1099
+ {
1100
+ "current": 2550.0,
1101
+ "min": 1500.0,
1102
+ "max": 2550.0
1103
+ },
1104
+ {
1105
+ "current": 2550.0,
1106
+ "min": 1500.0,
1107
+ "max": 2550.0
1108
+ },
1109
+ {
1110
+ "current": 2550.0,
1111
+ "min": 1500.0,
1112
+ "max": 2550.0
1113
+ },
1114
+ {
1115
+ "current": 2550.0,
1116
+ "min": 1500.0,
1117
+ "max": 2550.0
1118
+ },
1119
+ {
1120
+ "current": 2550.0,
1121
+ "min": 1500.0,
1122
+ "max": 2550.0
1123
+ },
1124
+ {
1125
+ "current": 2550.0,
1126
+ "min": 1500.0,
1127
+ "max": 2550.0
1128
+ },
1129
+ {
1130
+ "current": 2550.0,
1131
+ "min": 1500.0,
1132
+ "max": 2550.0
1133
+ },
1134
+ {
1135
+ "current": 2550.0,
1136
+ "min": 1500.0,
1137
+ "max": 2550.0
1138
+ },
1139
+ {
1140
+ "current": 2550.0,
1141
+ "min": 1500.0,
1142
+ "max": 2550.0
1143
+ },
1144
+ {
1145
+ "current": 2550.0,
1146
+ "min": 1500.0,
1147
+ "max": 2550.0
1148
+ },
1149
+ {
1150
+ "current": 2550.0,
1151
+ "min": 1500.0,
1152
+ "max": 2550.0
1153
+ },
1154
+ {
1155
+ "current": 2550.0,
1156
+ "min": 1500.0,
1157
+ "max": 2550.0
1158
+ },
1159
+ {
1160
+ "current": 2550.0,
1161
+ "min": 1500.0,
1162
+ "max": 2550.0
1163
+ },
1164
+ {
1165
+ "current": 2550.0,
1166
+ "min": 1500.0,
1167
+ "max": 2550.0
1168
+ },
1169
+ {
1170
+ "current": 2550.0,
1171
+ "min": 1500.0,
1172
+ "max": 2550.0
1173
+ },
1174
+ {
1175
+ "current": 2550.0,
1176
+ "min": 1500.0,
1177
+ "max": 2550.0
1178
+ },
1179
+ {
1180
+ "current": 2550.0,
1181
+ "min": 1500.0,
1182
+ "max": 2550.0
1183
+ },
1184
+ {
1185
+ "current": 2550.0,
1186
+ "min": 1500.0,
1187
+ "max": 2550.0
1188
+ },
1189
+ {
1190
+ "current": 2550.0,
1191
+ "min": 1500.0,
1192
+ "max": 2550.0
1193
+ },
1194
+ {
1195
+ "current": 2550.0,
1196
+ "min": 1500.0,
1197
+ "max": 2550.0
1198
+ },
1199
+ {
1200
+ "current": 2550.0,
1201
+ "min": 1500.0,
1202
+ "max": 2550.0
1203
+ },
1204
+ {
1205
+ "current": 2550.0,
1206
+ "min": 1500.0,
1207
+ "max": 2550.0
1208
+ },
1209
+ {
1210
+ "current": 2550.0,
1211
+ "min": 1500.0,
1212
+ "max": 2550.0
1213
+ },
1214
+ {
1215
+ "current": 2550.0,
1216
+ "min": 1500.0,
1217
+ "max": 2550.0
1218
+ },
1219
+ {
1220
+ "current": 2550.0,
1221
+ "min": 1500.0,
1222
+ "max": 2550.0
1223
+ },
1224
+ {
1225
+ "current": 2550.0,
1226
+ "min": 1500.0,
1227
+ "max": 2550.0
1228
+ },
1229
+ {
1230
+ "current": 2550.0,
1231
+ "min": 1500.0,
1232
+ "max": 2550.0
1233
+ },
1234
+ {
1235
+ "current": 2550.0,
1236
+ "min": 1500.0,
1237
+ "max": 2550.0
1238
+ },
1239
+ {
1240
+ "current": 2550.0,
1241
+ "min": 1500.0,
1242
+ "max": 2550.0
1243
+ },
1244
+ {
1245
+ "current": 2550.0,
1246
+ "min": 1500.0,
1247
+ "max": 2550.0
1248
+ },
1249
+ {
1250
+ "current": 2550.0,
1251
+ "min": 1500.0,
1252
+ "max": 2550.0
1253
+ },
1254
+ {
1255
+ "current": 2550.0,
1256
+ "min": 1500.0,
1257
+ "max": 2550.0
1258
+ },
1259
+ {
1260
+ "current": 2550.0,
1261
+ "min": 1500.0,
1262
+ "max": 2550.0
1263
+ },
1264
+ {
1265
+ "current": 2550.0,
1266
+ "min": 1500.0,
1267
+ "max": 2550.0
1268
+ },
1269
+ {
1270
+ "current": 2550.0,
1271
+ "min": 1500.0,
1272
+ "max": 2550.0
1273
+ },
1274
+ {
1275
+ "current": 2550.0,
1276
+ "min": 1500.0,
1277
+ "max": 2550.0
1278
+ },
1279
+ {
1280
+ "current": 2550.0,
1281
+ "min": 1500.0,
1282
+ "max": 2550.0
1283
+ },
1284
+ {
1285
+ "current": 2550.0,
1286
+ "min": 1500.0,
1287
+ "max": 2550.0
1288
+ },
1289
+ {
1290
+ "current": 2550.0,
1291
+ "min": 1500.0,
1292
+ "max": 2550.0
1293
+ },
1294
+ {
1295
+ "current": 2550.0,
1296
+ "min": 1500.0,
1297
+ "max": 2550.0
1298
+ },
1299
+ {
1300
+ "current": 2550.0,
1301
+ "min": 1500.0,
1302
+ "max": 2550.0
1303
+ },
1304
+ {
1305
+ "current": 2550.0,
1306
+ "min": 1500.0,
1307
+ "max": 2550.0
1308
+ },
1309
+ {
1310
+ "current": 2550.0,
1311
+ "min": 1500.0,
1312
+ "max": 2550.0
1313
+ }
1314
+ ],
1315
+ "disk": {
1316
+ "/": {
1317
+ "total": 242.1086883544922,
1318
+ "used": 55.302242279052734
1319
+ }
1320
+ },
1321
+ "gpu": "NVIDIA A100-SXM4-80GB",
1322
+ "gpu_count": 8,
1323
+ "gpu_devices": [
1324
+ {
1325
+ "name": "NVIDIA A100-SXM4-80GB",
1326
+ "memory_total": 85899345920
1327
+ },
1328
+ {
1329
+ "name": "NVIDIA A100-SXM4-80GB",
1330
+ "memory_total": 85899345920
1331
+ },
1332
+ {
1333
+ "name": "NVIDIA A100-SXM4-80GB",
1334
+ "memory_total": 85899345920
1335
+ },
1336
+ {
1337
+ "name": "NVIDIA A100-SXM4-80GB",
1338
+ "memory_total": 85899345920
1339
+ },
1340
+ {
1341
+ "name": "NVIDIA A100-SXM4-80GB",
1342
+ "memory_total": 85899345920
1343
+ },
1344
+ {
1345
+ "name": "NVIDIA A100-SXM4-80GB",
1346
+ "memory_total": 85899345920
1347
+ },
1348
+ {
1349
+ "name": "NVIDIA A100-SXM4-80GB",
1350
+ "memory_total": 85899345920
1351
+ },
1352
+ {
1353
+ "name": "NVIDIA A100-SXM4-80GB",
1354
+ "memory_total": 85899345920
1355
+ }
1356
+ ],
1357
+ "memory": {
1358
+ "total": 2015.682991027832
1359
+ }
1360
+ }
qformer2_128/wandb/run-20240312_142853-zo3nkbji/files/wandb-summary.json ADDED
@@ -0,0 +1 @@
 
 
1
+ {"Finetune/Step": 5198, "Finetune/Loss": 0.7975542545318604, "Finetune/Loss (Raw)": 0.8646546006202698, "Finetune/Learning Rate": 0.0, "Finetune/Step Time": 5.1002165004611015, "_timestamp": 1710279305.2482264, "_runtime": 25571.559678316116, "_step": 5198, "_wandb": {"runtime": 25819}}
qformer2_128/wandb/run-20240312_142853-zo3nkbji/logs/debug-internal.log ADDED
The diff for this file is too large to render. See raw diff
 
qformer2_128/wandb/run-20240312_142853-zo3nkbji/logs/debug.log ADDED
@@ -0,0 +1,34 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ 2024-03-12 14:28:53,678 INFO MainThread:1826638 [wandb_setup.py:_flush():76] Current SDK version is 0.16.3
2
+ 2024-03-12 14:28:53,678 INFO MainThread:1826638 [wandb_setup.py:_flush():76] Configure stats pid to 1826638
3
+ 2024-03-12 14:28:53,678 INFO MainThread:1826638 [wandb_setup.py:_flush():76] Loading settings from /home/lilei/.config/wandb/settings
4
+ 2024-03-12 14:28:53,678 INFO MainThread:1826638 [wandb_setup.py:_flush():76] Loading settings from /home/lilei/prismatic-vlms/wandb/settings
5
+ 2024-03-12 14:28:53,678 INFO MainThread:1826638 [wandb_setup.py:_flush():76] Loading settings from environment variables: {}
6
+ 2024-03-12 14:28:53,678 INFO MainThread:1826638 [wandb_setup.py:_flush():76] Applying setup settings: {'_disable_service': False}
7
+ 2024-03-12 14:28:53,678 INFO MainThread:1826638 [wandb_setup.py:_flush():76] Inferring run settings from compute environment: {'program_relpath': 'scripts/pretrain.py', 'program_abspath': '/home/lilei/prismatic-vlms/scripts/pretrain.py', 'program': '/home/lilei/prismatic-vlms/scripts/pretrain.py'}
8
+ 2024-03-12 14:28:53,678 INFO MainThread:1826638 [wandb_init.py:_log_setup():526] Logging user logs to runs/qformer2_128/wandb/run-20240312_142853-zo3nkbji/logs/debug.log
9
+ 2024-03-12 14:28:53,678 INFO MainThread:1826638 [wandb_init.py:_log_setup():527] Logging internal logs to runs/qformer2_128/wandb/run-20240312_142853-zo3nkbji/logs/debug-internal.log
10
+ 2024-03-12 14:28:53,678 INFO MainThread:1826638 [wandb_init.py:init():566] calling init triggers
11
+ 2024-03-12 14:28:53,678 INFO MainThread:1826638 [wandb_init.py:init():573] wandb.init called with sweep_config: {}
12
+ config: {'model': {'type': 'one-stage+7b', 'model_id': 'one-stage+7b_qformer2_128', 'arch_specifier': 'qformer2_128', 'vision_backbone_id': 'clip-vit-l-336px', 'llm_backbone_id': 'vicuna-v15-7b', 'image_resize_strategy': 'letterbox', 'llm_max_length': 2048, 'align_epochs': 1, 'align_max_steps': None, 'align_global_batch_size': 256, 'align_per_device_batch_size': 16, 'align_learning_rate': 0.001, 'align_weight_decay': 0.0, 'align_max_grad_norm': 1.0, 'align_lr_scheduler_type': 'linear-warmup+cosine-decay', 'align_warmup_ratio': 0.03, 'align_train_strategy': 'fsdp-shard-grad-op', 'finetune_epochs': 1, 'finetune_max_steps': None, 'finetune_global_batch_size': 128, 'finetune_per_device_batch_size': 16, 'finetune_learning_rate': 2e-05, 'finetune_weight_decay': 0.1, 'finetune_max_grad_norm': 1.0, 'finetune_lr_scheduler_type': 'linear-warmup+cosine-decay', 'finetune_warmup_ratio': 0.03, 'finetune_train_strategy': 'fsdp-full-shard', 'enable_gradient_checkpointing': True, 'enable_mixed_precision_training': True, 'reduce_in_full_precision': False}, 'dataset': {'type': 'llava-v15', 'dataset_id': 'llava-v15', 'align_stage_components': ['download/llava-laion-cc-sbu-558k/chat.json', 'download/llava-laion-cc-sbu-558k'], 'finetune_stage_components': ['download/llava-v1.5-instruct/llava_v1_5_mix665k.json', 'download/llava-v1.5-instruct'], 'dataset_root_dir': 'data'}, 'stage': 'finetune', 'pretrained_checkpoint': None, 'run_id': 'qformer2_128', 'run_root_dir': 'runs', 'seed': 7, 'hf_token': '.hf_token', 'trackers': ['jsonl', 'wandb'], 'wandb_project': 'hf-vlms', 'wandb_entity': 'lilei_stones', 'max_length': 4096}
13
+ 2024-03-12 14:28:53,678 INFO MainThread:1826638 [wandb_init.py:init():616] starting backend
14
+ 2024-03-12 14:28:53,678 INFO MainThread:1826638 [wandb_init.py:init():620] setting up manager
15
+ 2024-03-12 14:28:53,686 INFO MainThread:1826638 [backend.py:_multiprocessing_setup():105] multiprocessing start_methods=fork,spawn,forkserver, using: spawn
16
+ 2024-03-12 14:28:53,688 INFO MainThread:1826638 [wandb_init.py:init():628] backend started and connected
17
+ 2024-03-12 14:28:53,701 INFO MainThread:1826638 [wandb_init.py:init():720] updated telemetry
18
+ 2024-03-12 14:28:53,719 INFO MainThread:1826638 [wandb_init.py:init():753] communicating run to backend with 90.0 second timeout
19
+ 2024-03-12 14:28:54,229 INFO MainThread:1826638 [wandb_run.py:_on_init():2262] communicating current version
20
+ 2024-03-12 14:28:54,273 INFO MainThread:1826638 [wandb_run.py:_on_init():2271] got version response upgrade_message: "wandb version 0.16.4 is available! To upgrade, please run:\n $ pip install wandb --upgrade"
21
+
22
+ 2024-03-12 14:28:54,273 INFO MainThread:1826638 [wandb_init.py:init():804] starting run threads in backend
23
+ 2024-03-12 14:28:59,052 INFO MainThread:1826638 [wandb_run.py:_console_start():2241] atexit reg
24
+ 2024-03-12 14:28:59,052 INFO MainThread:1826638 [wandb_run.py:_redirect():2096] redirect: wrap_raw
25
+ 2024-03-12 14:28:59,052 INFO MainThread:1826638 [wandb_run.py:_redirect():2161] Wrapping output streams.
26
+ 2024-03-12 14:28:59,052 INFO MainThread:1826638 [wandb_run.py:_redirect():2186] Redirects installed.
27
+ 2024-03-12 14:28:59,053 INFO MainThread:1826638 [wandb_init.py:init():847] run started, returning control to user process
28
+ 2024-03-12 21:39:13,274 INFO MainThread:1826638 [wandb_run.py:_finish():1970] finishing run lilei_stones/hf-vlms/zo3nkbji
29
+ 2024-03-12 21:39:13,275 INFO MainThread:1826638 [wandb_run.py:_atexit_cleanup():2210] got exitcode: 0
30
+ 2024-03-12 21:39:13,275 INFO MainThread:1826638 [wandb_run.py:_restore():2193] restore
31
+ 2024-03-12 21:39:13,275 INFO MainThread:1826638 [wandb_run.py:_restore():2199] restore done
32
+ 2024-03-12 21:39:23,326 INFO MainThread:1826638 [wandb_run.py:_footer_history_summary_info():3866] rendering history
33
+ 2024-03-12 21:39:23,326 INFO MainThread:1826638 [wandb_run.py:_footer_history_summary_info():3898] rendering summary
34
+ 2024-03-12 21:39:23,336 INFO MainThread:1826638 [wandb_run.py:_footer_sync_info():3825] logging synced files
qformer2_128/wandb/run-20240312_142853-zo3nkbji/run-zo3nkbji.wandb ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:50613d50b5ac873911c6151848de586e16bc337cd465c8d050a36f2bd8fa66a8
3
+ size 12537234
qformer2_256/checkpoints/latest-checkpoint.pt ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:71fa610c966fd33aece634123f5d64bb5d771634891037615d56067c9f0fa99d
3
+ size 28824506550
qformer2_256/config.json ADDED
@@ -0,0 +1,60 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "dataset": {
3
+ "align_stage_components": [
4
+ "download/llava-laion-cc-sbu-558k/chat.json",
5
+ "download/llava-laion-cc-sbu-558k"
6
+ ],
7
+ "dataset_id": "llava-v15",
8
+ "dataset_root_dir": "data",
9
+ "finetune_stage_components": [
10
+ "download/llava-v1.5-instruct/llava_v1_5_mix665k.json",
11
+ "download/llava-v1.5-instruct"
12
+ ],
13
+ "type": "llava-v15"
14
+ },
15
+ "hf_token": ".hf_token",
16
+ "max_length": 4096,
17
+ "model": {
18
+ "align_epochs": 1,
19
+ "align_global_batch_size": 256,
20
+ "align_learning_rate": 0.001,
21
+ "align_lr_scheduler_type": "linear-warmup+cosine-decay",
22
+ "align_max_grad_norm": 1.0,
23
+ "align_max_steps": null,
24
+ "align_per_device_batch_size": 16,
25
+ "align_train_strategy": "fsdp-shard-grad-op",
26
+ "align_warmup_ratio": 0.03,
27
+ "align_weight_decay": 0.0,
28
+ "arch_specifier": "qformer2_256",
29
+ "enable_gradient_checkpointing": true,
30
+ "enable_mixed_precision_training": true,
31
+ "finetune_epochs": 1,
32
+ "finetune_global_batch_size": 128,
33
+ "finetune_learning_rate": 2e-05,
34
+ "finetune_lr_scheduler_type": "linear-warmup+cosine-decay",
35
+ "finetune_max_grad_norm": 1.0,
36
+ "finetune_max_steps": null,
37
+ "finetune_per_device_batch_size": 16,
38
+ "finetune_train_strategy": "fsdp-full-shard",
39
+ "finetune_warmup_ratio": 0.03,
40
+ "finetune_weight_decay": 0.1,
41
+ "image_resize_strategy": "letterbox",
42
+ "llm_backbone_id": "vicuna-v15-7b",
43
+ "llm_max_length": 2048,
44
+ "model_id": "one-stage+7b_qformer2_256",
45
+ "reduce_in_full_precision": false,
46
+ "type": "one-stage+7b",
47
+ "vision_backbone_id": "clip-vit-l-336px"
48
+ },
49
+ "pretrained_checkpoint": null,
50
+ "run_id": "qformer2_256",
51
+ "run_root_dir": "runs",
52
+ "seed": 7,
53
+ "stage": "finetune",
54
+ "trackers": [
55
+ "jsonl",
56
+ "wandb"
57
+ ],
58
+ "wandb_entity": "lilei_stones",
59
+ "wandb_project": "hf-vlms"
60
+ }
qformer2_256/config.yaml ADDED
@@ -0,0 +1,53 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ dataset:
2
+ align_stage_components:
3
+ - download/llava-laion-cc-sbu-558k/chat.json
4
+ - download/llava-laion-cc-sbu-558k
5
+ dataset_id: llava-v15
6
+ dataset_root_dir: data
7
+ finetune_stage_components:
8
+ - download/llava-v1.5-instruct/llava_v1_5_mix665k.json
9
+ - download/llava-v1.5-instruct
10
+ type: llava-v15
11
+ hf_token: .hf_token
12
+ max_length: 4096
13
+ model:
14
+ align_epochs: 1
15
+ align_global_batch_size: 256
16
+ align_learning_rate: 0.001
17
+ align_lr_scheduler_type: linear-warmup+cosine-decay
18
+ align_max_grad_norm: 1.0
19
+ align_max_steps: null
20
+ align_per_device_batch_size: 16
21
+ align_train_strategy: fsdp-shard-grad-op
22
+ align_warmup_ratio: 0.03
23
+ align_weight_decay: 0.0
24
+ arch_specifier: qformer2_256
25
+ enable_gradient_checkpointing: true
26
+ enable_mixed_precision_training: true
27
+ finetune_epochs: 1
28
+ finetune_global_batch_size: 128
29
+ finetune_learning_rate: 2.0e-05
30
+ finetune_lr_scheduler_type: linear-warmup+cosine-decay
31
+ finetune_max_grad_norm: 1.0
32
+ finetune_max_steps: null
33
+ finetune_per_device_batch_size: 16
34
+ finetune_train_strategy: fsdp-full-shard
35
+ finetune_warmup_ratio: 0.03
36
+ finetune_weight_decay: 0.1
37
+ image_resize_strategy: letterbox
38
+ llm_backbone_id: vicuna-v15-7b
39
+ llm_max_length: 2048
40
+ model_id: one-stage+7b_qformer2_256
41
+ reduce_in_full_precision: false
42
+ type: one-stage+7b
43
+ vision_backbone_id: clip-vit-l-336px
44
+ pretrained_checkpoint: null
45
+ run_id: qformer2_256
46
+ run_root_dir: runs
47
+ seed: 7
48
+ stage: finetune
49
+ trackers:
50
+ - jsonl
51
+ - wandb
52
+ wandb_entity: lilei_stones
53
+ wandb_project: hf-vlms
qformer2_256/qformer2_256.jsonl ADDED
The diff for this file is too large to render. See raw diff
 
qformer2_256/run-metrics.jsonl ADDED
@@ -0,0 +1 @@
 
 
1
+ {"hparams": {"dataset": {"align_stage_components": ["download/llava-laion-cc-sbu-558k/chat.json", "download/llava-laion-cc-sbu-558k"], "dataset_id": "llava-v15", "dataset_root_dir": "data", "finetune_stage_components": ["download/llava-v1.5-instruct/llava_v1_5_mix665k.json", "download/llava-v1.5-instruct"], "type": "llava-v15"}, "hf_token": ".hf_token", "max_length": 4096, "model": {"align_epochs": 1, "align_global_batch_size": 256, "align_learning_rate": 0.001, "align_lr_scheduler_type": "linear-warmup+cosine-decay", "align_max_grad_norm": 1.0, "align_max_steps": null, "align_per_device_batch_size": 16, "align_train_strategy": "fsdp-shard-grad-op", "align_warmup_ratio": 0.03, "align_weight_decay": 0.0, "arch_specifier": "qformer2_256", "enable_gradient_checkpointing": true, "enable_mixed_precision_training": true, "finetune_epochs": 1, "finetune_global_batch_size": 128, "finetune_learning_rate": 2e-05, "finetune_lr_scheduler_type": "linear-warmup+cosine-decay", "finetune_max_grad_norm": 1.0, "finetune_max_steps": null, "finetune_per_device_batch_size": 16, "finetune_train_strategy": "fsdp-full-shard", "finetune_warmup_ratio": 0.03, "finetune_weight_decay": 0.1, "image_resize_strategy": "letterbox", "llm_backbone_id": "vicuna-v15-7b", "llm_max_length": 2048, "model_id": "one-stage+7b_qformer2_256", "reduce_in_full_precision": false, "type": "one-stage+7b", "vision_backbone_id": "clip-vit-l-336px"}, "pretrained_checkpoint": null, "run_id": "qformer2_256", "run_root_dir": "runs", "seed": 7, "stage": "finetune", "trackers": ["jsonl", "wandb"], "wandb_entity": "lilei_stones", "wandb_project": "hf-vlms"}, "run_id": "qformer2_256"}
qformer2_256/wandb/debug-internal.log ADDED
@@ -0,0 +1 @@
 
 
1
+ run-20240312_142903-yrs4wcl6/logs/debug-internal.log
qformer2_256/wandb/debug.log ADDED
@@ -0,0 +1 @@
 
 
1
+ run-20240312_142903-yrs4wcl6/logs/debug.log
qformer2_256/wandb/latest-run ADDED
@@ -0,0 +1 @@
 
 
1
+ run-20240312_142903-yrs4wcl6
qformer2_256/wandb/run-20240312_142903-yrs4wcl6/files/conda-environment.yaml ADDED
@@ -0,0 +1,194 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ name: pvlm
2
+ channels:
3
+ - pytorch
4
+ - nvidia
5
+ - defaults
6
+ dependencies:
7
+ - _libgcc_mutex=0.1=main
8
+ - _openmp_mutex=5.1=1_gnu
9
+ - blas=1.0=mkl
10
+ - bzip2=1.0.8=h7b6447c_0
11
+ - ca-certificates=2023.12.12=h06a4308_0
12
+ - certifi=2024.2.2=py310h06a4308_0
13
+ - charset-normalizer=2.0.4=pyhd3eb1b0_0
14
+ - cuda-cudart=11.8.89=0
15
+ - cuda-cupti=11.8.87=0
16
+ - cuda-libraries=11.8.0=0
17
+ - cuda-nvrtc=11.8.89=0
18
+ - cuda-nvtx=11.8.86=0
19
+ - cuda-runtime=11.8.0=0
20
+ - ffmpeg=4.3=hf484d3e_0
21
+ - filelock=3.13.1=py310h06a4308_0
22
+ - freetype=2.12.1=h4a9f257_0
23
+ - gmp=6.2.1=h295c915_3
24
+ - gmpy2=2.1.2=py310heeb90bb_0
25
+ - gnutls=3.6.15=he1e5248_0
26
+ - idna=3.4=py310h06a4308_0
27
+ - intel-openmp=2023.1.0=hdb19cb5_46306
28
+ - jinja2=3.1.3=py310h06a4308_0
29
+ - jpeg=9e=h5eee18b_1
30
+ - lame=3.100=h7b6447c_0
31
+ - lcms2=2.12=h3be6417_0
32
+ - ld_impl_linux-64=2.38=h1181459_1
33
+ - lerc=3.0=h295c915_0
34
+ - libcublas=11.11.3.6=0
35
+ - libcufft=10.9.0.58=0
36
+ - libcufile=1.8.1.2=0
37
+ - libcurand=10.3.4.107=0
38
+ - libcusolver=11.4.1.48=0
39
+ - libcusparse=11.7.5.86=0
40
+ - libdeflate=1.17=h5eee18b_1
41
+ - libffi=3.4.4=h6a678d5_0
42
+ - libgcc-ng=11.2.0=h1234567_1
43
+ - libgomp=11.2.0=h1234567_1
44
+ - libiconv=1.16=h7f8727e_2
45
+ - libidn2=2.3.4=h5eee18b_0
46
+ - libjpeg-turbo=2.0.0=h9bf148f_0
47
+ - libnpp=11.8.0.86=0
48
+ - libnvjpeg=11.9.0.86=0
49
+ - libpng=1.6.39=h5eee18b_0
50
+ - libstdcxx-ng=11.2.0=h1234567_1
51
+ - libtasn1=4.19.0=h5eee18b_0
52
+ - libtiff=4.5.1=h6a678d5_0
53
+ - libunistring=0.9.10=h27cfd23_0
54
+ - libuuid=1.41.5=h5eee18b_0
55
+ - libwebp-base=1.3.2=h5eee18b_0
56
+ - llvm-openmp=14.0.6=h9e868ea_0
57
+ - lz4-c=1.9.4=h6a678d5_0
58
+ - markupsafe=2.1.3=py310h5eee18b_0
59
+ - mkl=2023.1.0=h213fc3f_46344
60
+ - mkl-service=2.4.0=py310h5eee18b_1
61
+ - mkl_fft=1.3.8=py310h5eee18b_0
62
+ - mkl_random=1.2.4=py310hdb19cb5_0
63
+ - mpc=1.1.0=h10f8cd9_1
64
+ - mpfr=4.0.2=hb69a4c5_1
65
+ - mpmath=1.3.0=py310h06a4308_0
66
+ - ncurses=6.4=h6a678d5_0
67
+ - nettle=3.7.3=hbbd107a_1
68
+ - networkx=3.1=py310h06a4308_0
69
+ - numpy=1.26.4=py310h5f9d8c6_0
70
+ - numpy-base=1.26.4=py310hb5e798b_0
71
+ - openh264=2.1.1=h4ff587b_0
72
+ - openjpeg=2.4.0=h3ad879b_0
73
+ - openssl=3.0.13=h7f8727e_0
74
+ - pillow=10.2.0=py310h5eee18b_0
75
+ - pip=23.3.1=py310h06a4308_0
76
+ - python=3.10.13=h955ad1f_0
77
+ - pytorch=2.2.1=py3.10_cuda11.8_cudnn8.7.0_0
78
+ - pytorch-cuda=11.8=h7e8668a_5
79
+ - pytorch-mutex=1.0=cuda
80
+ - pyyaml=6.0.1=py310h5eee18b_0
81
+ - readline=8.2=h5eee18b_0
82
+ - requests=2.31.0=py310h06a4308_1
83
+ - setuptools=68.2.2=py310h06a4308_0
84
+ - sqlite=3.41.2=h5eee18b_0
85
+ - sympy=1.12=py310h06a4308_0
86
+ - tbb=2021.8.0=hdb19cb5_0
87
+ - tk=8.6.12=h1ccaba5_0
88
+ - torchaudio=2.2.1=py310_cu118
89
+ - torchtriton=2.2.0=py310
90
+ - torchvision=0.17.1=py310_cu118
91
+ - typing_extensions=4.9.0=py310h06a4308_1
92
+ - urllib3=2.1.0=py310h06a4308_0
93
+ - wheel=0.41.2=py310h06a4308_0
94
+ - xz=5.4.5=h5eee18b_0
95
+ - yaml=0.2.5=h7b6447c_0
96
+ - zlib=1.2.13=h5eee18b_0
97
+ - zstd=1.5.5=hc292b87_0
98
+ - pip:
99
+ - accelerate==0.27.2
100
+ - aiohttp==3.9.3
101
+ - aiosignal==1.3.1
102
+ - annotated-types==0.6.0
103
+ - appdirs==1.4.4
104
+ - async-timeout==4.0.3
105
+ - attrs==23.2.0
106
+ - beautifulsoup4==4.12.3
107
+ - blis==0.7.11
108
+ - catalogue==2.0.10
109
+ - click==8.1.7
110
+ - cloudpathlib==0.16.0
111
+ - confection==0.1.4
112
+ - contourpy==1.2.0
113
+ - cycler==0.12.1
114
+ - cymem==2.0.8
115
+ - datasets==2.18.0
116
+ - deepspeed==0.13.4
117
+ - dill==0.3.8
118
+ - docker-pycreds==0.4.0
119
+ - draccus==0.7.1
120
+ - einops==0.7.0
121
+ - flash-attn==2.5.5
122
+ - fonttools==4.49.0
123
+ - frozenlist==1.4.1
124
+ - fsspec==2024.2.0
125
+ - gdown==5.1.0
126
+ - gitdb==4.0.11
127
+ - gitpython==3.1.42
128
+ - hjson==3.1.0
129
+ - huggingface-hub==0.20.3
130
+ - install==1.3.5
131
+ - jsonlines==4.0.0
132
+ - kiwisolver==1.4.5
133
+ - langcodes==3.3.0
134
+ - markdown-it-py==3.0.0
135
+ - matplotlib==3.8.3
136
+ - mdurl==0.1.2
137
+ - mergedeep==1.3.4
138
+ - multidict==6.0.5
139
+ - multiprocess==0.70.16
140
+ - murmurhash==1.0.10
141
+ - mypy-extensions==1.0.0
142
+ - ninja==1.11.1.1
143
+ - packaging==23.2
144
+ - pandas==2.2.1
145
+ - preshed==3.0.9
146
+ - prismatic==0.0.1
147
+ - protobuf==4.25.3
148
+ - psutil==5.9.8
149
+ - py-cpuinfo==9.0.0
150
+ - pyarrow==15.0.0
151
+ - pyarrow-hotfix==0.6
152
+ - pycocoevalcap==1.2
153
+ - pycocotools==2.0.7
154
+ - pydantic==2.6.3
155
+ - pydantic-core==2.16.3
156
+ - pygments==2.17.2
157
+ - pynvml==11.5.0
158
+ - pyparsing==3.1.1
159
+ - pysocks==1.7.1
160
+ - pythainlp==5.0.1
161
+ - python-dateutil==2.9.0.post0
162
+ - pytz==2024.1
163
+ - pyyaml-include==1.3.2
164
+ - regex==2023.12.25
165
+ - rich==13.7.0
166
+ - safetensors==0.4.2
167
+ - sentencepiece==0.2.0
168
+ - sentry-sdk==1.40.5
169
+ - setproctitle==1.3.3
170
+ - six==1.16.0
171
+ - smart-open==6.4.0
172
+ - smmap==5.0.1
173
+ - soupsieve==2.5
174
+ - spacy==3.7.4
175
+ - spacy-legacy==3.0.12
176
+ - spacy-loggers==1.0.5
177
+ - srsly==2.4.8
178
+ - sudachidict-core==20240109
179
+ - sudachipy==0.6.8
180
+ - thinc==8.2.3
181
+ - timm==0.9.16
182
+ - tokenizers==0.15.2
183
+ - toml==0.10.2
184
+ - tqdm==4.66.2
185
+ - transformers==4.38.1
186
+ - typer==0.9.0
187
+ - typing-inspect==0.9.0
188
+ - tzdata==2024.1
189
+ - wandb==0.16.3
190
+ - wasabi==1.1.2
191
+ - weasel==0.3.4
192
+ - xxhash==3.4.1
193
+ - yarl==1.9.4
194
+ prefix: /home/lilei/anaconda3/envs/pvlm
qformer2_256/wandb/run-20240312_142903-yrs4wcl6/files/config.yaml ADDED
@@ -0,0 +1,119 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ wandb_version: 1
2
+
3
+ model:
4
+ desc: null
5
+ value:
6
+ type: one-stage+7b
7
+ model_id: one-stage+7b_qformer2_256
8
+ arch_specifier: qformer2_256
9
+ vision_backbone_id: clip-vit-l-336px
10
+ llm_backbone_id: vicuna-v15-7b
11
+ image_resize_strategy: letterbox
12
+ llm_max_length: 2048
13
+ align_epochs: 1
14
+ align_max_steps: null
15
+ align_global_batch_size: 256
16
+ align_per_device_batch_size: 16
17
+ align_learning_rate: 0.001
18
+ align_weight_decay: 0.0
19
+ align_max_grad_norm: 1.0
20
+ align_lr_scheduler_type: linear-warmup+cosine-decay
21
+ align_warmup_ratio: 0.03
22
+ align_train_strategy: fsdp-shard-grad-op
23
+ finetune_epochs: 1
24
+ finetune_max_steps: null
25
+ finetune_global_batch_size: 128
26
+ finetune_per_device_batch_size: 16
27
+ finetune_learning_rate: 2.0e-05
28
+ finetune_weight_decay: 0.1
29
+ finetune_max_grad_norm: 1.0
30
+ finetune_lr_scheduler_type: linear-warmup+cosine-decay
31
+ finetune_warmup_ratio: 0.03
32
+ finetune_train_strategy: fsdp-full-shard
33
+ enable_gradient_checkpointing: true
34
+ enable_mixed_precision_training: true
35
+ reduce_in_full_precision: false
36
+ dataset:
37
+ desc: null
38
+ value:
39
+ type: llava-v15
40
+ dataset_id: llava-v15
41
+ align_stage_components:
42
+ - download/llava-laion-cc-sbu-558k/chat.json
43
+ - download/llava-laion-cc-sbu-558k
44
+ finetune_stage_components:
45
+ - download/llava-v1.5-instruct/llava_v1_5_mix665k.json
46
+ - download/llava-v1.5-instruct
47
+ dataset_root_dir: data
48
+ stage:
49
+ desc: null
50
+ value: finetune
51
+ pretrained_checkpoint:
52
+ desc: null
53
+ value: null
54
+ run_id:
55
+ desc: null
56
+ value: qformer2_256
57
+ run_root_dir:
58
+ desc: null
59
+ value: runs
60
+ seed:
61
+ desc: null
62
+ value: 7
63
+ hf_token:
64
+ desc: null
65
+ value: .hf_token
66
+ trackers:
67
+ desc: null
68
+ value:
69
+ - jsonl
70
+ - wandb
71
+ wandb_project:
72
+ desc: null
73
+ value: hf-vlms
74
+ wandb_entity:
75
+ desc: null
76
+ value: lilei_stones
77
+ max_length:
78
+ desc: null
79
+ value: 4096
80
+ _wandb:
81
+ desc: null
82
+ value:
83
+ python_version: 3.10.13
84
+ cli_version: 0.16.3
85
+ framework: huggingface
86
+ huggingface_version: 4.38.1
87
+ is_jupyter_run: false
88
+ is_kaggle_kernel: false
89
+ start_time: 1710253743.636872
90
+ t:
91
+ 1:
92
+ - 1
93
+ - 11
94
+ - 41
95
+ - 49
96
+ - 51
97
+ - 55
98
+ - 63
99
+ - 71
100
+ 2:
101
+ - 1
102
+ - 11
103
+ - 41
104
+ - 49
105
+ - 51
106
+ - 55
107
+ - 63
108
+ - 71
109
+ 3:
110
+ - 2
111
+ - 13
112
+ - 16
113
+ - 23
114
+ 4: 3.10.13
115
+ 5: 0.16.3
116
+ 6: 4.38.1
117
+ 8:
118
+ - 5
119
+ 13: linux-x86_64
qformer2_256/wandb/run-20240312_142903-yrs4wcl6/files/output.log ADDED
@@ -0,0 +1,5203 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+
2
+ 03/12 [14:29:13] INFO  | >> [*] Starting Training Loop ]8;id=72103;file:///home/lilei/prismatic-vlms/scripts/pretrain.py\pretrain.py]8;;\:]8;id=880770;file:///home/lilei/prismatic-vlms/scripts/pretrain.py#226\226]8;;\
3
+
4
+
5
+
6
+
7
+
8
+
9
+
10
+
11
+
12
+
13
+
14
+
15
+
16
+
17
+
18
+
19
+
20
+
21
+
22
+
23
+
24
+
25
+
26
+
27
+
28
+
29
+
30
+
31
+
32
+
33
+
34
+
35
+
36
+
37
+
38
+
39
+
40
+
41
+
42
+
43
+
44
+
45
+
46
+
47
+
48
+
49
+
50
+
51
+
52
+
53
+
54
+
55
+
56
+
57
+
58
+
59
+
60
+
61
+
62
+
63
+
64
+
65
+
66
+
67
+
68
+
69
+
70
+
71
+
72
+
73
+
74
+
75
+
76
+
77
+
78
+
79
+
80
+
81
+
82
+
83
+
84
+
85
+
86
+
87
+
88
+
89
+
90
+
91
+
92
+
93
+
94
+
95
+
96
+
97
+
98
+
99
+
100
+
101
+
102
+
103
+
104
+
105
+
106
+
107
+
108
+
109
+
110
+
111
+
112
+
113
+
114
+
115
+
116
+
117
+
118
+
119
+
120
+
121
+
122
+
123
+
124
+
125
+
126
+
127
+
128
+
129
+
130
+
131
+
132
+
133
+
134
+
135
+
136
+
137
+
138
+
139
+
140
+
141
+
142
+
143
+
144
+
145
+
146
+
147
+
148
+
149
+
150
+
151
+
152
+
153
+
154
+
155
+
156
+
157
+
158
+
159
+
160
+
161
+
162
+
163
+
164
+
165
+
166
+
167
+
168
+
169
+
170
+
171
+
172
+
173
+
174
+
175
+
176
+
177
+
178
+
179
+
180
+
181
+
182
+
183
+
184
+
185
+
186
+
187
+
188
+
189
+
190
+
191
+
192
+
193
+
194
+
195
+
196
+
197
+
198
+
199
+
200
+
201
+
202
+
203
+
204
+
205
+
206
+
207
+
208
+
209
+
210
+
211
+
212
+
213
+
214
+
215
+
216
+
217
+
218
+
219
+
220
+
221
+
222
+
223
+
224
+
225
+
226
+
227
+
228
+
229
+
230
+
231
+
232
+
233
+
234
+
235
+
236
+
237
+
238
+
239
+
240
+
241
+
242
+
243
+
244
+
245
+
246
+
247
+
248
+
249
+
250
+
251
+
252
+
253
+
254
+
255
+
256
+
257
+
258
+
259
+
260
+
261
+
262
+
263
+
264
+
265
+
266
+
267
+
268
+
269
+
270
+
271
+
272
+
273
+
274
+
275
+
276
+
277
+
278
+
279
+
280
+
281
+
282
+
283
+
284
+
285
+
286
+
287
+
288
+
289
+
290
+
291
+
292
+
293
+
294
+
295
+
296
+
297
+
298
+
299
+
300
+
301
+
302
+
303
+
304
+
305
+
306
+
307
+
308
+
309
+
310
+
311
+
312
+
313
+
314
+
315
+
316
+
317
+
318
+
319
+
320
+
321
+
322
+
323
+
324
+
325
+
326
+
327
+
328
+
329
+
330
+
331
+
332
+
333
+
334
+
335
+
336
+
337
+
338
+
339
+
340
+
341
+
342
+
343
+
344
+
345
+
346
+
347
+
348
+
349
+
350
+
351
+
352
+
353
+
354
+
355
+
356
+
357
+
358
+
359
+
360
+
361
+
362
+
363
+
364
+
365
+
366
+
367
+
368
+
369
+
370
+
371
+
372
+
373
+
374
+
375
+
376
+
377
+
378
+
379
+
380
+
381
+
382
+
383
+
384
+
385
+
386
+
387
+
388
+
389
+
390
+
391
+
392
+
393
+
394
+
395
+
396
+
397
+
398
+
399
+
400
+
401
+
402
+
403
+
404
+
405
+
406
+
407
+
408
+
409
+
410
+
411
+
412
+
413
+
414
+
415
+
416
+
417
+
418
+
419
+
420
+
421
+
422
+
423
+
424
+
425
+
426
+
427
+
428
+
429
+
430
+
431
+
432
+
433
+
434
+
435
+
436
+
437
+
438
+
439
+
440
+
441
+
442
+
443
+
444
+
445
+
446
+
447
+
448
+
449
+
450
+
451
+
452
+
453
+
454
+
455
+
456
+
457
+
458
+
459
+
460
+
461
+
462
+
463
+
464
+
465
+
466
+
467
+
468
+
469
+
470
+
471
+
472
+
473
+
474
+
475
+
476
+
477
+
478
+
479
+
480
+
481
+
482
+
483
+
484
+
485
+
486
+
487
+
488
+
489
+
490
+
491
+
492
+
493
+
494
+
495
+
496
+
497
+
498
+
499
+
500
+
501
+
502
+
503
+
504
+
505
+
506
+
507
+
508
+
509
+
510
+
511
+
512
+
513
+
514
+
515
+
516
+
517
+
518
+
519
+
520
+
521
+
522
+
523
+
524
+
525
+
526
+
527
+
528
+
529
+
530
+
531
+
532
+
533
+
534
+
535
+
536
+
537
+
538
+
539
+
540
+
541
+
542
+
543
+
544
+
545
+
546
+
547
+
548
+
549
+
550
+
551
+
552
+
553
+
554
+
555
+
556
+
557
+
558
+
559
+
560
+
561
+
562
+
563
+
564
+
565
+
566
+
567
+
568
+
569
+
570
+
571
+
572
+
573
+
574
+
575
+
576
+
577
+
578
+
579
+
580
+
581
+
582
+
583
+
584
+
585
+
586
+
587
+
588
+
589
+
590
+
591
+
592
+
593
+
594
+
595
+
596
+
597
+
598
+
599
+
600
+
601
+
602
+
603
+
604
+
605
+
606
+
607
+
608
+
609
+
610
+
611
+
612
+
613
+
614
+
615
+
616
+
617
+
618
+
619
+
620
+
621
+
622
+
623
+
624
+
625
+
626
+
627
+
628
+
629
+
630
+
631
+
632
+
633
+
634
+
635
+
636
+
637
+
638
+
639
+
640
+
641
+
642
+
643
+
644
+
645
+
646
+
647
+
648
+
649
+
650
+
651
+
652
+
653
+
654
+
655
+
656
+
657
+
658
+
659
+
660
+
661
+
662
+
663
+
664
+
665
+
666
+
667
+
668
+
669
+
670
+
671
+
672
+
673
+
674
+
675
+
676
+
677
+
678
+
679
+
680
+
681
+
682
+
683
+
684
+
685
+
686
+
687
+
688
+
689
+
690
+
691
+
692
+
693
+
694
+
695
+
696
+
697
+
698
+
699
+
700
+
701
+
702
+
703
+
704
+
705
+
706
+
707
+
708
+
709
+
710
+
711
+
712
+
713
+
714
+
715
+
716
+
717
+
718
+
719
+
720
+
721
+
722
+
723
+
724
+
725
+
726
+
727
+
728
+
729
+
730
+
731
+
732
+
733
+
734
+
735
+
736
+
737
+
738
+
739
+
740
+
741
+
742
+
743
+
744
+
745
+
746
+
747
+
748
+
749
+
750
+
751
+
752
+
753
+
754
+
755
+
756
+
757
+
758
+
759
+
760
+
761
+
762
+
763
+
764
+
765
+
766
+
767
+
768
+
769
+
770
+
771
+
772
+
773
+
774
+
775
+
776
+
777
+
778
+
779
+
780
+
781
+
782
+
783
+
784
+
785
+
786
+
787
+
788
+
789
+
790
+
791
+
792
+
793
+
794
+
795
+
796
+
797
+
798
+
799
+
800
+
801
+
802
+
803
+
804
+
805
+
806
+
807
+
808
+
809
+
810
+
811
+
812
+
813
+
814
+
815
+
816
+
817
+
818
+
819
+
820
+
821
+
822
+
823
+
824
+
825
+
826
+
827
+
828
+
829
+
830
+
831
+
832
+
833
+
834
+
835
+
836
+
837
+
838
+
839
+
840
+
841
+
842
+
843
+
844
+
845
+
846
+
847
+
848
+
849
+
850
+
851
+
852
+
853
+
854
+
855
+
856
+
857
+
858
+
859
+
860
+
861
+
862
+
863
+
864
+
865
+
866
+
867
+
868
+
869
+
870
+
871
+
872
+
873
+
874
+
875
+
876
+
877
+
878
+
879
+
880
+
881
+
882
+
883
+
884
+
885
+
886
+
887
+
888
+
889
+
890
+
891
+
892
+
893
+
894
+
895
+
896
+
897
+
898
+
899
+
900
+
901
+
902
+
903
+
904
+
905
+
906
+
907
+
908
+
909
+
910
+
911
+
912
+
913
+
914
+
915
+
916
+
917
+
918
+
919
+
920
+
921
+
922
+
923
+
924
+
925
+
926
+
927
+
928
+
929
+
930
+
931
+
932
+
933
+
934
+
935
+
936
+
937
+
938
+
939
+
940
+
941
+
942
+
943
+
944
+
945
+
946
+
947
+
948
+
949
+
950
+
951
+
952
+
953
+
954
+
955
+
956
+
957
+
958
+
959
+
960
+
961
+
962
+
963
+
964
+
965
+
966
+
967
+
968
+
969
+
970
+
971
+
972
+
973
+
974
+
975
+
976
+
977
+
978
+
979
+
980
+
981
+
982
+
983
+
984
+
985
+
986
+
987
+
988
+
989
+
990
+
991
+
992
+
993
+
994
+
995
+
996
+
997
+
998
+
999
+
1000
+
1001
+
1002
+
1003
+
1004
+
1005
+
1006
+
1007
+
1008
+
1009
+
1010
+
1011
+
1012
+
1013
+
1014
+
1015
+
1016
+
1017
+
1018
+
1019
+
1020
+
1021
+
1022
+
1023
+
1024
+
1025
+
1026
+
1027
+
1028
+
1029
+
1030
+
1031
+
1032
+
1033
+
1034
+
1035
+
1036
+
1037
+
1038
+
1039
+
1040
+
1041
+
1042
+
1043
+
1044
+
1045
+
1046
+
1047
+
1048
+
1049
+
1050
+
1051
+
1052
+
1053
+
1054
+
1055
+
1056
+
1057
+
1058
+
1059
+
1060
+
1061
+
1062
+
1063
+
1064
+
1065
+
1066
+
1067
+
1068
+
1069
+
1070
+
1071
+
1072
+
1073
+
1074
+
1075
+
1076
+
1077
+
1078
+
1079
+
1080
+
1081
+
1082
+
1083
+
1084
+
1085
+
1086
+
1087
+
1088
+
1089
+
1090
+
1091
+
1092
+
1093
+
1094
+
1095
+
1096
+
1097
+
1098
+
1099
+
1100
+
1101
+
1102
+
1103
+
1104
+
1105
+
1106
+
1107
+
1108
+
1109
+
1110
+
1111
+
1112
+
1113
+
1114
+
1115
+
1116
+
1117
+
1118
+
1119
+
1120
+
1121
+
1122
+
1123
+
1124
+
1125
+
1126
+
1127
+
1128
+
1129
+
1130
+
1131
+
1132
+
1133
+
1134
+
1135
+
1136
+
1137
+
1138
+
1139
+
1140
+
1141
+
1142
+
1143
+
1144
+
1145
+
1146
+
1147
+
1148
+
1149
+
1150
+
1151
+
1152
+
1153
+
1154
+
1155
+
1156
+
1157
+
1158
+
1159
+
1160
+
1161
+
1162
+
1163
+
1164
+
1165
+
1166
+
1167
+
1168
+
1169
+
1170
+
1171
+
1172
+
1173
+
1174
+
1175
+
1176
+
1177
+
1178
+
1179
+
1180
+
1181
+
1182
+
1183
+
1184
+
1185
+
1186
+
1187
+
1188
+
1189
+
1190
+
1191
+
1192
+
1193
+
1194
+
1195
+
1196
+
1197
+
1198
+
1199
+
1200
+
1201
+
1202
+
1203
+
1204
+
1205
+
1206
+
1207
+
1208
+
1209
+
1210
+
1211
+
1212
+
1213
+
1214
+
1215
+
1216
+
1217
+
1218
+
1219
+
1220
+
1221
+
1222
+
1223
+
1224
+
1225
+
1226
+
1227
+
1228
+
1229
+
1230
+
1231
+
1232
+
1233
+
1234
+
1235
+
1236
+
1237
+
1238
+
1239
+
1240
+
1241
+
1242
+
1243
+
1244
+
1245
+
1246
+
1247
+
1248
+
1249
+
1250
+
1251
+
1252
+
1253
+
1254
+
1255
+
1256
+
1257
+
1258
+
1259
+
1260
+
1261
+
1262
+
1263
+
1264
+
1265
+
1266
+
1267
+
1268
+
1269
+
1270
+
1271
+
1272
+
1273
+
1274
+
1275
+
1276
+
1277
+
1278
+
1279
+
1280
+
1281
+
1282
+
1283
+
1284
+
1285
+
1286
+
1287
+
1288
+
1289
+
1290
+
1291
+
1292
+
1293
+
1294
+
1295
+
1296
+
1297
+
1298
+
1299
+
1300
+
1301
+
1302
+
1303
+
1304
+
1305
+
1306
+
1307
+
1308
+
1309
+
1310
+
1311
+
1312
+
1313
+
1314
+
1315
+
1316
+
1317
+
1318
+
1319
+
1320
+
1321
+
1322
+
1323
+
1324
+
1325
+
1326
+
1327
+
1328
+
1329
+
1330
+
1331
+
1332
+
1333
+
1334
+
1335
+
1336
+
1337
+
1338
+
1339
+
1340
+
1341
+
1342
+
1343
+
1344
+
1345
+
1346
+
1347
+
1348
+
1349
+
1350
+
1351
+
1352
+
1353
+
1354
+
1355
+
1356
+
1357
+
1358
+
1359
+
1360
+
1361
+
1362
+
1363
+
1364
+
1365
+
1366
+
1367
+
1368
+
1369
+
1370
+
1371
+
1372
+
1373
+
1374
+
1375
+
1376
+
1377
+
1378
+
1379
+
1380
+
1381
+
1382
+
1383
+
1384
+
1385
+
1386
+
1387
+
1388
+
1389
+
1390
+
1391
+
1392
+
1393
+
1394
+
1395
+
1396
+
1397
+
1398
+
1399
+
1400
+
1401
+
1402
+
1403
+
1404
+
1405
+
1406
+
1407
+
1408
+
1409
+
1410
+
1411
+
1412
+
1413
+
1414
+
1415
+
1416
+
1417
+
1418
+
1419
+
1420
+
1421
+
1422
+
1423
+
1424
+
1425
+
1426
+
1427
+
1428
+
1429
+
1430
+
1431
+
1432
+
1433
+
1434
+
1435
+
1436
+
1437
+
1438
+
1439
+
1440
+
1441
+
1442
+
1443
+
1444
+
1445
+
1446
+
1447
+
1448
+
1449
+
1450
+
1451
+
1452
+
1453
+
1454
+
1455
+
1456
+
1457
+
1458
+
1459
+
1460
+
1461
+
1462
+
1463
+
1464
+
1465
+
1466
+
1467
+
1468
+
1469
+
1470
+
1471
+
1472
+
1473
+
1474
+
1475
+
1476
+
1477
+
1478
+
1479
+
1480
+
1481
+
1482
+
1483
+
1484
+
1485
+
1486
+
1487
+
1488
+
1489
+
1490
+
1491
+
1492
+
1493
+
1494
+
1495
+
1496
+
1497
+
1498
+
1499
+
1500
+
1501
+
1502
+
1503
+
1504
+
1505
+
1506
+
1507
+
1508
+
1509
+
1510
+
1511
+
1512
+
1513
+
1514
+
1515
+
1516
+
1517
+
1518
+
1519
+
1520
+
1521
+
1522
+
1523
+
1524
+
1525
+
1526
+
1527
+
1528
+
1529
+
1530
+
1531
+
1532
+
1533
+
1534
+
1535
+
1536
+
1537
+
1538
+
1539
+
1540
+
1541
+
1542
+
1543
+
1544
+
1545
+
1546
+
1547
+
1548
+
1549
+
1550
+
1551
+
1552
+
1553
+
1554
+
1555
+
1556
+
1557
+
1558
+
1559
+
1560
+
1561
+
1562
+
1563
+
1564
+
1565
+
1566
+
1567
+
1568
+
1569
+
1570
+
1571
+
1572
+
1573
+
1574
+
1575
+
1576
+
1577
+
1578
+
1579
+
1580
+
1581
+
1582
+
1583
+
1584
+
1585
+
1586
+
1587
+
1588
+
1589
+
1590
+
1591
+
1592
+
1593
+
1594
+
1595
+
1596
+
1597
+
1598
+
1599
+
1600
+
1601
+
1602
+
1603
+
1604
+
1605
+
1606
+
1607
+
1608
+
1609
+
1610
+
1611
+
1612
+
1613
+
1614
+
1615
+
1616
+
1617
+
1618
+
1619
+
1620
+
1621
+
1622
+
1623
+
1624
+
1625
+
1626
+
1627
+
1628
+
1629
+
1630
+
1631
+
1632
+
1633
+
1634
+
1635
+
1636
+
1637
+
1638
+
1639
+
1640
+
1641
+
1642
+
1643
+
1644
+
1645
+
1646
+
1647
+
1648
+
1649
+
1650
+
1651
+
1652
+
1653
+
1654
+
1655
+
1656
+
1657
+
1658
+
1659
+
1660
+
1661
+
1662
+
1663
+
1664
+
1665
+
1666
+
1667
+
1668
+
1669
+
1670
+
1671
+
1672
+
1673
+
1674
+
1675
+
1676
+
1677
+
1678
+
1679
+
1680
+
1681
+
1682
+
1683
+
1684
+
1685
+
1686
+
1687
+
1688
+
1689
+
1690
+
1691
+
1692
+
1693
+
1694
+
1695
+
1696
+
1697
+
1698
+
1699
+
1700
+
1701
+
1702
+
1703
+
1704
+
1705
+
1706
+
1707
+
1708
+
1709
+
1710
+
1711
+
1712
+
1713
+
1714
+
1715
+
1716
+
1717
+
1718
+
1719
+
1720
+
1721
+
1722
+
1723
+
1724
+
1725
+
1726
+
1727
+
1728
+
1729
+
1730
+
1731
+
1732
+
1733
+
1734
+
1735
+
1736
+
1737
+
1738
+
1739
+
1740
+
1741
+
1742
+
1743
+
1744
+
1745
+
1746
+
1747
+
1748
+
1749
+
1750
+
1751
+
1752
+
1753
+
1754
+
1755
+
1756
+
1757
+
1758
+
1759
+
1760
+
1761
+
1762
+
1763
+
1764
+
1765
+
1766
+
1767
+
1768
+
1769
+
1770
+
1771
+
1772
+
1773
+
1774
+
1775
+
1776
+
1777
+
1778
+
1779
+
1780
+
1781
+
1782
+
1783
+
1784
+
1785
+
1786
+
1787
+
1788
+
1789
+
1790
+
1791
+
1792
+
1793
+
1794
+
1795
+
1796
+
1797
+
1798
+
1799
+
1800
+
1801
+
1802
+
1803
+
1804
+
1805
+
1806
+
1807
+
1808
+
1809
+
1810
+
1811
+
1812
+
1813
+
1814
+
1815
+
1816
+
1817
+
1818
+
1819
+
1820
+
1821
+
1822
+
1823
+
1824
+
1825
+
1826
+
1827
+
1828
+
1829
+
1830
+
1831
+
1832
+
1833
+
1834
+
1835
+
1836
+
1837
+
1838
+
1839
+
1840
+
1841
+
1842
+
1843
+
1844
+
1845
+
1846
+
1847
+
1848
+
1849
+
1850
+
1851
+
1852
+
1853
+
1854
+
1855
+
1856
+
1857
+
1858
+
1859
+
1860
+
1861
+
1862
+
1863
+
1864
+
1865
+
1866
+
1867
+
1868
+
1869
+
1870
+
1871
+
1872
+
1873
+
1874
+
1875
+
1876
+
1877
+
1878
+
1879
+
1880
+
1881
+
1882
+
1883
+
1884
+
1885
+
1886
+
1887
+
1888
+
1889
+
1890
+
1891
+
1892
+
1893
+
1894
+
1895
+
1896
+
1897
+
1898
+
1899
+
1900
+
1901
+
1902
+
1903
+
1904
+
1905
+
1906
+
1907
+
1908
+
1909
+
1910
+
1911
+
1912
+
1913
+
1914
+
1915
+
1916
+
1917
+
1918
+
1919
+
1920
+
1921
+
1922
+
1923
+
1924
+
1925
+
1926
+
1927
+
1928
+
1929
+
1930
+
1931
+
1932
+
1933
+
1934
+
1935
+
1936
+
1937
+
1938
+
1939
+
1940
+
1941
+
1942
+
1943
+
1944
+
1945
+
1946
+
1947
+
1948
+
1949
+
1950
+
1951
+
1952
+
1953
+
1954
+
1955
+
1956
+
1957
+
1958
+
1959
+
1960
+
1961
+
1962
+
1963
+
1964
+
1965
+
1966
+
1967
+
1968
+
1969
+
1970
+
1971
+
1972
+
1973
+
1974
+
1975
+
1976
+
1977
+
1978
+
1979
+
1980
+
1981
+
1982
+
1983
+
1984
+
1985
+
1986
+
1987
+
1988
+
1989
+
1990
+
1991
+
1992
+
1993
+
1994
+
1995
+
1996
+
1997
+
1998
+
1999
+
2000
+
2001
+
2002
+
2003
+
2004
+
2005
+
2006
+
2007
+
2008
+
2009
+
2010
+
2011
+
2012
+
2013
+
2014
+
2015
+
2016
+
2017
+
2018
+
2019
+
2020
+
2021
+
2022
+
2023
+
2024
+
2025
+
2026
+
2027
+
2028
+
2029
+
2030
+
2031
+
2032
+
2033
+
2034
+
2035
+
2036
+
2037
+
2038
+
2039
+
2040
+
2041
+
2042
+
2043
+
2044
+
2045
+
2046
+
2047
+
2048
+
2049
+
2050
+
2051
+
2052
+
2053
+
2054
+
2055
+
2056
+
2057
+
2058
+
2059
+
2060
+
2061
+
2062
+
2063
+
2064
+
2065
+
2066
+
2067
+
2068
+
2069
+
2070
+
2071
+
2072
+
2073
+
2074
+
2075
+
2076
+
2077
+
2078
+
2079
+
2080
+
2081
+
2082
+
2083
+
2084
+
2085
+
2086
+
2087
+
2088
+
2089
+
2090
+
2091
+
2092
+
2093
+
2094
+
2095
+
2096
+
2097
+
2098
+
2099
+
2100
+
2101
+
2102
+
2103
+
2104
+
2105
+
2106
+
2107
+
2108
+
2109
+
2110
+
2111
+
2112
+
2113
+
2114
+
2115
+
2116
+
2117
+
2118
+
2119
+
2120
+
2121
+
2122
+
2123
+
2124
+
2125
+
2126
+
2127
+
2128
+
2129
+
2130
+
2131
+
2132
+
2133
+
2134
+
2135
+
2136
+
2137
+
2138
+
2139
+
2140
+
2141
+
2142
+
2143
+
2144
+
2145
+
2146
+
2147
+
2148
+
2149
+
2150
+
2151
+
2152
+
2153
+
2154
+
2155
+
2156
+
2157
+
2158
+
2159
+
2160
+
2161
+
2162
+
2163
+
2164
+
2165
+
2166
+
2167
+
2168
+
2169
+
2170
+
2171
+
2172
+
2173
+
2174
+
2175
+
2176
+
2177
+
2178
+
2179
+
2180
+
2181
+
2182
+
2183
+
2184
+
2185
+
2186
+
2187
+
2188
+
2189
+
2190
+
2191
+
2192
+
2193
+
2194
+
2195
+
2196
+
2197
+
2198
+
2199
+
2200
+
2201
+
2202
+
2203
+
2204
+
2205
+
2206
+
2207
+
2208
+
2209
+
2210
+
2211
+
2212
+
2213
+
2214
+
2215
+
2216
+
2217
+
2218
+
2219
+
2220
+
2221
+
2222
+
2223
+
2224
+
2225
+
2226
+
2227
+
2228
+
2229
+
2230
+
2231
+
2232
+
2233
+
2234
+
2235
+
2236
+
2237
+
2238
+
2239
+
2240
+
2241
+
2242
+
2243
+
2244
+
2245
+
2246
+
2247
+
2248
+
2249
+
2250
+
2251
+
2252
+
2253
+
2254
+
2255
+
2256
+
2257
+
2258
+
2259
+
2260
+
2261
+
2262
+
2263
+
2264
+
2265
+
2266
+
2267
+
2268
+
2269
+
2270
+
2271
+
2272
+
2273
+
2274
+
2275
+
2276
+
2277
+
2278
+
2279
+
2280
+
2281
+
2282
+
2283
+
2284
+
2285
+
2286
+
2287
+
2288
+
2289
+
2290
+
2291
+
2292
+
2293
+
2294
+
2295
+
2296
+
2297
+
2298
+
2299
+
2300
+
2301
+
2302
+
2303
+
2304
+
2305
+
2306
+
2307
+
2308
+
2309
+
2310
+
2311
+
2312
+
2313
+
2314
+
2315
+
2316
+
2317
+
2318
+
2319
+
2320
+
2321
+
2322
+
2323
+
2324
+
2325
+
2326
+
2327
+
2328
+
2329
+
2330
+
2331
+
2332
+
2333
+
2334
+
2335
+
2336
+
2337
+
2338
+
2339
+
2340
+
2341
+
2342
+
2343
+
2344
+
2345
+
2346
+
2347
+
2348
+
2349
+
2350
+
2351
+
2352
+
2353
+
2354
+
2355
+
2356
+
2357
+
2358
+
2359
+
2360
+
2361
+
2362
+
2363
+
2364
+
2365
+
2366
+
2367
+
2368
+
2369
+
2370
+
2371
+
2372
+
2373
+
2374
+
2375
+
2376
+
2377
+
2378
+
2379
+
2380
+
2381
+
2382
+
2383
+
2384
+
2385
+
2386
+
2387
+
2388
+
2389
+
2390
+
2391
+
2392
+
2393
+
2394
+
2395
+
2396
+
2397
+
2398
+
2399
+
2400
+
2401
+
2402
+
2403
+
2404
+
2405
+
2406
+
2407
+
2408
+
2409
+
2410
+
2411
+
2412
+
2413
+
2414
+
2415
+
2416
+
2417
+
2418
+
2419
+
2420
+
2421
+
2422
+
2423
+
2424
+
2425
+
2426
+
2427
+
2428
+
2429
+
2430
+
2431
+
2432
+
2433
+
2434
+
2435
+
2436
+
2437
+
2438
+
2439
+
2440
+
2441
+
2442
+
2443
+
2444
+
2445
+
2446
+
2447
+
2448
+
2449
+
2450
+
2451
+
2452
+
2453
+
2454
+
2455
+
2456
+
2457
+
2458
+
2459
+
2460
+
2461
+
2462
+
2463
+
2464
+
2465
+
2466
+
2467
+
2468
+
2469
+
2470
+
2471
+
2472
+
2473
+
2474
+
2475
+
2476
+
2477
+
2478
+
2479
+
2480
+
2481
+
2482
+
2483
+
2484
+
2485
+
2486
+
2487
+
2488
+
2489
+
2490
+
2491
+
2492
+
2493
+
2494
+
2495
+
2496
+
2497
+
2498
+
2499
+
2500
+
2501
+
2502
+
2503
+
2504
+
2505
+
2506
+
2507
+
2508
+
2509
+
2510
+
2511
+
2512
+
2513
+
2514
+
2515
+
2516
+
2517
+
2518
+
2519
+
2520
+
2521
+
2522
+
2523
+
2524
+
2525
+
2526
+
2527
+
2528
+
2529
+
2530
+
2531
+
2532
+
2533
+
2534
+
2535
+
2536
+
2537
+
2538
+
2539
+
2540
+
2541
+
2542
+
2543
+
2544
+
2545
+
2546
+
2547
+
2548
+
2549
+
2550
+
2551
+
2552
+
2553
+
2554
+
2555
+
2556
+
2557
+
2558
+
2559
+
2560
+
2561
+
2562
+
2563
+
2564
+
2565
+
2566
+
2567
+
2568
+
2569
+
2570
+
2571
+
2572
+
2573
+
2574
+
2575
+
2576
+
2577
+
2578
+
2579
+
2580
+
2581
+
2582
+
2583
+
2584
+
2585
+
2586
+
2587
+
2588
+
2589
+
2590
+
2591
+
2592
+
2593
+
2594
+
2595
+
2596
+
2597
+
2598
+
2599
+
2600
+
2601
+
2602
+
2603
+
2604
+
2605
+
2606
+
2607
+
2608
+
2609
+
2610
+
2611
+
2612
+
2613
+
2614
+
2615
+
2616
+
2617
+
2618
+
2619
+
2620
+
2621
+
2622
+
2623
+
2624
+
2625
+
2626
+
2627
+
2628
+
2629
+
2630
+
2631
+
2632
+
2633
+
2634
+
2635
+
2636
+
2637
+
2638
+
2639
+
2640
+
2641
+
2642
+
2643
+
2644
+
2645
+
2646
+
2647
+
2648
+
2649
+
2650
+
2651
+
2652
+
2653
+
2654
+
2655
+
2656
+
2657
+
2658
+
2659
+
2660
+
2661
+
2662
+
2663
+
2664
+
2665
+
2666
+
2667
+
2668
+
2669
+
2670
+
2671
+
2672
+
2673
+
2674
+
2675
+
2676
+
2677
+
2678
+
2679
+
2680
+
2681
+
2682
+
2683
+
2684
+
2685
+
2686
+
2687
+
2688
+
2689
+
2690
+
2691
+
2692
+
2693
+
2694
+
2695
+
2696
+
2697
+
2698
+
2699
+
2700
+
2701
+
2702
+
2703
+
2704
+
2705
+
2706
+
2707
+
2708
+
2709
+
2710
+
2711
+
2712
+
2713
+
2714
+
2715
+
2716
+
2717
+
2718
+
2719
+
2720
+
2721
+
2722
+
2723
+
2724
+
2725
+
2726
+
2727
+
2728
+
2729
+
2730
+
2731
+
2732
+
2733
+
2734
+
2735
+
2736
+
2737
+
2738
+
2739
+
2740
+
2741
+
2742
+
2743
+
2744
+
2745
+
2746
+
2747
+
2748
+
2749
+
2750
+
2751
+
2752
+
2753
+
2754
+
2755
+
2756
+
2757
+
2758
+
2759
+
2760
+
2761
+
2762
+
2763
+
2764
+
2765
+
2766
+
2767
+
2768
+
2769
+
2770
+
2771
+
2772
+
2773
+
2774
+
2775
+
2776
+
2777
+
2778
+
2779
+
2780
+
2781
+
2782
+
2783
+
2784
+
2785
+
2786
+
2787
+
2788
+
2789
+
2790
+
2791
+
2792
+
2793
+
2794
+
2795
+
2796
+
2797
+
2798
+
2799
+
2800
+
2801
+
2802
+
2803
+
2804
+
2805
+
2806
+
2807
+
2808
+
2809
+
2810
+
2811
+
2812
+
2813
+
2814
+
2815
+
2816
+
2817
+
2818
+
2819
+
2820
+
2821
+
2822
+
2823
+
2824
+
2825
+
2826
+
2827
+
2828
+
2829
+
2830
+
2831
+
2832
+
2833
+
2834
+
2835
+
2836
+
2837
+
2838
+
2839
+
2840
+
2841
+
2842
+
2843
+
2844
+
2845
+
2846
+
2847
+
2848
+
2849
+
2850
+
2851
+
2852
+
2853
+
2854
+
2855
+
2856
+
2857
+
2858
+
2859
+
2860
+
2861
+
2862
+
2863
+
2864
+
2865
+
2866
+
2867
+
2868
+
2869
+
2870
+
2871
+
2872
+
2873
+
2874
+
2875
+
2876
+
2877
+
2878
+
2879
+
2880
+
2881
+
2882
+
2883
+
2884
+
2885
+
2886
+
2887
+
2888
+
2889
+
2890
+
2891
+
2892
+
2893
+
2894
+
2895
+
2896
+
2897
+
2898
+
2899
+
2900
+
2901
+
2902
+
2903
+
2904
+
2905
+
2906
+
2907
+
2908
+
2909
+
2910
+
2911
+
2912
+
2913
+
2914
+
2915
+
2916
+
2917
+
2918
+
2919
+
2920
+
2921
+
2922
+
2923
+
2924
+
2925
+
2926
+
2927
+
2928
+
2929
+
2930
+
2931
+
2932
+
2933
+
2934
+
2935
+
2936
+
2937
+
2938
+
2939
+
2940
+
2941
+
2942
+
2943
+
2944
+
2945
+
2946
+
2947
+
2948
+
2949
+
2950
+
2951
+
2952
+
2953
+
2954
+
2955
+
2956
+
2957
+
2958
+
2959
+
2960
+
2961
+
2962
+
2963
+
2964
+
2965
+
2966
+
2967
+
2968
+
2969
+
2970
+
2971
+
2972
+
2973
+
2974
+
2975
+
2976
+
2977
+
2978
+
2979
+
2980
+
2981
+
2982
+
2983
+
2984
+
2985
+
2986
+
2987
+
2988
+
2989
+
2990
+
2991
+
2992
+
2993
+
2994
+
2995
+
2996
+
2997
+
2998
+
2999
+
3000
+
3001
+
3002
+
3003
+
3004
+
3005
+
3006
+
3007
+
3008
+
3009
+
3010
+
3011
+
3012
+
3013
+
3014
+
3015
+
3016
+
3017
+
3018
+
3019
+
3020
+
3021
+
3022
+
3023
+
3024
+
3025
+
3026
+
3027
+
3028
+
3029
+
3030
+
3031
+
3032
+
3033
+
3034
+
3035
+
3036
+
3037
+
3038
+
3039
+
3040
+
3041
+
3042
+
3043
+
3044
+
3045
+
3046
+
3047
+
3048
+
3049
+
3050
+
3051
+
3052
+
3053
+
3054
+
3055
+
3056
+
3057
+
3058
+
3059
+
3060
+
3061
+
3062
+
3063
+
3064
+
3065
+
3066
+
3067
+
3068
+
3069
+
3070
+
3071
+
3072
+
3073
+
3074
+
3075
+
3076
+
3077
+
3078
+
3079
+
3080
+
3081
+
3082
+
3083
+
3084
+
3085
+
3086
+
3087
+
3088
+
3089
+
3090
+
3091
+
3092
+
3093
+
3094
+
3095
+
3096
+
3097
+
3098
+
3099
+
3100
+
3101
+
3102
+
3103
+
3104
+
3105
+
3106
+
3107
+
3108
+
3109
+
3110
+
3111
+
3112
+
3113
+
3114
+
3115
+
3116
+
3117
+
3118
+
3119
+
3120
+
3121
+
3122
+
3123
+
3124
+
3125
+
3126
+
3127
+
3128
+
3129
+
3130
+
3131
+
3132
+
3133
+
3134
+
3135
+
3136
+
3137
+
3138
+
3139
+
3140
+
3141
+
3142
+
3143
+
3144
+
3145
+
3146
+
3147
+
3148
+
3149
+
3150
+
3151
+
3152
+
3153
+
3154
+
3155
+
3156
+
3157
+
3158
+
3159
+
3160
+
3161
+
3162
+
3163
+
3164
+
3165
+
3166
+
3167
+
3168
+
3169
+
3170
+
3171
+
3172
+
3173
+
3174
+
3175
+
3176
+
3177
+
3178
+
3179
+
3180
+
3181
+
3182
+
3183
+
3184
+
3185
+
3186
+
3187
+
3188
+
3189
+
3190
+
3191
+
3192
+
3193
+
3194
+
3195
+
3196
+
3197
+
3198
+
3199
+
3200
+
3201
+
3202
+
3203
+
3204
+
3205
+
3206
+
3207
+
3208
+
3209
+
3210
+
3211
+
3212
+
3213
+
3214
+
3215
+
3216
+
3217
+
3218
+
3219
+
3220
+
3221
+
3222
+
3223
+
3224
+
3225
+
3226
+
3227
+
3228
+
3229
+
3230
+
3231
+
3232
+
3233
+
3234
+
3235
+
3236
+
3237
+
3238
+
3239
+
3240
+
3241
+
3242
+
3243
+
3244
+
3245
+
3246
+
3247
+
3248
+
3249
+
3250
+
3251
+
3252
+
3253
+
3254
+
3255
+
3256
+
3257
+
3258
+
3259
+
3260
+
3261
+
3262
+
3263
+
3264
+
3265
+
3266
+
3267
+
3268
+
3269
+
3270
+
3271
+
3272
+
3273
+
3274
+
3275
+
3276
+
3277
+
3278
+
3279
+
3280
+
3281
+
3282
+
3283
+
3284
+
3285
+
3286
+
3287
+
3288
+
3289
+
3290
+
3291
+
3292
+
3293
+
3294
+
3295
+
3296
+
3297
+
3298
+
3299
+
3300
+
3301
+
3302
+
3303
+
3304
+
3305
+
3306
+
3307
+
3308
+
3309
+
3310
+
3311
+
3312
+
3313
+
3314
+
3315
+
3316
+
3317
+
3318
+
3319
+
3320
+
3321
+
3322
+
3323
+
3324
+
3325
+
3326
+
3327
+
3328
+
3329
+
3330
+
3331
+
3332
+
3333
+
3334
+
3335
+
3336
+
3337
+
3338
+
3339
+
3340
+
3341
+
3342
+
3343
+
3344
+
3345
+
3346
+
3347
+
3348
+
3349
+
3350
+
3351
+
3352
+
3353
+
3354
+
3355
+
3356
+
3357
+
3358
+
3359
+
3360
+
3361
+
3362
+
3363
+
3364
+
3365
+
3366
+
3367
+
3368
+
3369
+
3370
+
3371
+
3372
+
3373
+
3374
+
3375
+
3376
+
3377
+
3378
+
3379
+
3380
+
3381
+
3382
+
3383
+
3384
+
3385
+
3386
+
3387
+
3388
+
3389
+
3390
+
3391
+
3392
+
3393
+
3394
+
3395
+
3396
+
3397
+
3398
+
3399
+
3400
+
3401
+
3402
+
3403
+
3404
+
3405
+
3406
+
3407
+
3408
+
3409
+
3410
+
3411
+
3412
+
3413
+
3414
+
3415
+
3416
+
3417
+
3418
+
3419
+
3420
+
3421
+
3422
+
3423
+
3424
+
3425
+
3426
+
3427
+
3428
+
3429
+
3430
+
3431
+
3432
+
3433
+
3434
+
3435
+
3436
+
3437
+
3438
+
3439
+
3440
+
3441
+
3442
+
3443
+
3444
+
3445
+
3446
+
3447
+
3448
+
3449
+
3450
+
3451
+
3452
+
3453
+
3454
+
3455
+
3456
+
3457
+
3458
+
3459
+
3460
+
3461
+
3462
+
3463
+
3464
+
3465
+
3466
+
3467
+
3468
+
3469
+
3470
+
3471
+
3472
+
3473
+
3474
+
3475
+
3476
+
3477
+
3478
+
3479
+
3480
+
3481
+
3482
+
3483
+
3484
+
3485
+
3486
+
3487
+
3488
+
3489
+
3490
+
3491
+
3492
+
3493
+
3494
+
3495
+
3496
+
3497
+
3498
+
3499
+
3500
+
3501
+
3502
+
3503
+
3504
+
3505
+
3506
+
3507
+
3508
+
3509
+
3510
+
3511
+
3512
+
3513
+
3514
+
3515
+
3516
+
3517
+
3518
+
3519
+
3520
+
3521
+
3522
+
3523
+
3524
+
3525
+
3526
+
3527
+
3528
+
3529
+
3530
+
3531
+
3532
+
3533
+
3534
+
3535
+
3536
+
3537
+
3538
+
3539
+
3540
+
3541
+
3542
+
3543
+
3544
+
3545
+
3546
+
3547
+
3548
+
3549
+
3550
+
3551
+
3552
+
3553
+
3554
+
3555
+
3556
+
3557
+
3558
+
3559
+
3560
+
3561
+
3562
+
3563
+
3564
+
3565
+
3566
+
3567
+
3568
+
3569
+
3570
+
3571
+
3572
+
3573
+
3574
+
3575
+
3576
+
3577
+
3578
+
3579
+
3580
+
3581
+
3582
+
3583
+
3584
+
3585
+
3586
+
3587
+
3588
+
3589
+
3590
+
3591
+
3592
+
3593
+
3594
+
3595
+
3596
+
3597
+
3598
+
3599
+
3600
+
3601
+
3602
+
3603
+
3604
+
3605
+
3606
+
3607
+
3608
+
3609
+
3610
+
3611
+
3612
+
3613
+
3614
+
3615
+
3616
+
3617
+
3618
+
3619
+
3620
+
3621
+
3622
+
3623
+
3624
+
3625
+
3626
+
3627
+
3628
+
3629
+
3630
+
3631
+
3632
+
3633
+
3634
+
3635
+
3636
+
3637
+
3638
+
3639
+
3640
+
3641
+
3642
+
3643
+
3644
+
3645
+
3646
+
3647
+
3648
+
3649
+
3650
+
3651
+
3652
+
3653
+
3654
+
3655
+
3656
+
3657
+
3658
+
3659
+
3660
+
3661
+
3662
+
3663
+
3664
+
3665
+
3666
+
3667
+
3668
+
3669
+
3670
+
3671
+
3672
+
3673
+
3674
+
3675
+
3676
+
3677
+
3678
+
3679
+
3680
+
3681
+
3682
+
3683
+
3684
+
3685
+
3686
+
3687
+
3688
+
3689
+
3690
+
3691
+
3692
+
3693
+
3694
+
3695
+
3696
+
3697
+
3698
+
3699
+
3700
+
3701
+
3702
+
3703
+
3704
+
3705
+
3706
+
3707
+
3708
+
3709
+
3710
+
3711
+
3712
+
3713
+
3714
+
3715
+
3716
+
3717
+
3718
+
3719
+
3720
+
3721
+
3722
+
3723
+
3724
+
3725
+
3726
+
3727
+
3728
+
3729
+
3730
+
3731
+
3732
+
3733
+
3734
+
3735
+
3736
+
3737
+
3738
+
3739
+
3740
+
3741
+
3742
+
3743
+
3744
+
3745
+
3746
+
3747
+
3748
+
3749
+
3750
+
3751
+
3752
+
3753
+
3754
+
3755
+
3756
+
3757
+
3758
+
3759
+
3760
+
3761
+
3762
+
3763
+
3764
+
3765
+
3766
+
3767
+
3768
+
3769
+
3770
+
3771
+
3772
+
3773
+
3774
+
3775
+
3776
+
3777
+
3778
+
3779
+
3780
+
3781
+
3782
+
3783
+
3784
+
3785
+
3786
+
3787
+
3788
+
3789
+
3790
+
3791
+
3792
+
3793
+
3794
+
3795
+
3796
+
3797
+
3798
+
3799
+
3800
+
3801
+
3802
+
3803
+
3804
+
3805
+
3806
+
3807
+
3808
+
3809
+
3810
+
3811
+
3812
+
3813
+
3814
+
3815
+
3816
+
3817
+
3818
+
3819
+
3820
+
3821
+
3822
+
3823
+
3824
+
3825
+
3826
+
3827
+
3828
+
3829
+
3830
+
3831
+
3832
+
3833
+
3834
+
3835
+
3836
+
3837
+
3838
+
3839
+
3840
+
3841
+
3842
+
3843
+
3844
+
3845
+
3846
+
3847
+
3848
+
3849
+
3850
+
3851
+
3852
+
3853
+
3854
+
3855
+
3856
+
3857
+
3858
+
3859
+
3860
+
3861
+
3862
+
3863
+
3864
+
3865
+
3866
+
3867
+
3868
+
3869
+
3870
+
3871
+
3872
+
3873
+
3874
+
3875
+
3876
+
3877
+
3878
+
3879
+
3880
+
3881
+
3882
+
3883
+
3884
+
3885
+
3886
+
3887
+
3888
+
3889
+
3890
+
3891
+
3892
+
3893
+
3894
+
3895
+
3896
+
3897
+
3898
+
3899
+
3900
+
3901
+
3902
+
3903
+
3904
+
3905
+
3906
+
3907
+
3908
+
3909
+
3910
+
3911
+
3912
+
3913
+
3914
+
3915
+
3916
+
3917
+
3918
+
3919
+
3920
+
3921
+
3922
+
3923
+
3924
+
3925
+
3926
+
3927
+
3928
+
3929
+
3930
+
3931
+
3932
+
3933
+
3934
+
3935
+
3936
+
3937
+
3938
+
3939
+
3940
+
3941
+
3942
+
3943
+
3944
+
3945
+
3946
+
3947
+
3948
+
3949
+
3950
+
3951
+
3952
+
3953
+
3954
+
3955
+
3956
+
3957
+
3958
+
3959
+
3960
+
3961
+
3962
+
3963
+
3964
+
3965
+
3966
+
3967
+
3968
+
3969
+
3970
+
3971
+
3972
+
3973
+
3974
+
3975
+
3976
+
3977
+
3978
+
3979
+
3980
+
3981
+
3982
+
3983
+
3984
+
3985
+
3986
+
3987
+
3988
+
3989
+
3990
+
3991
+
3992
+
3993
+
3994
+
3995
+
3996
+
3997
+
3998
+
3999
+
4000
+
4001
+
4002
+
4003
+
4004
+
4005
+
4006
+
4007
+
4008
+
4009
+
4010
+
4011
+
4012
+
4013
+
4014
+
4015
+
4016
+
4017
+
4018
+
4019
+
4020
+
4021
+
4022
+
4023
+
4024
+
4025
+
4026
+
4027
+
4028
+
4029
+
4030
+
4031
+
4032
+
4033
+
4034
+
4035
+
4036
+
4037
+
4038
+
4039
+
4040
+
4041
+
4042
+
4043
+
4044
+
4045
+
4046
+
4047
+
4048
+
4049
+
4050
+
4051
+
4052
+
4053
+
4054
+
4055
+
4056
+
4057
+
4058
+
4059
+
4060
+
4061
+
4062
+
4063
+
4064
+
4065
+
4066
+
4067
+
4068
+
4069
+
4070
+
4071
+
4072
+
4073
+
4074
+
4075
+
4076
+
4077
+
4078
+
4079
+
4080
+
4081
+
4082
+
4083
+
4084
+
4085
+
4086
+
4087
+
4088
+
4089
+
4090
+
4091
+
4092
+
4093
+
4094
+
4095
+
4096
+
4097
+
4098
+
4099
+
4100
+
4101
+
4102
+
4103
+
4104
+
4105
+
4106
+
4107
+
4108
+
4109
+
4110
+
4111
+
4112
+
4113
+
4114
+
4115
+
4116
+
4117
+
4118
+
4119
+
4120
+
4121
+
4122
+
4123
+
4124
+
4125
+
4126
+
4127
+
4128
+
4129
+
4130
+
4131
+
4132
+
4133
+
4134
+
4135
+
4136
+
4137
+
4138
+
4139
+
4140
+
4141
+
4142
+
4143
+
4144
+
4145
+
4146
+
4147
+
4148
+
4149
+
4150
+
4151
+
4152
+
4153
+
4154
+
4155
+
4156
+
4157
+
4158
+
4159
+
4160
+
4161
+
4162
+
4163
+
4164
+
4165
+
4166
+
4167
+
4168
+
4169
+
4170
+
4171
+
4172
+
4173
+
4174
+
4175
+
4176
+
4177
+
4178
+
4179
+
4180
+
4181
+
4182
+
4183
+
4184
+
4185
+
4186
+
4187
+
4188
+
4189
+
4190
+
4191
+
4192
+
4193
+
4194
+
4195
+
4196
+
4197
+
4198
+
4199
+
4200
+
4201
+
4202
+
4203
+
4204
+
4205
+
4206
+
4207
+
4208
+
4209
+
4210
+
4211
+
4212
+
4213
+
4214
+
4215
+
4216
+
4217
+
4218
+
4219
+
4220
+
4221
+
4222
+
4223
+
4224
+
4225
+
4226
+
4227
+
4228
+
4229
+
4230
+
4231
+
4232
+
4233
+
4234
+
4235
+
4236
+
4237
+
4238
+
4239
+
4240
+
4241
+
4242
+
4243
+
4244
+
4245
+
4246
+
4247
+
4248
+
4249
+
4250
+
4251
+
4252
+
4253
+
4254
+
4255
+
4256
+
4257
+
4258
+
4259
+
4260
+
4261
+
4262
+
4263
+
4264
+
4265
+
4266
+
4267
+
4268
+
4269
+
4270
+
4271
+
4272
+
4273
+
4274
+
4275
+
4276
+
4277
+
4278
+
4279
+
4280
+
4281
+
4282
+
4283
+
4284
+
4285
+
4286
+
4287
+
4288
+
4289
+
4290
+
4291
+
4292
+
4293
+
4294
+
4295
+
4296
+
4297
+
4298
+
4299
+
4300
+
4301
+
4302
+
4303
+
4304
+
4305
+
4306
+
4307
+
4308
+
4309
+
4310
+
4311
+
4312
+
4313
+
4314
+
4315
+
4316
+
4317
+
4318
+
4319
+
4320
+
4321
+
4322
+
4323
+
4324
+
4325
+
4326
+
4327
+
4328
+
4329
+
4330
+
4331
+
4332
+
4333
+
4334
+
4335
+
4336
+
4337
+
4338
+
4339
+
4340
+
4341
+
4342
+
4343
+
4344
+
4345
+
4346
+
4347
+
4348
+
4349
+
4350
+
4351
+
4352
+
4353
+
4354
+
4355
+
4356
+
4357
+
4358
+
4359
+
4360
+
4361
+
4362
+
4363
+
4364
+
4365
+
4366
+
4367
+
4368
+
4369
+
4370
+
4371
+
4372
+
4373
+
4374
+
4375
+
4376
+
4377
+
4378
+
4379
+
4380
+
4381
+
4382
+
4383
+
4384
+
4385
+
4386
+
4387
+
4388
+
4389
+
4390
+
4391
+
4392
+
4393
+
4394
+
4395
+
4396
+
4397
+
4398
+
4399
+
4400
+
4401
+
4402
+
4403
+
4404
+
4405
+
4406
+
4407
+
4408
+
4409
+
4410
+
4411
+
4412
+
4413
+
4414
+
4415
+
4416
+
4417
+
4418
+
4419
+
4420
+
4421
+
4422
+
4423
+
4424
+
4425
+
4426
+
4427
+
4428
+
4429
+
4430
+
4431
+
4432
+
4433
+
4434
+
4435
+
4436
+
4437
+
4438
+
4439
+
4440
+
4441
+
4442
+
4443
+
4444
+
4445
+
4446
+
4447
+
4448
+
4449
+
4450
+
4451
+
4452
+
4453
+
4454
+
4455
+
4456
+
4457
+
4458
+
4459
+
4460
+
4461
+
4462
+
4463
+
4464
+
4465
+
4466
+
4467
+
4468
+
4469
+
4470
+
4471
+
4472
+
4473
+
4474
+
4475
+
4476
+
4477
+
4478
+
4479
+
4480
+
4481
+
4482
+
4483
+
4484
+
4485
+
4486
+
4487
+
4488
+
4489
+
4490
+
4491
+
4492
+
4493
+
4494
+
4495
+
4496
+
4497
+
4498
+
4499
+
4500
+
4501
+
4502
+
4503
+
4504
+
4505
+
4506
+
4507
+
4508
+
4509
+
4510
+
4511
+
4512
+
4513
+
4514
+
4515
+
4516
+
4517
+
4518
+
4519
+
4520
+
4521
+
4522
+
4523
+
4524
+
4525
+
4526
+
4527
+
4528
+
4529
+
4530
+
4531
+
4532
+
4533
+
4534
+
4535
+
4536
+
4537
+
4538
+
4539
+
4540
+
4541
+
4542
+
4543
+
4544
+
4545
+
4546
+
4547
+
4548
+
4549
+
4550
+
4551
+
4552
+
4553
+
4554
+
4555
+
4556
+
4557
+
4558
+
4559
+
4560
+
4561
+
4562
+
4563
+
4564
+
4565
+
4566
+
4567
+
4568
+
4569
+
4570
+
4571
+
4572
+
4573
+
4574
+
4575
+
4576
+
4577
+
4578
+
4579
+
4580
+
4581
+
4582
+
4583
+
4584
+
4585
+
4586
+
4587
+
4588
+
4589
+
4590
+
4591
+
4592
+
4593
+
4594
+
4595
+
4596
+
4597
+
4598
+
4599
+
4600
+
4601
+
4602
+
4603
+
4604
+
4605
+
4606
+
4607
+
4608
+
4609
+
4610
+
4611
+
4612
+
4613
+
4614
+
4615
+
4616
+
4617
+
4618
+
4619
+
4620
+
4621
+
4622
+
4623
+
4624
+
4625
+
4626
+
4627
+
4628
+
4629
+
4630
+
4631
+
4632
+
4633
+
4634
+
4635
+
4636
+
4637
+
4638
+
4639
+
4640
+
4641
+
4642
+
4643
+
4644
+
4645
+
4646
+
4647
+
4648
+
4649
+
4650
+
4651
+
4652
+
4653
+
4654
+
4655
+
4656
+
4657
+
4658
+
4659
+
4660
+
4661
+
4662
+
4663
+
4664
+
4665
+
4666
+
4667
+
4668
+
4669
+
4670
+
4671
+
4672
+
4673
+
4674
+
4675
+
4676
+
4677
+
4678
+
4679
+
4680
+
4681
+
4682
+
4683
+
4684
+
4685
+
4686
+
4687
+
4688
+
4689
+
4690
+
4691
+
4692
+
4693
+
4694
+
4695
+
4696
+
4697
+
4698
+
4699
+
4700
+
4701
+
4702
+
4703
+
4704
+
4705
+
4706
+
4707
+
4708
+
4709
+
4710
+
4711
+
4712
+
4713
+
4714
+
4715
+
4716
+
4717
+
4718
+
4719
+
4720
+
4721
+
4722
+
4723
+
4724
+
4725
+
4726
+
4727
+
4728
+
4729
+
4730
+
4731
+
4732
+
4733
+
4734
+
4735
+
4736
+
4737
+
4738
+
4739
+
4740
+
4741
+
4742
+
4743
+
4744
+
4745
+
4746
+
4747
+
4748
+
4749
+
4750
+
4751
+
4752
+
4753
+
4754
+
4755
+
4756
+
4757
+
4758
+
4759
+
4760
+
4761
+
4762
+
4763
+
4764
+
4765
+
4766
+
4767
+
4768
+
4769
+
4770
+
4771
+
4772
+
4773
+
4774
+
4775
+
4776
+
4777
+
4778
+
4779
+
4780
+
4781
+
4782
+
4783
+
4784
+
4785
+
4786
+
4787
+
4788
+
4789
+
4790
+
4791
+
4792
+
4793
+
4794
+
4795
+
4796
+
4797
+
4798
+
4799
+
4800
+
4801
+
4802
+
4803
+
4804
+
4805
+
4806
+
4807
+
4808
+
4809
+
4810
+
4811
+
4812
+
4813
+
4814
+
4815
+
4816
+
4817
+
4818
+
4819
+
4820
+
4821
+
4822
+
4823
+
4824
+
4825
+
4826
+
4827
+
4828
+
4829
+
4830
+
4831
+
4832
+
4833
+
4834
+
4835
+
4836
+
4837
+
4838
+
4839
+
4840
+
4841
+
4842
+
4843
+
4844
+
4845
+
4846
+
4847
+
4848
+
4849
+
4850
+
4851
+
4852
+
4853
+
4854
+
4855
+
4856
+
4857
+
4858
+
4859
+
4860
+
4861
+
4862
+
4863
+
4864
+
4865
+
4866
+
4867
+
4868
+
4869
+
4870
+
4871
+
4872
+
4873
+
4874
+
4875
+
4876
+
4877
+
4878
+
4879
+
4880
+
4881
+
4882
+
4883
+
4884
+
4885
+
4886
+
4887
+
4888
+
4889
+
4890
+
4891
+
4892
+
4893
+
4894
+
4895
+
4896
+
4897
+
4898
+
4899
+
4900
+
4901
+
4902
+
4903
+
4904
+
4905
+
4906
+
4907
+
4908
+
4909
+
4910
+
4911
+
4912
+
4913
+
4914
+
4915
+
4916
+
4917
+
4918
+
4919
+
4920
+
4921
+
4922
+
4923
+
4924
+
4925
+
4926
+
4927
+
4928
+
4929
+
4930
+
4931
+
4932
+
4933
+
4934
+
4935
+
4936
+
4937
+
4938
+
4939
+
4940
+
4941
+
4942
+
4943
+
4944
+
4945
+
4946
+
4947
+
4948
+
4949
+
4950
+
4951
+
4952
+
4953
+
4954
+
4955
+
4956
+
4957
+
4958
+
4959
+
4960
+
4961
+
4962
+
4963
+
4964
+
4965
+
4966
+
4967
+
4968
+
4969
+
4970
+
4971
+
4972
+
4973
+
4974
+
4975
+
4976
+
4977
+
4978
+
4979
+
4980
+
4981
+
4982
+
4983
+
4984
+
4985
+
4986
+
4987
+
4988
+
4989
+
4990
+
4991
+
4992
+
4993
+
4994
+
4995
+
4996
+
4997
+
4998
+
4999
+
5000
+
5001
+
5002
+
5003
+
5004
+
5005
+
5006
+
5007
+
5008
+
5009
+
5010
+
5011
+
5012
+
5013
+
5014
+
5015
+
5016
+
5017
+
5018
+
5019
+
5020
+
5021
+
5022
+
5023
+
5024
+
5025
+
5026
+
5027
+
5028
+
5029
+
5030
+
5031
+
5032
+
5033
+
5034
+
5035
+
5036
+
5037
+
5038
+
5039
+
5040
+
5041
+
5042
+
5043
+
5044
+
5045
+
5046
+
5047
+
5048
+
5049
+
5050
+
5051
+
5052
+
5053
+
5054
+
5055
+
5056
+
5057
+
5058
+
5059
+
5060
+
5061
+
5062
+
5063
+
5064
+
5065
+
5066
+
5067
+
5068
+
5069
+
5070
+
5071
+
5072
+
5073
+
5074
+
5075
+
5076
+
5077
+
5078
+
5079
+
5080
+
5081
+
5082
+
5083
+
5084
+
5085
+
5086
+
5087
+
5088
+
5089
+
5090
+
5091
+
5092
+
5093
+
5094
+
5095
+
5096
+
5097
+
5098
+
5099
+
5100
+
5101
+
5102
+
5103
+
5104
+
5105
+
5106
+
5107
+
5108
+
5109
+
5110
+
5111
+
5112
+
5113
+
5114
+
5115
+
5116
+
5117
+
5118
+
5119
+
5120
+
5121
+
5122
+
5123
+
5124
+
5125
+
5126
+
5127
+
5128
+
5129
+
5130
+
5131
+
5132
+
5133
+
5134
+
5135
+
5136
+
5137
+
5138
+
5139
+
5140
+
5141
+
5142
+
5143
+
5144
+
5145
+
5146
+
5147
+
5148
+
5149
+
5150
+
5151
+
5152
+
5153
+
5154
+
5155
+
5156
+
5157
+
5158
+
5159
+
5160
+
5161
+
5162
+
5163
+
5164
+
5165
+
5166
+
5167
+
5168
+
5169
+
5170
+
5171
+
5172
+
5173
+
5174
+
5175
+
5176
+
5177
+
5178
+
5179
+
5180
+
5181
+
5182
+
5183
+
5184
+
5185
+
5186
+
5187
+
5188
+
5189
+
5190
+
5191
+
5192
+
5193
+
5194
+
5195
+
5196
+
5197
+
5198
+
5199
+
5200
+
5201
+
5202
+ =>> [Global Step] 005198 =>> LR :: 0.000000 -- Loss :: 0.8001: 100%|█████████████████████████████████████████████| 5198/5198 [7:52:38<00:00, 5.07s/it]
5203
+ 03/12 [22:26:21] INFO  | >> [*] Done with Training =>> Finalizing Metrics ]8;id=696414;file:///home/lilei/prismatic-vlms/scripts/pretrain.py\pretrain.py]8;;\:]8;id=68157;file:///home/lilei/prismatic-vlms/scripts/pretrain.py#230\230]8;;\
qformer2_256/wandb/run-20240312_142903-yrs4wcl6/files/requirements.txt ADDED
@@ -0,0 +1,122 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ accelerate==0.27.2
2
+ aiohttp==3.9.3
3
+ aiosignal==1.3.1
4
+ annotated-types==0.6.0
5
+ appdirs==1.4.4
6
+ async-timeout==4.0.3
7
+ attrs==23.2.0
8
+ beautifulsoup4==4.12.3
9
+ blis==0.7.11
10
+ catalogue==2.0.10
11
+ certifi==2024.2.2
12
+ charset-normalizer==2.0.4
13
+ click==8.1.7
14
+ cloudpathlib==0.16.0
15
+ confection==0.1.4
16
+ contourpy==1.2.0
17
+ cycler==0.12.1
18
+ cymem==2.0.8
19
+ datasets==2.18.0
20
+ deepspeed==0.13.4
21
+ dill==0.3.8
22
+ docker-pycreds==0.4.0
23
+ draccus==0.7.1
24
+ einops==0.7.0
25
+ filelock==3.13.1
26
+ flash-attn==2.5.5
27
+ fonttools==4.49.0
28
+ frozenlist==1.4.1
29
+ fsspec==2024.2.0
30
+ gdown==5.1.0
31
+ gitdb==4.0.11
32
+ gitpython==3.1.42
33
+ gmpy2==2.1.2
34
+ hjson==3.1.0
35
+ huggingface-hub==0.20.3
36
+ idna==3.4
37
+ install==1.3.5
38
+ jinja2==3.1.3
39
+ jsonlines==4.0.0
40
+ kiwisolver==1.4.5
41
+ langcodes==3.3.0
42
+ markdown-it-py==3.0.0
43
+ markupsafe==2.1.3
44
+ matplotlib==3.8.3
45
+ mdurl==0.1.2
46
+ mergedeep==1.3.4
47
+ mkl-fft==1.3.8
48
+ mkl-random==1.2.4
49
+ mkl-service==2.4.0
50
+ mpmath==1.3.0
51
+ multidict==6.0.5
52
+ multiprocess==0.70.16
53
+ murmurhash==1.0.10
54
+ mypy-extensions==1.0.0
55
+ networkx==3.1
56
+ ninja==1.11.1.1
57
+ numpy==1.26.4
58
+ ocifs==1.3.1
59
+ packaging==23.2
60
+ pandas==2.2.1
61
+ pillow==10.2.0
62
+ pip==23.3.1
63
+ preshed==3.0.9
64
+ prismatic==0.0.1
65
+ protobuf==4.25.3
66
+ psutil==5.9.8
67
+ py-cpuinfo==9.0.0
68
+ pyarrow-hotfix==0.6
69
+ pyarrow==15.0.0
70
+ pycocoevalcap==1.2
71
+ pycocotools==2.0.7
72
+ pydantic-core==2.16.3
73
+ pydantic==2.6.3
74
+ pygments==2.17.2
75
+ pynvml==11.5.0
76
+ pyparsing==3.1.1
77
+ pysocks==1.7.1
78
+ pythainlp==5.0.1
79
+ python-dateutil==2.9.0.post0
80
+ pytz==2024.1
81
+ pyyaml-include==1.3.2
82
+ pyyaml==6.0.1
83
+ regex==2023.12.25
84
+ requests==2.31.0
85
+ rich==13.7.0
86
+ safetensors==0.4.2
87
+ sentencepiece==0.2.0
88
+ sentry-sdk==1.40.5
89
+ setproctitle==1.3.3
90
+ setuptools==68.2.2
91
+ six==1.16.0
92
+ smart-open==6.4.0
93
+ smmap==5.0.1
94
+ soupsieve==2.5
95
+ spacy-legacy==3.0.12
96
+ spacy-loggers==1.0.5
97
+ spacy==3.7.4
98
+ srsly==2.4.8
99
+ sudachidict-core==20240109
100
+ sudachipy==0.6.8
101
+ sympy==1.12
102
+ thinc==8.2.3
103
+ timm==0.9.16
104
+ tokenizers==0.15.2
105
+ toml==0.10.2
106
+ torch==2.2.1
107
+ torchaudio==2.2.1
108
+ torchvision==0.17.1
109
+ tqdm==4.66.2
110
+ transformers==4.38.1
111
+ triton==2.2.0
112
+ typer==0.9.0
113
+ typing-extensions==4.9.0
114
+ typing-inspect==0.9.0
115
+ tzdata==2024.1
116
+ urllib3==2.1.0
117
+ wandb==0.16.3
118
+ wasabi==1.1.2
119
+ weasel==0.3.4
120
+ wheel==0.41.2
121
+ xxhash==3.4.1
122
+ yarl==1.9.4
qformer2_256/wandb/run-20240312_142903-yrs4wcl6/files/wandb-metadata.json ADDED
@@ -0,0 +1,1360 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "os": "Linux-5.15.0-1027-oracle-x86_64-with-glibc2.31",
3
+ "python": "3.10.13",
4
+ "heartbeatAt": "2024-03-12T14:29:08.013324",
5
+ "startedAt": "2024-03-12T14:29:03.589151",
6
+ "docker": null,
7
+ "cuda": null,
8
+ "args": [
9
+ "--model.type",
10
+ "one-stage+7b",
11
+ "--model.model_id",
12
+ "one-stage+7b_qformer2_256",
13
+ "--run_id",
14
+ "qformer2_256",
15
+ "--model.arch_specifier",
16
+ "qformer2_256"
17
+ ],
18
+ "state": "running",
19
+ "program": "/home/lilei/prismatic-vlms/scripts/pretrain.py",
20
+ "codePathLocal": "scripts/pretrain.py",
21
+ "codePath": "scripts/pretrain.py",
22
+ "git": {
23
+ "remote": "https://github.com/TRI-ML/prismatic-vlms.git",
24
+ "commit": "b1c33c284c6e76d908c29e5545b00f5b8b4c601f"
25
+ },
26
+ "email": "tobiaslee@qq.com",
27
+ "root": "/home/lilei/prismatic-vlms",
28
+ "host": "compute-permanent-node-824",
29
+ "username": "lilei",
30
+ "executable": "/home/lilei/anaconda3/envs/pvlm/bin/python",
31
+ "cpu_count": 128,
32
+ "cpu_count_logical": 255,
33
+ "cpu_freq": {
34
+ "current": 2578.3530274509803,
35
+ "min": 1500.0,
36
+ "max": 2550.0
37
+ },
38
+ "cpu_freq_per_core": [
39
+ {
40
+ "current": 2550.0,
41
+ "min": 1500.0,
42
+ "max": 2550.0
43
+ },
44
+ {
45
+ "current": 2550.0,
46
+ "min": 1500.0,
47
+ "max": 2550.0
48
+ },
49
+ {
50
+ "current": 2550.0,
51
+ "min": 1500.0,
52
+ "max": 2550.0
53
+ },
54
+ {
55
+ "current": 2550.0,
56
+ "min": 1500.0,
57
+ "max": 2550.0
58
+ },
59
+ {
60
+ "current": 3249.171,
61
+ "min": 1500.0,
62
+ "max": 2550.0
63
+ },
64
+ {
65
+ "current": 2550.0,
66
+ "min": 1500.0,
67
+ "max": 2550.0
68
+ },
69
+ {
70
+ "current": 2550.0,
71
+ "min": 1500.0,
72
+ "max": 2550.0
73
+ },
74
+ {
75
+ "current": 3249.526,
76
+ "min": 1500.0,
77
+ "max": 2550.0
78
+ },
79
+ {
80
+ "current": 2550.0,
81
+ "min": 1500.0,
82
+ "max": 2550.0
83
+ },
84
+ {
85
+ "current": 3250.052,
86
+ "min": 1500.0,
87
+ "max": 2550.0
88
+ },
89
+ {
90
+ "current": 3248.918,
91
+ "min": 1500.0,
92
+ "max": 2550.0
93
+ },
94
+ {
95
+ "current": 2550.0,
96
+ "min": 1500.0,
97
+ "max": 2550.0
98
+ },
99
+ {
100
+ "current": 2550.0,
101
+ "min": 1500.0,
102
+ "max": 2550.0
103
+ },
104
+ {
105
+ "current": 2550.0,
106
+ "min": 1500.0,
107
+ "max": 2550.0
108
+ },
109
+ {
110
+ "current": 2550.0,
111
+ "min": 1500.0,
112
+ "max": 2550.0
113
+ },
114
+ {
115
+ "current": 2550.0,
116
+ "min": 1500.0,
117
+ "max": 2550.0
118
+ },
119
+ {
120
+ "current": 2550.0,
121
+ "min": 1500.0,
122
+ "max": 2550.0
123
+ },
124
+ {
125
+ "current": 2550.0,
126
+ "min": 1500.0,
127
+ "max": 2550.0
128
+ },
129
+ {
130
+ "current": 2550.0,
131
+ "min": 1500.0,
132
+ "max": 2550.0
133
+ },
134
+ {
135
+ "current": 2550.0,
136
+ "min": 1500.0,
137
+ "max": 2550.0
138
+ },
139
+ {
140
+ "current": 2550.0,
141
+ "min": 1500.0,
142
+ "max": 2550.0
143
+ },
144
+ {
145
+ "current": 2550.0,
146
+ "min": 1500.0,
147
+ "max": 2550.0
148
+ },
149
+ {
150
+ "current": 2550.0,
151
+ "min": 1500.0,
152
+ "max": 2550.0
153
+ },
154
+ {
155
+ "current": 2550.0,
156
+ "min": 1500.0,
157
+ "max": 2550.0
158
+ },
159
+ {
160
+ "current": 2550.0,
161
+ "min": 1500.0,
162
+ "max": 2550.0
163
+ },
164
+ {
165
+ "current": 2550.0,
166
+ "min": 1500.0,
167
+ "max": 2550.0
168
+ },
169
+ {
170
+ "current": 2550.0,
171
+ "min": 1500.0,
172
+ "max": 2550.0
173
+ },
174
+ {
175
+ "current": 2550.0,
176
+ "min": 1500.0,
177
+ "max": 2550.0
178
+ },
179
+ {
180
+ "current": 2550.0,
181
+ "min": 1500.0,
182
+ "max": 2550.0
183
+ },
184
+ {
185
+ "current": 2550.0,
186
+ "min": 1500.0,
187
+ "max": 2550.0
188
+ },
189
+ {
190
+ "current": 2550.0,
191
+ "min": 1500.0,
192
+ "max": 2550.0
193
+ },
194
+ {
195
+ "current": 2550.0,
196
+ "min": 1500.0,
197
+ "max": 2550.0
198
+ },
199
+ {
200
+ "current": 2550.0,
201
+ "min": 1500.0,
202
+ "max": 2550.0
203
+ },
204
+ {
205
+ "current": 2550.0,
206
+ "min": 1500.0,
207
+ "max": 2550.0
208
+ },
209
+ {
210
+ "current": 2550.0,
211
+ "min": 1500.0,
212
+ "max": 2550.0
213
+ },
214
+ {
215
+ "current": 2550.0,
216
+ "min": 1500.0,
217
+ "max": 2550.0
218
+ },
219
+ {
220
+ "current": 2550.0,
221
+ "min": 1500.0,
222
+ "max": 2550.0
223
+ },
224
+ {
225
+ "current": 2550.0,
226
+ "min": 1500.0,
227
+ "max": 2550.0
228
+ },
229
+ {
230
+ "current": 2550.0,
231
+ "min": 1500.0,
232
+ "max": 2550.0
233
+ },
234
+ {
235
+ "current": 2550.0,
236
+ "min": 1500.0,
237
+ "max": 2550.0
238
+ },
239
+ {
240
+ "current": 2550.0,
241
+ "min": 1500.0,
242
+ "max": 2550.0
243
+ },
244
+ {
245
+ "current": 2550.0,
246
+ "min": 1500.0,
247
+ "max": 2550.0
248
+ },
249
+ {
250
+ "current": 2550.0,
251
+ "min": 1500.0,
252
+ "max": 2550.0
253
+ },
254
+ {
255
+ "current": 2550.0,
256
+ "min": 1500.0,
257
+ "max": 2550.0
258
+ },
259
+ {
260
+ "current": 2550.0,
261
+ "min": 1500.0,
262
+ "max": 2550.0
263
+ },
264
+ {
265
+ "current": 2550.0,
266
+ "min": 1500.0,
267
+ "max": 2550.0
268
+ },
269
+ {
270
+ "current": 2550.0,
271
+ "min": 1500.0,
272
+ "max": 2550.0
273
+ },
274
+ {
275
+ "current": 2550.0,
276
+ "min": 1500.0,
277
+ "max": 2550.0
278
+ },
279
+ {
280
+ "current": 2550.0,
281
+ "min": 1500.0,
282
+ "max": 2550.0
283
+ },
284
+ {
285
+ "current": 2550.0,
286
+ "min": 1500.0,
287
+ "max": 2550.0
288
+ },
289
+ {
290
+ "current": 2550.0,
291
+ "min": 1500.0,
292
+ "max": 2550.0
293
+ },
294
+ {
295
+ "current": 2550.0,
296
+ "min": 1500.0,
297
+ "max": 2550.0
298
+ },
299
+ {
300
+ "current": 2550.0,
301
+ "min": 1500.0,
302
+ "max": 2550.0
303
+ },
304
+ {
305
+ "current": 3249.534,
306
+ "min": 1500.0,
307
+ "max": 2550.0
308
+ },
309
+ {
310
+ "current": 2550.0,
311
+ "min": 1500.0,
312
+ "max": 2550.0
313
+ },
314
+ {
315
+ "current": 2550.0,
316
+ "min": 1500.0,
317
+ "max": 2550.0
318
+ },
319
+ {
320
+ "current": 2550.0,
321
+ "min": 1500.0,
322
+ "max": 2550.0
323
+ },
324
+ {
325
+ "current": 2550.0,
326
+ "min": 1500.0,
327
+ "max": 2550.0
328
+ },
329
+ {
330
+ "current": 2550.0,
331
+ "min": 1500.0,
332
+ "max": 2550.0
333
+ },
334
+ {
335
+ "current": 3248.538,
336
+ "min": 1500.0,
337
+ "max": 2550.0
338
+ },
339
+ {
340
+ "current": 2550.0,
341
+ "min": 1500.0,
342
+ "max": 2550.0
343
+ },
344
+ {
345
+ "current": 2550.0,
346
+ "min": 1500.0,
347
+ "max": 2550.0
348
+ },
349
+ {
350
+ "current": 2550.0,
351
+ "min": 1500.0,
352
+ "max": 2550.0
353
+ },
354
+ {
355
+ "current": 2550.0,
356
+ "min": 1500.0,
357
+ "max": 2550.0
358
+ },
359
+ {
360
+ "current": 2550.0,
361
+ "min": 1500.0,
362
+ "max": 2550.0
363
+ },
364
+ {
365
+ "current": 2550.0,
366
+ "min": 1500.0,
367
+ "max": 2550.0
368
+ },
369
+ {
370
+ "current": 2550.0,
371
+ "min": 1500.0,
372
+ "max": 2550.0
373
+ },
374
+ {
375
+ "current": 2550.0,
376
+ "min": 1500.0,
377
+ "max": 2550.0
378
+ },
379
+ {
380
+ "current": 2550.0,
381
+ "min": 1500.0,
382
+ "max": 2550.0
383
+ },
384
+ {
385
+ "current": 2550.0,
386
+ "min": 1500.0,
387
+ "max": 2550.0
388
+ },
389
+ {
390
+ "current": 2550.0,
391
+ "min": 1500.0,
392
+ "max": 2550.0
393
+ },
394
+ {
395
+ "current": 2550.0,
396
+ "min": 1500.0,
397
+ "max": 2550.0
398
+ },
399
+ {
400
+ "current": 2550.0,
401
+ "min": 1500.0,
402
+ "max": 2550.0
403
+ },
404
+ {
405
+ "current": 2550.0,
406
+ "min": 1500.0,
407
+ "max": 2550.0
408
+ },
409
+ {
410
+ "current": 2550.0,
411
+ "min": 1500.0,
412
+ "max": 2550.0
413
+ },
414
+ {
415
+ "current": 2550.0,
416
+ "min": 1500.0,
417
+ "max": 2550.0
418
+ },
419
+ {
420
+ "current": 2550.0,
421
+ "min": 1500.0,
422
+ "max": 2550.0
423
+ },
424
+ {
425
+ "current": 2550.0,
426
+ "min": 1500.0,
427
+ "max": 2550.0
428
+ },
429
+ {
430
+ "current": 2550.0,
431
+ "min": 1500.0,
432
+ "max": 2550.0
433
+ },
434
+ {
435
+ "current": 2550.0,
436
+ "min": 1500.0,
437
+ "max": 2550.0
438
+ },
439
+ {
440
+ "current": 2550.0,
441
+ "min": 1500.0,
442
+ "max": 2550.0
443
+ },
444
+ {
445
+ "current": 2550.0,
446
+ "min": 1500.0,
447
+ "max": 2550.0
448
+ },
449
+ {
450
+ "current": 2550.0,
451
+ "min": 1500.0,
452
+ "max": 2550.0
453
+ },
454
+ {
455
+ "current": 2550.0,
456
+ "min": 1500.0,
457
+ "max": 2550.0
458
+ },
459
+ {
460
+ "current": 2550.0,
461
+ "min": 1500.0,
462
+ "max": 2550.0
463
+ },
464
+ {
465
+ "current": 2550.0,
466
+ "min": 1500.0,
467
+ "max": 2550.0
468
+ },
469
+ {
470
+ "current": 2550.0,
471
+ "min": 1500.0,
472
+ "max": 2550.0
473
+ },
474
+ {
475
+ "current": 2550.0,
476
+ "min": 1500.0,
477
+ "max": 2550.0
478
+ },
479
+ {
480
+ "current": 2550.0,
481
+ "min": 1500.0,
482
+ "max": 2550.0
483
+ },
484
+ {
485
+ "current": 2550.0,
486
+ "min": 1500.0,
487
+ "max": 2550.0
488
+ },
489
+ {
490
+ "current": 2550.0,
491
+ "min": 1500.0,
492
+ "max": 2550.0
493
+ },
494
+ {
495
+ "current": 2550.0,
496
+ "min": 1500.0,
497
+ "max": 2550.0
498
+ },
499
+ {
500
+ "current": 2550.0,
501
+ "min": 1500.0,
502
+ "max": 2550.0
503
+ },
504
+ {
505
+ "current": 2550.0,
506
+ "min": 1500.0,
507
+ "max": 2550.0
508
+ },
509
+ {
510
+ "current": 2550.0,
511
+ "min": 1500.0,
512
+ "max": 2550.0
513
+ },
514
+ {
515
+ "current": 2550.0,
516
+ "min": 1500.0,
517
+ "max": 2550.0
518
+ },
519
+ {
520
+ "current": 2550.0,
521
+ "min": 1500.0,
522
+ "max": 2550.0
523
+ },
524
+ {
525
+ "current": 2550.0,
526
+ "min": 1500.0,
527
+ "max": 2550.0
528
+ },
529
+ {
530
+ "current": 2550.0,
531
+ "min": 1500.0,
532
+ "max": 2550.0
533
+ },
534
+ {
535
+ "current": 2550.0,
536
+ "min": 1500.0,
537
+ "max": 2550.0
538
+ },
539
+ {
540
+ "current": 2550.0,
541
+ "min": 1500.0,
542
+ "max": 2550.0
543
+ },
544
+ {
545
+ "current": 2550.0,
546
+ "min": 1500.0,
547
+ "max": 2550.0
548
+ },
549
+ {
550
+ "current": 2550.0,
551
+ "min": 1500.0,
552
+ "max": 2550.0
553
+ },
554
+ {
555
+ "current": 2550.0,
556
+ "min": 1500.0,
557
+ "max": 2550.0
558
+ },
559
+ {
560
+ "current": 2550.0,
561
+ "min": 1500.0,
562
+ "max": 2550.0
563
+ },
564
+ {
565
+ "current": 2550.0,
566
+ "min": 1500.0,
567
+ "max": 2550.0
568
+ },
569
+ {
570
+ "current": 2550.0,
571
+ "min": 1500.0,
572
+ "max": 2550.0
573
+ },
574
+ {
575
+ "current": 2550.0,
576
+ "min": 1500.0,
577
+ "max": 2550.0
578
+ },
579
+ {
580
+ "current": 2550.0,
581
+ "min": 1500.0,
582
+ "max": 2550.0
583
+ },
584
+ {
585
+ "current": 2550.0,
586
+ "min": 1500.0,
587
+ "max": 2550.0
588
+ },
589
+ {
590
+ "current": 2550.0,
591
+ "min": 1500.0,
592
+ "max": 2550.0
593
+ },
594
+ {
595
+ "current": 2550.0,
596
+ "min": 1500.0,
597
+ "max": 2550.0
598
+ },
599
+ {
600
+ "current": 2550.0,
601
+ "min": 1500.0,
602
+ "max": 2550.0
603
+ },
604
+ {
605
+ "current": 2550.0,
606
+ "min": 1500.0,
607
+ "max": 2550.0
608
+ },
609
+ {
610
+ "current": 2550.0,
611
+ "min": 1500.0,
612
+ "max": 2550.0
613
+ },
614
+ {
615
+ "current": 2550.0,
616
+ "min": 1500.0,
617
+ "max": 2550.0
618
+ },
619
+ {
620
+ "current": 2550.0,
621
+ "min": 1500.0,
622
+ "max": 2550.0
623
+ },
624
+ {
625
+ "current": 2550.0,
626
+ "min": 1500.0,
627
+ "max": 2550.0
628
+ },
629
+ {
630
+ "current": 2550.0,
631
+ "min": 1500.0,
632
+ "max": 2550.0
633
+ },
634
+ {
635
+ "current": 2550.0,
636
+ "min": 1500.0,
637
+ "max": 2550.0
638
+ },
639
+ {
640
+ "current": 2550.0,
641
+ "min": 1500.0,
642
+ "max": 2550.0
643
+ },
644
+ {
645
+ "current": 2550.0,
646
+ "min": 1500.0,
647
+ "max": 2550.0
648
+ },
649
+ {
650
+ "current": 2550.0,
651
+ "min": 1500.0,
652
+ "max": 2550.0
653
+ },
654
+ {
655
+ "current": 2550.0,
656
+ "min": 1500.0,
657
+ "max": 2550.0
658
+ },
659
+ {
660
+ "current": 2550.0,
661
+ "min": 1500.0,
662
+ "max": 2550.0
663
+ },
664
+ {
665
+ "current": 2550.0,
666
+ "min": 1500.0,
667
+ "max": 2550.0
668
+ },
669
+ {
670
+ "current": 2550.0,
671
+ "min": 1500.0,
672
+ "max": 2550.0
673
+ },
674
+ {
675
+ "current": 2550.0,
676
+ "min": 1500.0,
677
+ "max": 2550.0
678
+ },
679
+ {
680
+ "current": 2550.0,
681
+ "min": 1500.0,
682
+ "max": 2550.0
683
+ },
684
+ {
685
+ "current": 2550.0,
686
+ "min": 1500.0,
687
+ "max": 2550.0
688
+ },
689
+ {
690
+ "current": 2550.0,
691
+ "min": 1500.0,
692
+ "max": 2550.0
693
+ },
694
+ {
695
+ "current": 2550.0,
696
+ "min": 1500.0,
697
+ "max": 2550.0
698
+ },
699
+ {
700
+ "current": 2550.0,
701
+ "min": 1500.0,
702
+ "max": 2550.0
703
+ },
704
+ {
705
+ "current": 2550.0,
706
+ "min": 1500.0,
707
+ "max": 2550.0
708
+ },
709
+ {
710
+ "current": 2550.0,
711
+ "min": 1500.0,
712
+ "max": 2550.0
713
+ },
714
+ {
715
+ "current": 2550.0,
716
+ "min": 1500.0,
717
+ "max": 2550.0
718
+ },
719
+ {
720
+ "current": 2550.0,
721
+ "min": 1500.0,
722
+ "max": 2550.0
723
+ },
724
+ {
725
+ "current": 2550.0,
726
+ "min": 1500.0,
727
+ "max": 2550.0
728
+ },
729
+ {
730
+ "current": 2550.0,
731
+ "min": 1500.0,
732
+ "max": 2550.0
733
+ },
734
+ {
735
+ "current": 2550.0,
736
+ "min": 1500.0,
737
+ "max": 2550.0
738
+ },
739
+ {
740
+ "current": 2550.0,
741
+ "min": 1500.0,
742
+ "max": 2550.0
743
+ },
744
+ {
745
+ "current": 2550.0,
746
+ "min": 1500.0,
747
+ "max": 2550.0
748
+ },
749
+ {
750
+ "current": 3249.553,
751
+ "min": 1500.0,
752
+ "max": 2550.0
753
+ },
754
+ {
755
+ "current": 2550.0,
756
+ "min": 1500.0,
757
+ "max": 2550.0
758
+ },
759
+ {
760
+ "current": 2550.0,
761
+ "min": 1500.0,
762
+ "max": 2550.0
763
+ },
764
+ {
765
+ "current": 2550.0,
766
+ "min": 1500.0,
767
+ "max": 2550.0
768
+ },
769
+ {
770
+ "current": 2550.0,
771
+ "min": 1500.0,
772
+ "max": 2550.0
773
+ },
774
+ {
775
+ "current": 2550.0,
776
+ "min": 1500.0,
777
+ "max": 2550.0
778
+ },
779
+ {
780
+ "current": 2550.0,
781
+ "min": 1500.0,
782
+ "max": 2550.0
783
+ },
784
+ {
785
+ "current": 2550.0,
786
+ "min": 1500.0,
787
+ "max": 2550.0
788
+ },
789
+ {
790
+ "current": 3249.537,
791
+ "min": 1500.0,
792
+ "max": 2550.0
793
+ },
794
+ {
795
+ "current": 2550.0,
796
+ "min": 1500.0,
797
+ "max": 2550.0
798
+ },
799
+ {
800
+ "current": 2550.0,
801
+ "min": 1500.0,
802
+ "max": 2550.0
803
+ },
804
+ {
805
+ "current": 2550.0,
806
+ "min": 1500.0,
807
+ "max": 2550.0
808
+ },
809
+ {
810
+ "current": 2550.0,
811
+ "min": 1500.0,
812
+ "max": 2550.0
813
+ },
814
+ {
815
+ "current": 2550.0,
816
+ "min": 1500.0,
817
+ "max": 2550.0
818
+ },
819
+ {
820
+ "current": 2550.0,
821
+ "min": 1500.0,
822
+ "max": 2550.0
823
+ },
824
+ {
825
+ "current": 2550.0,
826
+ "min": 1500.0,
827
+ "max": 2550.0
828
+ },
829
+ {
830
+ "current": 2550.0,
831
+ "min": 1500.0,
832
+ "max": 2550.0
833
+ },
834
+ {
835
+ "current": 2550.0,
836
+ "min": 1500.0,
837
+ "max": 2550.0
838
+ },
839
+ {
840
+ "current": 2550.0,
841
+ "min": 1500.0,
842
+ "max": 2550.0
843
+ },
844
+ {
845
+ "current": 2550.0,
846
+ "min": 1500.0,
847
+ "max": 2550.0
848
+ },
849
+ {
850
+ "current": 3249.359,
851
+ "min": 1500.0,
852
+ "max": 2550.0
853
+ },
854
+ {
855
+ "current": 3072.53,
856
+ "min": 1500.0,
857
+ "max": 2550.0
858
+ },
859
+ {
860
+ "current": 2550.0,
861
+ "min": 1500.0,
862
+ "max": 2550.0
863
+ },
864
+ {
865
+ "current": 2550.0,
866
+ "min": 1500.0,
867
+ "max": 2550.0
868
+ },
869
+ {
870
+ "current": 2550.0,
871
+ "min": 1500.0,
872
+ "max": 2550.0
873
+ },
874
+ {
875
+ "current": 2550.0,
876
+ "min": 1500.0,
877
+ "max": 2550.0
878
+ },
879
+ {
880
+ "current": 2550.0,
881
+ "min": 1500.0,
882
+ "max": 2550.0
883
+ },
884
+ {
885
+ "current": 2550.0,
886
+ "min": 1500.0,
887
+ "max": 2550.0
888
+ },
889
+ {
890
+ "current": 2550.0,
891
+ "min": 1500.0,
892
+ "max": 2550.0
893
+ },
894
+ {
895
+ "current": 2550.0,
896
+ "min": 1500.0,
897
+ "max": 2550.0
898
+ },
899
+ {
900
+ "current": 2550.0,
901
+ "min": 1500.0,
902
+ "max": 2550.0
903
+ },
904
+ {
905
+ "current": 2550.0,
906
+ "min": 1500.0,
907
+ "max": 2550.0
908
+ },
909
+ {
910
+ "current": 2550.0,
911
+ "min": 1500.0,
912
+ "max": 2550.0
913
+ },
914
+ {
915
+ "current": 2550.0,
916
+ "min": 1500.0,
917
+ "max": 2550.0
918
+ },
919
+ {
920
+ "current": 2550.0,
921
+ "min": 1500.0,
922
+ "max": 2550.0
923
+ },
924
+ {
925
+ "current": 2550.0,
926
+ "min": 1500.0,
927
+ "max": 2550.0
928
+ },
929
+ {
930
+ "current": 3249.242,
931
+ "min": 1500.0,
932
+ "max": 2550.0
933
+ },
934
+ {
935
+ "current": 2550.0,
936
+ "min": 1500.0,
937
+ "max": 2550.0
938
+ },
939
+ {
940
+ "current": 2550.0,
941
+ "min": 1500.0,
942
+ "max": 2550.0
943
+ },
944
+ {
945
+ "current": 2550.0,
946
+ "min": 1500.0,
947
+ "max": 2550.0
948
+ },
949
+ {
950
+ "current": 2550.0,
951
+ "min": 1500.0,
952
+ "max": 2550.0
953
+ },
954
+ {
955
+ "current": 2550.0,
956
+ "min": 1500.0,
957
+ "max": 2550.0
958
+ },
959
+ {
960
+ "current": 3249.221,
961
+ "min": 1500.0,
962
+ "max": 2550.0
963
+ },
964
+ {
965
+ "current": 2550.0,
966
+ "min": 1500.0,
967
+ "max": 2550.0
968
+ },
969
+ {
970
+ "current": 2550.0,
971
+ "min": 1500.0,
972
+ "max": 2550.0
973
+ },
974
+ {
975
+ "current": 2550.0,
976
+ "min": 1500.0,
977
+ "max": 2550.0
978
+ },
979
+ {
980
+ "current": 2550.0,
981
+ "min": 1500.0,
982
+ "max": 2550.0
983
+ },
984
+ {
985
+ "current": 2550.0,
986
+ "min": 1500.0,
987
+ "max": 2550.0
988
+ },
989
+ {
990
+ "current": 2550.0,
991
+ "min": 1500.0,
992
+ "max": 2550.0
993
+ },
994
+ {
995
+ "current": 2550.0,
996
+ "min": 1500.0,
997
+ "max": 2550.0
998
+ },
999
+ {
1000
+ "current": 2550.0,
1001
+ "min": 1500.0,
1002
+ "max": 2550.0
1003
+ },
1004
+ {
1005
+ "current": 2550.0,
1006
+ "min": 1500.0,
1007
+ "max": 2550.0
1008
+ },
1009
+ {
1010
+ "current": 2550.0,
1011
+ "min": 1500.0,
1012
+ "max": 2550.0
1013
+ },
1014
+ {
1015
+ "current": 2550.0,
1016
+ "min": 1500.0,
1017
+ "max": 2550.0
1018
+ },
1019
+ {
1020
+ "current": 2550.0,
1021
+ "min": 1500.0,
1022
+ "max": 2550.0
1023
+ },
1024
+ {
1025
+ "current": 2550.0,
1026
+ "min": 1500.0,
1027
+ "max": 2550.0
1028
+ },
1029
+ {
1030
+ "current": 2550.0,
1031
+ "min": 1500.0,
1032
+ "max": 2550.0
1033
+ },
1034
+ {
1035
+ "current": 2550.0,
1036
+ "min": 1500.0,
1037
+ "max": 2550.0
1038
+ },
1039
+ {
1040
+ "current": 2550.0,
1041
+ "min": 1500.0,
1042
+ "max": 2550.0
1043
+ },
1044
+ {
1045
+ "current": 2550.0,
1046
+ "min": 1500.0,
1047
+ "max": 2550.0
1048
+ },
1049
+ {
1050
+ "current": 2550.0,
1051
+ "min": 1500.0,
1052
+ "max": 2550.0
1053
+ },
1054
+ {
1055
+ "current": 2550.0,
1056
+ "min": 1500.0,
1057
+ "max": 2550.0
1058
+ },
1059
+ {
1060
+ "current": 2550.0,
1061
+ "min": 1500.0,
1062
+ "max": 2550.0
1063
+ },
1064
+ {
1065
+ "current": 2550.0,
1066
+ "min": 1500.0,
1067
+ "max": 2550.0
1068
+ },
1069
+ {
1070
+ "current": 2550.0,
1071
+ "min": 1500.0,
1072
+ "max": 2550.0
1073
+ },
1074
+ {
1075
+ "current": 2550.0,
1076
+ "min": 1500.0,
1077
+ "max": 2550.0
1078
+ },
1079
+ {
1080
+ "current": 2550.0,
1081
+ "min": 1500.0,
1082
+ "max": 2550.0
1083
+ },
1084
+ {
1085
+ "current": 2550.0,
1086
+ "min": 1500.0,
1087
+ "max": 2550.0
1088
+ },
1089
+ {
1090
+ "current": 2550.0,
1091
+ "min": 1500.0,
1092
+ "max": 2550.0
1093
+ },
1094
+ {
1095
+ "current": 2550.0,
1096
+ "min": 1500.0,
1097
+ "max": 2550.0
1098
+ },
1099
+ {
1100
+ "current": 2550.0,
1101
+ "min": 1500.0,
1102
+ "max": 2550.0
1103
+ },
1104
+ {
1105
+ "current": 2550.0,
1106
+ "min": 1500.0,
1107
+ "max": 2550.0
1108
+ },
1109
+ {
1110
+ "current": 2550.0,
1111
+ "min": 1500.0,
1112
+ "max": 2550.0
1113
+ },
1114
+ {
1115
+ "current": 2550.0,
1116
+ "min": 1500.0,
1117
+ "max": 2550.0
1118
+ },
1119
+ {
1120
+ "current": 2550.0,
1121
+ "min": 1500.0,
1122
+ "max": 2550.0
1123
+ },
1124
+ {
1125
+ "current": 2550.0,
1126
+ "min": 1500.0,
1127
+ "max": 2550.0
1128
+ },
1129
+ {
1130
+ "current": 2550.0,
1131
+ "min": 1500.0,
1132
+ "max": 2550.0
1133
+ },
1134
+ {
1135
+ "current": 2550.0,
1136
+ "min": 1500.0,
1137
+ "max": 2550.0
1138
+ },
1139
+ {
1140
+ "current": 2550.0,
1141
+ "min": 1500.0,
1142
+ "max": 2550.0
1143
+ },
1144
+ {
1145
+ "current": 2550.0,
1146
+ "min": 1500.0,
1147
+ "max": 2550.0
1148
+ },
1149
+ {
1150
+ "current": 2550.0,
1151
+ "min": 1500.0,
1152
+ "max": 2550.0
1153
+ },
1154
+ {
1155
+ "current": 2550.0,
1156
+ "min": 1500.0,
1157
+ "max": 2550.0
1158
+ },
1159
+ {
1160
+ "current": 2550.0,
1161
+ "min": 1500.0,
1162
+ "max": 2550.0
1163
+ },
1164
+ {
1165
+ "current": 2550.0,
1166
+ "min": 1500.0,
1167
+ "max": 2550.0
1168
+ },
1169
+ {
1170
+ "current": 2550.0,
1171
+ "min": 1500.0,
1172
+ "max": 2550.0
1173
+ },
1174
+ {
1175
+ "current": 2550.0,
1176
+ "min": 1500.0,
1177
+ "max": 2550.0
1178
+ },
1179
+ {
1180
+ "current": 2550.0,
1181
+ "min": 1500.0,
1182
+ "max": 2550.0
1183
+ },
1184
+ {
1185
+ "current": 2550.0,
1186
+ "min": 1500.0,
1187
+ "max": 2550.0
1188
+ },
1189
+ {
1190
+ "current": 2550.0,
1191
+ "min": 1500.0,
1192
+ "max": 2550.0
1193
+ },
1194
+ {
1195
+ "current": 2550.0,
1196
+ "min": 1500.0,
1197
+ "max": 2550.0
1198
+ },
1199
+ {
1200
+ "current": 2550.0,
1201
+ "min": 1500.0,
1202
+ "max": 2550.0
1203
+ },
1204
+ {
1205
+ "current": 2550.0,
1206
+ "min": 1500.0,
1207
+ "max": 2550.0
1208
+ },
1209
+ {
1210
+ "current": 2550.0,
1211
+ "min": 1500.0,
1212
+ "max": 2550.0
1213
+ },
1214
+ {
1215
+ "current": 2550.0,
1216
+ "min": 1500.0,
1217
+ "max": 2550.0
1218
+ },
1219
+ {
1220
+ "current": 2550.0,
1221
+ "min": 1500.0,
1222
+ "max": 2550.0
1223
+ },
1224
+ {
1225
+ "current": 2550.0,
1226
+ "min": 1500.0,
1227
+ "max": 2550.0
1228
+ },
1229
+ {
1230
+ "current": 2550.0,
1231
+ "min": 1500.0,
1232
+ "max": 2550.0
1233
+ },
1234
+ {
1235
+ "current": 2550.0,
1236
+ "min": 1500.0,
1237
+ "max": 2550.0
1238
+ },
1239
+ {
1240
+ "current": 2550.0,
1241
+ "min": 1500.0,
1242
+ "max": 2550.0
1243
+ },
1244
+ {
1245
+ "current": 2550.0,
1246
+ "min": 1500.0,
1247
+ "max": 2550.0
1248
+ },
1249
+ {
1250
+ "current": 2550.0,
1251
+ "min": 1500.0,
1252
+ "max": 2550.0
1253
+ },
1254
+ {
1255
+ "current": 2550.0,
1256
+ "min": 1500.0,
1257
+ "max": 2550.0
1258
+ },
1259
+ {
1260
+ "current": 2550.0,
1261
+ "min": 1500.0,
1262
+ "max": 2550.0
1263
+ },
1264
+ {
1265
+ "current": 2550.0,
1266
+ "min": 1500.0,
1267
+ "max": 2550.0
1268
+ },
1269
+ {
1270
+ "current": 2550.0,
1271
+ "min": 1500.0,
1272
+ "max": 2550.0
1273
+ },
1274
+ {
1275
+ "current": 2550.0,
1276
+ "min": 1500.0,
1277
+ "max": 2550.0
1278
+ },
1279
+ {
1280
+ "current": 2550.0,
1281
+ "min": 1500.0,
1282
+ "max": 2550.0
1283
+ },
1284
+ {
1285
+ "current": 2550.0,
1286
+ "min": 1500.0,
1287
+ "max": 2550.0
1288
+ },
1289
+ {
1290
+ "current": 2550.0,
1291
+ "min": 1500.0,
1292
+ "max": 2550.0
1293
+ },
1294
+ {
1295
+ "current": 2550.0,
1296
+ "min": 1500.0,
1297
+ "max": 2550.0
1298
+ },
1299
+ {
1300
+ "current": 2550.0,
1301
+ "min": 1500.0,
1302
+ "max": 2550.0
1303
+ },
1304
+ {
1305
+ "current": 2550.0,
1306
+ "min": 1500.0,
1307
+ "max": 2550.0
1308
+ },
1309
+ {
1310
+ "current": 2550.0,
1311
+ "min": 1500.0,
1312
+ "max": 2550.0
1313
+ }
1314
+ ],
1315
+ "disk": {
1316
+ "/": {
1317
+ "total": 242.1086883544922,
1318
+ "used": 50.49263000488281
1319
+ }
1320
+ },
1321
+ "gpu": "NVIDIA A100-SXM4-80GB",
1322
+ "gpu_count": 8,
1323
+ "gpu_devices": [
1324
+ {
1325
+ "name": "NVIDIA A100-SXM4-80GB",
1326
+ "memory_total": 85899345920
1327
+ },
1328
+ {
1329
+ "name": "NVIDIA A100-SXM4-80GB",
1330
+ "memory_total": 85899345920
1331
+ },
1332
+ {
1333
+ "name": "NVIDIA A100-SXM4-80GB",
1334
+ "memory_total": 85899345920
1335
+ },
1336
+ {
1337
+ "name": "NVIDIA A100-SXM4-80GB",
1338
+ "memory_total": 85899345920
1339
+ },
1340
+ {
1341
+ "name": "NVIDIA A100-SXM4-80GB",
1342
+ "memory_total": 85899345920
1343
+ },
1344
+ {
1345
+ "name": "NVIDIA A100-SXM4-80GB",
1346
+ "memory_total": 85899345920
1347
+ },
1348
+ {
1349
+ "name": "NVIDIA A100-SXM4-80GB",
1350
+ "memory_total": 85899345920
1351
+ },
1352
+ {
1353
+ "name": "NVIDIA A100-SXM4-80GB",
1354
+ "memory_total": 85899345920
1355
+ }
1356
+ ],
1357
+ "memory": {
1358
+ "total": 2015.6942749023438
1359
+ }
1360
+ }
qformer2_256/wandb/run-20240312_142903-yrs4wcl6/files/wandb-summary.json ADDED
@@ -0,0 +1 @@
 
 
1
+ {"Finetune/Step": 5198, "Finetune/Loss": 0.8000658750534058, "Finetune/Loss (Raw)": 0.8697790503501892, "Finetune/Learning Rate": 0.0, "Finetune/Step Time": 5.611753150820732, "_timestamp": 1710282114.6367517, "_runtime": 28370.999879598618, "_step": 5198, "_wandb": {"runtime": 28633}}
qformer2_256/wandb/run-20240312_142903-yrs4wcl6/logs/debug-internal.log ADDED
The diff for this file is too large to render. See raw diff
 
qformer2_256/wandb/run-20240312_142903-yrs4wcl6/logs/debug.log ADDED
@@ -0,0 +1,34 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ 2024-03-12 14:29:03,625 INFO MainThread:2490955 [wandb_setup.py:_flush():76] Current SDK version is 0.16.3
2
+ 2024-03-12 14:29:03,626 INFO MainThread:2490955 [wandb_setup.py:_flush():76] Configure stats pid to 2490955
3
+ 2024-03-12 14:29:03,626 INFO MainThread:2490955 [wandb_setup.py:_flush():76] Loading settings from /home/lilei/.config/wandb/settings
4
+ 2024-03-12 14:29:03,626 INFO MainThread:2490955 [wandb_setup.py:_flush():76] Loading settings from /home/lilei/prismatic-vlms/wandb/settings
5
+ 2024-03-12 14:29:03,626 INFO MainThread:2490955 [wandb_setup.py:_flush():76] Loading settings from environment variables: {}
6
+ 2024-03-12 14:29:03,626 INFO MainThread:2490955 [wandb_setup.py:_flush():76] Applying setup settings: {'_disable_service': False}
7
+ 2024-03-12 14:29:03,626 INFO MainThread:2490955 [wandb_setup.py:_flush():76] Inferring run settings from compute environment: {'program_relpath': 'scripts/pretrain.py', 'program_abspath': '/home/lilei/prismatic-vlms/scripts/pretrain.py', 'program': '/home/lilei/prismatic-vlms/scripts/pretrain.py'}
8
+ 2024-03-12 14:29:03,626 INFO MainThread:2490955 [wandb_init.py:_log_setup():526] Logging user logs to runs/qformer2_256/wandb/run-20240312_142903-yrs4wcl6/logs/debug.log
9
+ 2024-03-12 14:29:03,626 INFO MainThread:2490955 [wandb_init.py:_log_setup():527] Logging internal logs to runs/qformer2_256/wandb/run-20240312_142903-yrs4wcl6/logs/debug-internal.log
10
+ 2024-03-12 14:29:03,626 INFO MainThread:2490955 [wandb_init.py:init():566] calling init triggers
11
+ 2024-03-12 14:29:03,626 INFO MainThread:2490955 [wandb_init.py:init():573] wandb.init called with sweep_config: {}
12
+ config: {'model': {'type': 'one-stage+7b', 'model_id': 'one-stage+7b_qformer2_256', 'arch_specifier': 'qformer2_256', 'vision_backbone_id': 'clip-vit-l-336px', 'llm_backbone_id': 'vicuna-v15-7b', 'image_resize_strategy': 'letterbox', 'llm_max_length': 2048, 'align_epochs': 1, 'align_max_steps': None, 'align_global_batch_size': 256, 'align_per_device_batch_size': 16, 'align_learning_rate': 0.001, 'align_weight_decay': 0.0, 'align_max_grad_norm': 1.0, 'align_lr_scheduler_type': 'linear-warmup+cosine-decay', 'align_warmup_ratio': 0.03, 'align_train_strategy': 'fsdp-shard-grad-op', 'finetune_epochs': 1, 'finetune_max_steps': None, 'finetune_global_batch_size': 128, 'finetune_per_device_batch_size': 16, 'finetune_learning_rate': 2e-05, 'finetune_weight_decay': 0.1, 'finetune_max_grad_norm': 1.0, 'finetune_lr_scheduler_type': 'linear-warmup+cosine-decay', 'finetune_warmup_ratio': 0.03, 'finetune_train_strategy': 'fsdp-full-shard', 'enable_gradient_checkpointing': True, 'enable_mixed_precision_training': True, 'reduce_in_full_precision': False}, 'dataset': {'type': 'llava-v15', 'dataset_id': 'llava-v15', 'align_stage_components': ['download/llava-laion-cc-sbu-558k/chat.json', 'download/llava-laion-cc-sbu-558k'], 'finetune_stage_components': ['download/llava-v1.5-instruct/llava_v1_5_mix665k.json', 'download/llava-v1.5-instruct'], 'dataset_root_dir': 'data'}, 'stage': 'finetune', 'pretrained_checkpoint': None, 'run_id': 'qformer2_256', 'run_root_dir': 'runs', 'seed': 7, 'hf_token': '.hf_token', 'trackers': ['jsonl', 'wandb'], 'wandb_project': 'hf-vlms', 'wandb_entity': 'lilei_stones', 'max_length': 4096}
13
+ 2024-03-12 14:29:03,626 INFO MainThread:2490955 [wandb_init.py:init():616] starting backend
14
+ 2024-03-12 14:29:03,626 INFO MainThread:2490955 [wandb_init.py:init():620] setting up manager
15
+ 2024-03-12 14:29:03,633 INFO MainThread:2490955 [backend.py:_multiprocessing_setup():105] multiprocessing start_methods=fork,spawn,forkserver, using: spawn
16
+ 2024-03-12 14:29:03,636 INFO MainThread:2490955 [wandb_init.py:init():628] backend started and connected
17
+ 2024-03-12 14:29:03,649 INFO MainThread:2490955 [wandb_init.py:init():720] updated telemetry
18
+ 2024-03-12 14:29:03,675 INFO MainThread:2490955 [wandb_init.py:init():753] communicating run to backend with 90.0 second timeout
19
+ 2024-03-12 14:29:07,875 INFO MainThread:2490955 [wandb_run.py:_on_init():2262] communicating current version
20
+ 2024-03-12 14:29:07,923 INFO MainThread:2490955 [wandb_run.py:_on_init():2271] got version response upgrade_message: "wandb version 0.16.4 is available! To upgrade, please run:\n $ pip install wandb --upgrade"
21
+
22
+ 2024-03-12 14:29:07,923 INFO MainThread:2490955 [wandb_init.py:init():804] starting run threads in backend
23
+ 2024-03-12 14:29:13,120 INFO MainThread:2490955 [wandb_run.py:_console_start():2241] atexit reg
24
+ 2024-03-12 14:29:13,120 INFO MainThread:2490955 [wandb_run.py:_redirect():2096] redirect: wrap_raw
25
+ 2024-03-12 14:29:13,120 INFO MainThread:2490955 [wandb_run.py:_redirect():2161] Wrapping output streams.
26
+ 2024-03-12 14:29:13,120 INFO MainThread:2490955 [wandb_run.py:_redirect():2186] Redirects installed.
27
+ 2024-03-12 14:29:13,121 INFO MainThread:2490955 [wandb_init.py:init():847] run started, returning control to user process
28
+ 2024-03-12 22:26:21,885 INFO MainThread:2490955 [wandb_run.py:_finish():1970] finishing run lilei_stones/hf-vlms/yrs4wcl6
29
+ 2024-03-12 22:26:21,886 INFO MainThread:2490955 [wandb_run.py:_atexit_cleanup():2210] got exitcode: 0
30
+ 2024-03-12 22:26:21,886 INFO MainThread:2490955 [wandb_run.py:_restore():2193] restore
31
+ 2024-03-12 22:26:21,886 INFO MainThread:2490955 [wandb_run.py:_restore():2199] restore done
32
+ 2024-03-12 22:26:29,403 INFO MainThread:2490955 [wandb_run.py:_footer_history_summary_info():3866] rendering history
33
+ 2024-03-12 22:26:29,403 INFO MainThread:2490955 [wandb_run.py:_footer_history_summary_info():3898] rendering summary
34
+ 2024-03-12 22:26:29,414 INFO MainThread:2490955 [wandb_run.py:_footer_sync_info():3825] logging synced files
qformer2_256/wandb/run-20240312_142903-yrs4wcl6/run-yrs4wcl6.wandb ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:b0119eb5a720af0addd03c34727d5e8d071915c8dcf6bff6f6ffaa10069713df
3
+ size 13457018
qformer2_32/checkpoints/latest-checkpoint.pt ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:40092396c797c1e9981c568a92376a5dca6be7de66b54500b5de9310d226e0cd
3
+ size 28820836534
qformer2_32/config.json ADDED
@@ -0,0 +1,60 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "dataset": {
3
+ "align_stage_components": [
4
+ "download/llava-laion-cc-sbu-558k/chat.json",
5
+ "download/llava-laion-cc-sbu-558k"
6
+ ],
7
+ "dataset_id": "llava-v15",
8
+ "dataset_root_dir": "data",
9
+ "finetune_stage_components": [
10
+ "download/llava-v1.5-instruct/llava_v1_5_mix665k.json",
11
+ "download/llava-v1.5-instruct"
12
+ ],
13
+ "type": "llava-v15"
14
+ },
15
+ "hf_token": ".hf_token",
16
+ "max_length": 4096,
17
+ "model": {
18
+ "align_epochs": 1,
19
+ "align_global_batch_size": 256,
20
+ "align_learning_rate": 0.001,
21
+ "align_lr_scheduler_type": "linear-warmup+cosine-decay",
22
+ "align_max_grad_norm": 1.0,
23
+ "align_max_steps": null,
24
+ "align_per_device_batch_size": 16,
25
+ "align_train_strategy": "fsdp-shard-grad-op",
26
+ "align_warmup_ratio": 0.03,
27
+ "align_weight_decay": 0.0,
28
+ "arch_specifier": "qformer2_32",
29
+ "enable_gradient_checkpointing": true,
30
+ "enable_mixed_precision_training": true,
31
+ "finetune_epochs": 1,
32
+ "finetune_global_batch_size": 128,
33
+ "finetune_learning_rate": 2e-05,
34
+ "finetune_lr_scheduler_type": "linear-warmup+cosine-decay",
35
+ "finetune_max_grad_norm": 1.0,
36
+ "finetune_max_steps": null,
37
+ "finetune_per_device_batch_size": 16,
38
+ "finetune_train_strategy": "fsdp-full-shard",
39
+ "finetune_warmup_ratio": 0.03,
40
+ "finetune_weight_decay": 0.1,
41
+ "image_resize_strategy": "letterbox",
42
+ "llm_backbone_id": "vicuna-v15-7b",
43
+ "llm_max_length": 2048,
44
+ "model_id": "one-stage+7b_qformer2_32",
45
+ "reduce_in_full_precision": false,
46
+ "type": "one-stage+7b",
47
+ "vision_backbone_id": "clip-vit-l-336px"
48
+ },
49
+ "pretrained_checkpoint": null,
50
+ "run_id": "qformer2_32",
51
+ "run_root_dir": "runs",
52
+ "seed": 7,
53
+ "stage": "finetune",
54
+ "trackers": [
55
+ "jsonl",
56
+ "wandb"
57
+ ],
58
+ "wandb_entity": "lilei_stones",
59
+ "wandb_project": "hf-vlms"
60
+ }
qformer2_32/config.yaml ADDED
@@ -0,0 +1,53 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ dataset:
2
+ align_stage_components:
3
+ - download/llava-laion-cc-sbu-558k/chat.json
4
+ - download/llava-laion-cc-sbu-558k
5
+ dataset_id: llava-v15
6
+ dataset_root_dir: data
7
+ finetune_stage_components:
8
+ - download/llava-v1.5-instruct/llava_v1_5_mix665k.json
9
+ - download/llava-v1.5-instruct
10
+ type: llava-v15
11
+ hf_token: .hf_token
12
+ max_length: 4096
13
+ model:
14
+ align_epochs: 1
15
+ align_global_batch_size: 256
16
+ align_learning_rate: 0.001
17
+ align_lr_scheduler_type: linear-warmup+cosine-decay
18
+ align_max_grad_norm: 1.0
19
+ align_max_steps: null
20
+ align_per_device_batch_size: 16
21
+ align_train_strategy: fsdp-shard-grad-op
22
+ align_warmup_ratio: 0.03
23
+ align_weight_decay: 0.0
24
+ arch_specifier: qformer2_32
25
+ enable_gradient_checkpointing: true
26
+ enable_mixed_precision_training: true
27
+ finetune_epochs: 1
28
+ finetune_global_batch_size: 128
29
+ finetune_learning_rate: 2.0e-05
30
+ finetune_lr_scheduler_type: linear-warmup+cosine-decay
31
+ finetune_max_grad_norm: 1.0
32
+ finetune_max_steps: null
33
+ finetune_per_device_batch_size: 16
34
+ finetune_train_strategy: fsdp-full-shard
35
+ finetune_warmup_ratio: 0.03
36
+ finetune_weight_decay: 0.1
37
+ image_resize_strategy: letterbox
38
+ llm_backbone_id: vicuna-v15-7b
39
+ llm_max_length: 2048
40
+ model_id: one-stage+7b_qformer2_32
41
+ reduce_in_full_precision: false
42
+ type: one-stage+7b
43
+ vision_backbone_id: clip-vit-l-336px
44
+ pretrained_checkpoint: null
45
+ run_id: qformer2_32
46
+ run_root_dir: runs
47
+ seed: 7
48
+ stage: finetune
49
+ trackers:
50
+ - jsonl
51
+ - wandb
52
+ wandb_entity: lilei_stones
53
+ wandb_project: hf-vlms
qformer2_32/qformer2_32.jsonl ADDED
The diff for this file is too large to render. See raw diff
 
qformer2_32/run-metrics.jsonl ADDED
@@ -0,0 +1 @@
 
 
1
+ {"hparams": {"dataset": {"align_stage_components": ["download/llava-laion-cc-sbu-558k/chat.json", "download/llava-laion-cc-sbu-558k"], "dataset_id": "llava-v15", "dataset_root_dir": "data", "finetune_stage_components": ["download/llava-v1.5-instruct/llava_v1_5_mix665k.json", "download/llava-v1.5-instruct"], "type": "llava-v15"}, "hf_token": ".hf_token", "max_length": 4096, "model": {"align_epochs": 1, "align_global_batch_size": 256, "align_learning_rate": 0.001, "align_lr_scheduler_type": "linear-warmup+cosine-decay", "align_max_grad_norm": 1.0, "align_max_steps": null, "align_per_device_batch_size": 16, "align_train_strategy": "fsdp-shard-grad-op", "align_warmup_ratio": 0.03, "align_weight_decay": 0.0, "arch_specifier": "qformer2_32", "enable_gradient_checkpointing": true, "enable_mixed_precision_training": true, "finetune_epochs": 1, "finetune_global_batch_size": 128, "finetune_learning_rate": 2e-05, "finetune_lr_scheduler_type": "linear-warmup+cosine-decay", "finetune_max_grad_norm": 1.0, "finetune_max_steps": null, "finetune_per_device_batch_size": 16, "finetune_train_strategy": "fsdp-full-shard", "finetune_warmup_ratio": 0.03, "finetune_weight_decay": 0.1, "image_resize_strategy": "letterbox", "llm_backbone_id": "vicuna-v15-7b", "llm_max_length": 2048, "model_id": "one-stage+7b_qformer2_32", "reduce_in_full_precision": false, "type": "one-stage+7b", "vision_backbone_id": "clip-vit-l-336px"}, "pretrained_checkpoint": null, "run_id": "qformer2_32", "run_root_dir": "runs", "seed": 7, "stage": "finetune", "trackers": ["jsonl", "wandb"], "wandb_entity": "lilei_stones", "wandb_project": "hf-vlms"}, "run_id": "qformer2_32"}
qformer2_32/wandb/debug-internal.log ADDED
@@ -0,0 +1 @@
 
 
1
+ run-20240312_142855-srovbvi2/logs/debug-internal.log
qformer2_32/wandb/debug.log ADDED
@@ -0,0 +1 @@
 
 
1
+ run-20240312_142855-srovbvi2/logs/debug.log
qformer2_32/wandb/latest-run ADDED
@@ -0,0 +1 @@
 
 
1
+ run-20240312_142855-srovbvi2
qformer2_32/wandb/run-20240312_142855-srovbvi2/files/conda-environment.yaml ADDED
@@ -0,0 +1,194 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ name: pvlm
2
+ channels:
3
+ - pytorch
4
+ - nvidia
5
+ - defaults
6
+ dependencies:
7
+ - _libgcc_mutex=0.1=main
8
+ - _openmp_mutex=5.1=1_gnu
9
+ - blas=1.0=mkl
10
+ - bzip2=1.0.8=h7b6447c_0
11
+ - ca-certificates=2023.12.12=h06a4308_0
12
+ - certifi=2024.2.2=py310h06a4308_0
13
+ - charset-normalizer=2.0.4=pyhd3eb1b0_0
14
+ - cuda-cudart=11.8.89=0
15
+ - cuda-cupti=11.8.87=0
16
+ - cuda-libraries=11.8.0=0
17
+ - cuda-nvrtc=11.8.89=0
18
+ - cuda-nvtx=11.8.86=0
19
+ - cuda-runtime=11.8.0=0
20
+ - ffmpeg=4.3=hf484d3e_0
21
+ - filelock=3.13.1=py310h06a4308_0
22
+ - freetype=2.12.1=h4a9f257_0
23
+ - gmp=6.2.1=h295c915_3
24
+ - gmpy2=2.1.2=py310heeb90bb_0
25
+ - gnutls=3.6.15=he1e5248_0
26
+ - idna=3.4=py310h06a4308_0
27
+ - intel-openmp=2023.1.0=hdb19cb5_46306
28
+ - jinja2=3.1.3=py310h06a4308_0
29
+ - jpeg=9e=h5eee18b_1
30
+ - lame=3.100=h7b6447c_0
31
+ - lcms2=2.12=h3be6417_0
32
+ - ld_impl_linux-64=2.38=h1181459_1
33
+ - lerc=3.0=h295c915_0
34
+ - libcublas=11.11.3.6=0
35
+ - libcufft=10.9.0.58=0
36
+ - libcufile=1.8.1.2=0
37
+ - libcurand=10.3.4.107=0
38
+ - libcusolver=11.4.1.48=0
39
+ - libcusparse=11.7.5.86=0
40
+ - libdeflate=1.17=h5eee18b_1
41
+ - libffi=3.4.4=h6a678d5_0
42
+ - libgcc-ng=11.2.0=h1234567_1
43
+ - libgomp=11.2.0=h1234567_1
44
+ - libiconv=1.16=h7f8727e_2
45
+ - libidn2=2.3.4=h5eee18b_0
46
+ - libjpeg-turbo=2.0.0=h9bf148f_0
47
+ - libnpp=11.8.0.86=0
48
+ - libnvjpeg=11.9.0.86=0
49
+ - libpng=1.6.39=h5eee18b_0
50
+ - libstdcxx-ng=11.2.0=h1234567_1
51
+ - libtasn1=4.19.0=h5eee18b_0
52
+ - libtiff=4.5.1=h6a678d5_0
53
+ - libunistring=0.9.10=h27cfd23_0
54
+ - libuuid=1.41.5=h5eee18b_0
55
+ - libwebp-base=1.3.2=h5eee18b_0
56
+ - llvm-openmp=14.0.6=h9e868ea_0
57
+ - lz4-c=1.9.4=h6a678d5_0
58
+ - markupsafe=2.1.3=py310h5eee18b_0
59
+ - mkl=2023.1.0=h213fc3f_46344
60
+ - mkl-service=2.4.0=py310h5eee18b_1
61
+ - mkl_fft=1.3.8=py310h5eee18b_0
62
+ - mkl_random=1.2.4=py310hdb19cb5_0
63
+ - mpc=1.1.0=h10f8cd9_1
64
+ - mpfr=4.0.2=hb69a4c5_1
65
+ - mpmath=1.3.0=py310h06a4308_0
66
+ - ncurses=6.4=h6a678d5_0
67
+ - nettle=3.7.3=hbbd107a_1
68
+ - networkx=3.1=py310h06a4308_0
69
+ - numpy=1.26.4=py310h5f9d8c6_0
70
+ - numpy-base=1.26.4=py310hb5e798b_0
71
+ - openh264=2.1.1=h4ff587b_0
72
+ - openjpeg=2.4.0=h3ad879b_0
73
+ - openssl=3.0.13=h7f8727e_0
74
+ - pillow=10.2.0=py310h5eee18b_0
75
+ - pip=23.3.1=py310h06a4308_0
76
+ - python=3.10.13=h955ad1f_0
77
+ - pytorch=2.2.1=py3.10_cuda11.8_cudnn8.7.0_0
78
+ - pytorch-cuda=11.8=h7e8668a_5
79
+ - pytorch-mutex=1.0=cuda
80
+ - pyyaml=6.0.1=py310h5eee18b_0
81
+ - readline=8.2=h5eee18b_0
82
+ - requests=2.31.0=py310h06a4308_1
83
+ - setuptools=68.2.2=py310h06a4308_0
84
+ - sqlite=3.41.2=h5eee18b_0
85
+ - sympy=1.12=py310h06a4308_0
86
+ - tbb=2021.8.0=hdb19cb5_0
87
+ - tk=8.6.12=h1ccaba5_0
88
+ - torchaudio=2.2.1=py310_cu118
89
+ - torchtriton=2.2.0=py310
90
+ - torchvision=0.17.1=py310_cu118
91
+ - typing_extensions=4.9.0=py310h06a4308_1
92
+ - urllib3=2.1.0=py310h06a4308_0
93
+ - wheel=0.41.2=py310h06a4308_0
94
+ - xz=5.4.5=h5eee18b_0
95
+ - yaml=0.2.5=h7b6447c_0
96
+ - zlib=1.2.13=h5eee18b_0
97
+ - zstd=1.5.5=hc292b87_0
98
+ - pip:
99
+ - accelerate==0.27.2
100
+ - aiohttp==3.9.3
101
+ - aiosignal==1.3.1
102
+ - annotated-types==0.6.0
103
+ - appdirs==1.4.4
104
+ - async-timeout==4.0.3
105
+ - attrs==23.2.0
106
+ - beautifulsoup4==4.12.3
107
+ - blis==0.7.11
108
+ - catalogue==2.0.10
109
+ - click==8.1.7
110
+ - cloudpathlib==0.16.0
111
+ - confection==0.1.4
112
+ - contourpy==1.2.0
113
+ - cycler==0.12.1
114
+ - cymem==2.0.8
115
+ - datasets==2.18.0
116
+ - deepspeed==0.13.4
117
+ - dill==0.3.8
118
+ - docker-pycreds==0.4.0
119
+ - draccus==0.7.1
120
+ - einops==0.7.0
121
+ - flash-attn==2.5.5
122
+ - fonttools==4.49.0
123
+ - frozenlist==1.4.1
124
+ - fsspec==2024.2.0
125
+ - gdown==5.1.0
126
+ - gitdb==4.0.11
127
+ - gitpython==3.1.42
128
+ - hjson==3.1.0
129
+ - huggingface-hub==0.20.3
130
+ - install==1.3.5
131
+ - jsonlines==4.0.0
132
+ - kiwisolver==1.4.5
133
+ - langcodes==3.3.0
134
+ - markdown-it-py==3.0.0
135
+ - matplotlib==3.8.3
136
+ - mdurl==0.1.2
137
+ - mergedeep==1.3.4
138
+ - multidict==6.0.5
139
+ - multiprocess==0.70.16
140
+ - murmurhash==1.0.10
141
+ - mypy-extensions==1.0.0
142
+ - ninja==1.11.1.1
143
+ - packaging==23.2
144
+ - pandas==2.2.1
145
+ - preshed==3.0.9
146
+ - prismatic==0.0.1
147
+ - protobuf==4.25.3
148
+ - psutil==5.9.8
149
+ - py-cpuinfo==9.0.0
150
+ - pyarrow==15.0.0
151
+ - pyarrow-hotfix==0.6
152
+ - pycocoevalcap==1.2
153
+ - pycocotools==2.0.7
154
+ - pydantic==2.6.3
155
+ - pydantic-core==2.16.3
156
+ - pygments==2.17.2
157
+ - pynvml==11.5.0
158
+ - pyparsing==3.1.1
159
+ - pysocks==1.7.1
160
+ - pythainlp==5.0.1
161
+ - python-dateutil==2.9.0.post0
162
+ - pytz==2024.1
163
+ - pyyaml-include==1.3.2
164
+ - regex==2023.12.25
165
+ - rich==13.7.0
166
+ - safetensors==0.4.2
167
+ - sentencepiece==0.2.0
168
+ - sentry-sdk==1.40.5
169
+ - setproctitle==1.3.3
170
+ - six==1.16.0
171
+ - smart-open==6.4.0
172
+ - smmap==5.0.1
173
+ - soupsieve==2.5
174
+ - spacy==3.7.4
175
+ - spacy-legacy==3.0.12
176
+ - spacy-loggers==1.0.5
177
+ - srsly==2.4.8
178
+ - sudachidict-core==20240109
179
+ - sudachipy==0.6.8
180
+ - thinc==8.2.3
181
+ - timm==0.9.16
182
+ - tokenizers==0.15.2
183
+ - toml==0.10.2
184
+ - tqdm==4.66.2
185
+ - transformers==4.38.1
186
+ - typer==0.9.0
187
+ - typing-inspect==0.9.0
188
+ - tzdata==2024.1
189
+ - wandb==0.16.3
190
+ - wasabi==1.1.2
191
+ - weasel==0.3.4
192
+ - xxhash==3.4.1
193
+ - yarl==1.9.4
194
+ prefix: /home/lilei/anaconda3/envs/pvlm
qformer2_32/wandb/run-20240312_142855-srovbvi2/files/config.yaml ADDED
@@ -0,0 +1,119 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ wandb_version: 1
2
+
3
+ model:
4
+ desc: null
5
+ value:
6
+ type: one-stage+7b
7
+ model_id: one-stage+7b_qformer2_32
8
+ arch_specifier: qformer2_32
9
+ vision_backbone_id: clip-vit-l-336px
10
+ llm_backbone_id: vicuna-v15-7b
11
+ image_resize_strategy: letterbox
12
+ llm_max_length: 2048
13
+ align_epochs: 1
14
+ align_max_steps: null
15
+ align_global_batch_size: 256
16
+ align_per_device_batch_size: 16
17
+ align_learning_rate: 0.001
18
+ align_weight_decay: 0.0
19
+ align_max_grad_norm: 1.0
20
+ align_lr_scheduler_type: linear-warmup+cosine-decay
21
+ align_warmup_ratio: 0.03
22
+ align_train_strategy: fsdp-shard-grad-op
23
+ finetune_epochs: 1
24
+ finetune_max_steps: null
25
+ finetune_global_batch_size: 128
26
+ finetune_per_device_batch_size: 16
27
+ finetune_learning_rate: 2.0e-05
28
+ finetune_weight_decay: 0.1
29
+ finetune_max_grad_norm: 1.0
30
+ finetune_lr_scheduler_type: linear-warmup+cosine-decay
31
+ finetune_warmup_ratio: 0.03
32
+ finetune_train_strategy: fsdp-full-shard
33
+ enable_gradient_checkpointing: true
34
+ enable_mixed_precision_training: true
35
+ reduce_in_full_precision: false
36
+ dataset:
37
+ desc: null
38
+ value:
39
+ type: llava-v15
40
+ dataset_id: llava-v15
41
+ align_stage_components:
42
+ - download/llava-laion-cc-sbu-558k/chat.json
43
+ - download/llava-laion-cc-sbu-558k
44
+ finetune_stage_components:
45
+ - download/llava-v1.5-instruct/llava_v1_5_mix665k.json
46
+ - download/llava-v1.5-instruct
47
+ dataset_root_dir: data
48
+ stage:
49
+ desc: null
50
+ value: finetune
51
+ pretrained_checkpoint:
52
+ desc: null
53
+ value: null
54
+ run_id:
55
+ desc: null
56
+ value: qformer2_32
57
+ run_root_dir:
58
+ desc: null
59
+ value: runs
60
+ seed:
61
+ desc: null
62
+ value: 7
63
+ hf_token:
64
+ desc: null
65
+ value: .hf_token
66
+ trackers:
67
+ desc: null
68
+ value:
69
+ - jsonl
70
+ - wandb
71
+ wandb_project:
72
+ desc: null
73
+ value: hf-vlms
74
+ wandb_entity:
75
+ desc: null
76
+ value: lilei_stones
77
+ max_length:
78
+ desc: null
79
+ value: 4096
80
+ _wandb:
81
+ desc: null
82
+ value:
83
+ python_version: 3.10.13
84
+ cli_version: 0.16.3
85
+ framework: huggingface
86
+ huggingface_version: 4.38.1
87
+ is_jupyter_run: false
88
+ is_kaggle_kernel: false
89
+ start_time: 1710253735.064287
90
+ t:
91
+ 1:
92
+ - 1
93
+ - 11
94
+ - 41
95
+ - 49
96
+ - 51
97
+ - 55
98
+ - 63
99
+ - 71
100
+ 2:
101
+ - 1
102
+ - 11
103
+ - 41
104
+ - 49
105
+ - 51
106
+ - 55
107
+ - 63
108
+ - 71
109
+ 3:
110
+ - 2
111
+ - 13
112
+ - 16
113
+ - 23
114
+ 4: 3.10.13
115
+ 5: 0.16.3
116
+ 6: 4.38.1
117
+ 8:
118
+ - 5
119
+ 13: linux-x86_64
qformer2_32/wandb/run-20240312_142855-srovbvi2/files/output.log ADDED
@@ -0,0 +1,5198 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+
2
+ 03/12 [14:29:00] INFO  | >> [*] Starting Training Loop ]8;id=72103;file:///home/lilei/prismatic-vlms/scripts/pretrain.py\pretrain.py]8;;\:]8;id=880770;file:///home/lilei/prismatic-vlms/scripts/pretrain.py#226\226]8;;\
3
+
4
+
5
+
6
+
7
+
8
+
9
+
10
+
11
+
12
+
13
+
14
+
15
+
16
+
17
+
18
+
19
+
20
+
21
+
22
+
23
+
24
+
25
+
26
+
27
+
28
+
29
+
30
+
31
+
32
+
33
+
34
+
35
+
36
+
37
+
38
+
39
+
40
+
41
+
42
+
43
+
44
+
45
+
46
+
47
+
48
+
49
+
50
+
51
+
52
+
53
+
54
+
55
+
56
+
57
+
58
+
59
+
60
+
61
+
62
+
63
+
64
+
65
+
66
+
67
+
68
+
69
+
70
+
71
+
72
+
73
+
74
+
75
+
76
+
77
+
78
+
79
+
80
+
81
+
82
+
83
+
84
+
85
+
86
+
87
+
88
+
89
+
90
+
91
+
92
+
93
+
94
+
95
+
96
+
97
+
98
+
99
+
100
+
101
+
102
+
103
+
104
+
105
+
106
+
107
+
108
+
109
+
110
+
111
+
112
+
113
+
114
+
115
+
116
+
117
+
118
+
119
+
120
+
121
+
122
+
123
+
124
+
125
+
126
+
127
+
128
+
129
+
130
+
131
+
132
+
133
+
134
+
135
+
136
+
137
+
138
+
139
+
140
+
141
+
142
+
143
+
144
+
145
+
146
+
147
+
148
+
149
+
150
+
151
+
152
+
153
+
154
+
155
+
156
+
157
+
158
+
159
+
160
+
161
+
162
+
163
+
164
+
165
+
166
+
167
+
168
+
169
+
170
+
171
+
172
+
173
+
174
+
175
+
176
+
177
+
178
+
179
+
180
+
181
+
182
+
183
+
184
+
185
+
186
+
187
+
188
+
189
+
190
+
191
+
192
+
193
+
194
+
195
+
196
+
197
+
198
+
199
+
200
+
201
+
202
+
203
+
204
+
205
+
206
+
207
+
208
+
209
+
210
+
211
+
212
+
213
+
214
+
215
+
216
+
217
+
218
+
219
+
220
+
221
+
222
+
223
+
224
+
225
+
226
+
227
+
228
+
229
+
230
+
231
+
232
+
233
+
234
+
235
+
236
+
237
+
238
+
239
+
240
+
241
+
242
+
243
+
244
+
245
+
246
+
247
+
248
+
249
+
250
+
251
+
252
+
253
+
254
+
255
+
256
+
257
+
258
+
259
+
260
+
261
+
262
+
263
+
264
+
265
+
266
+
267
+
268
+
269
+
270
+
271
+
272
+
273
+
274
+
275
+
276
+
277
+
278
+
279
+
280
+
281
+
282
+
283
+
284
+
285
+
286
+
287
+
288
+
289
+
290
+
291
+
292
+
293
+
294
+
295
+
296
+
297
+
298
+
299
+
300
+
301
+
302
+
303
+
304
+
305
+
306
+
307
+
308
+
309
+
310
+
311
+
312
+
313
+
314
+
315
+
316
+
317
+
318
+
319
+
320
+
321
+
322
+
323
+
324
+
325
+
326
+
327
+
328
+
329
+
330
+
331
+
332
+
333
+
334
+
335
+
336
+
337
+
338
+
339
+
340
+
341
+
342
+
343
+
344
+
345
+
346
+
347
+
348
+
349
+
350
+
351
+
352
+
353
+
354
+
355
+
356
+
357
+
358
+
359
+
360
+
361
+
362
+
363
+
364
+
365
+
366
+
367
+
368
+
369
+
370
+
371
+
372
+
373
+
374
+
375
+
376
+
377
+
378
+
379
+
380
+
381
+
382
+
383
+
384
+
385
+
386
+
387
+
388
+
389
+
390
+
391
+
392
+
393
+
394
+
395
+
396
+
397
+
398
+
399
+
400
+
401
+
402
+
403
+
404
+
405
+
406
+
407
+
408
+
409
+
410
+
411
+
412
+
413
+
414
+
415
+
416
+
417
+
418
+
419
+
420
+
421
+
422
+
423
+
424
+
425
+
426
+
427
+
428
+
429
+
430
+
431
+
432
+
433
+
434
+
435
+
436
+
437
+
438
+
439
+
440
+
441
+
442
+
443
+
444
+
445
+
446
+
447
+
448
+
449
+
450
+
451
+
452
+
453
+
454
+
455
+
456
+
457
+
458
+
459
+
460
+
461
+
462
+
463
+
464
+
465
+
466
+
467
+
468
+
469
+
470
+
471
+
472
+
473
+
474
+
475
+
476
+
477
+
478
+
479
+
480
+
481
+
482
+
483
+
484
+
485
+
486
+
487
+
488
+
489
+
490
+
491
+
492
+
493
+
494
+
495
+
496
+
497
+
498
+
499
+
500
+
501
+
502
+
503
+
504
+
505
+
506
+
507
+
508
+
509
+
510
+
511
+
512
+
513
+
514
+
515
+
516
+
517
+
518
+
519
+
520
+
521
+
522
+
523
+
524
+
525
+
526
+
527
+
528
+
529
+
530
+
531
+
532
+
533
+
534
+
535
+
536
+
537
+
538
+
539
+
540
+
541
+
542
+
543
+
544
+
545
+
546
+
547
+
548
+
549
+
550
+
551
+
552
+
553
+
554
+
555
+
556
+
557
+
558
+
559
+
560
+
561
+
562
+
563
+
564
+
565
+
566
+
567
+
568
+
569
+
570
+
571
+
572
+
573
+
574
+
575
+
576
+
577
+
578
+
579
+
580
+
581
+
582
+
583
+
584
+
585
+
586
+
587
+
588
+
589
+
590
+
591
+
592
+
593
+
594
+
595
+
596
+
597
+
598
+
599
+
600
+
601
+
602
+
603
+
604
+
605
+
606
+
607
+
608
+
609
+
610
+
611
+
612
+
613
+
614
+
615
+
616
+
617
+
618
+
619
+
620
+
621
+
622
+
623
+
624
+
625
+
626
+
627
+
628
+
629
+
630
+
631
+
632
+
633
+
634
+
635
+
636
+
637
+
638
+
639
+
640
+
641
+
642
+
643
+
644
+
645
+
646
+
647
+
648
+
649
+
650
+
651
+
652
+
653
+
654
+
655
+
656
+
657
+
658
+
659
+
660
+
661
+
662
+
663
+
664
+
665
+
666
+
667
+
668
+
669
+
670
+
671
+
672
+
673
+
674
+
675
+
676
+
677
+
678
+
679
+
680
+
681
+
682
+
683
+
684
+
685
+
686
+
687
+
688
+
689
+
690
+
691
+
692
+
693
+
694
+
695
+
696
+
697
+
698
+
699
+
700
+
701
+
702
+
703
+
704
+
705
+
706
+
707
+
708
+
709
+
710
+
711
+
712
+
713
+
714
+
715
+
716
+
717
+
718
+
719
+
720
+
721
+
722
+
723
+
724
+
725
+
726
+
727
+
728
+
729
+
730
+
731
+
732
+
733
+
734
+
735
+
736
+
737
+
738
+
739
+
740
+
741
+
742
+
743
+
744
+
745
+
746
+
747
+
748
+
749
+
750
+
751
+
752
+
753
+
754
+
755
+
756
+
757
+
758
+
759
+
760
+
761
+
762
+
763
+
764
+
765
+
766
+
767
+
768
+
769
+
770
+
771
+
772
+
773
+
774
+
775
+
776
+
777
+
778
+
779
+
780
+
781
+
782
+
783
+
784
+
785
+
786
+
787
+
788
+
789
+
790
+
791
+
792
+
793
+
794
+
795
+
796
+
797
+
798
+
799
+
800
+
801
+
802
+
803
+
804
+
805
+
806
+
807
+
808
+
809
+
810
+
811
+
812
+
813
+
814
+
815
+
816
+
817
+
818
+
819
+
820
+
821
+
822
+
823
+
824
+
825
+
826
+
827
+
828
+
829
+
830
+
831
+
832
+
833
+
834
+
835
+
836
+
837
+
838
+
839
+
840
+
841
+
842
+
843
+
844
+
845
+
846
+
847
+
848
+
849
+
850
+
851
+
852
+
853
+
854
+
855
+
856
+
857
+
858
+
859
+
860
+
861
+
862
+
863
+
864
+
865
+
866
+
867
+
868
+
869
+
870
+
871
+
872
+
873
+
874
+
875
+
876
+
877
+
878
+
879
+
880
+
881
+
882
+
883
+
884
+
885
+
886
+
887
+
888
+
889
+
890
+
891
+
892
+
893
+
894
+
895
+
896
+
897
+
898
+
899
+
900
+
901
+
902
+
903
+
904
+
905
+
906
+
907
+
908
+
909
+
910
+
911
+
912
+
913
+
914
+
915
+
916
+
917
+
918
+
919
+
920
+
921
+
922
+
923
+
924
+
925
+
926
+
927
+
928
+
929
+
930
+
931
+
932
+
933
+
934
+
935
+
936
+
937
+
938
+
939
+
940
+
941
+
942
+
943
+
944
+
945
+
946
+
947
+
948
+
949
+
950
+
951
+
952
+
953
+
954
+
955
+
956
+
957
+
958
+
959
+
960
+
961
+
962
+
963
+
964
+
965
+
966
+
967
+
968
+
969
+
970
+
971
+
972
+
973
+
974
+
975
+
976
+
977
+
978
+
979
+
980
+
981
+
982
+
983
+
984
+
985
+
986
+
987
+
988
+
989
+
990
+
991
+
992
+
993
+
994
+
995
+
996
+
997
+
998
+
999
+
1000
+
1001
+
1002
+
1003
+
1004
+
1005
+
1006
+
1007
+
1008
+
1009
+
1010
+
1011
+
1012
+
1013
+
1014
+
1015
+
1016
+
1017
+
1018
+
1019
+
1020
+
1021
+
1022
+
1023
+
1024
+
1025
+
1026
+
1027
+
1028
+
1029
+
1030
+
1031
+
1032
+
1033
+
1034
+
1035
+
1036
+
1037
+
1038
+
1039
+
1040
+
1041
+
1042
+
1043
+
1044
+
1045
+
1046
+
1047
+
1048
+
1049
+
1050
+
1051
+
1052
+
1053
+
1054
+
1055
+
1056
+
1057
+
1058
+
1059
+
1060
+
1061
+
1062
+
1063
+
1064
+
1065
+
1066
+
1067
+
1068
+
1069
+
1070
+
1071
+
1072
+
1073
+
1074
+
1075
+
1076
+
1077
+
1078
+
1079
+
1080
+
1081
+
1082
+
1083
+
1084
+
1085
+
1086
+
1087
+
1088
+
1089
+
1090
+
1091
+
1092
+
1093
+
1094
+
1095
+
1096
+
1097
+
1098
+
1099
+
1100
+
1101
+
1102
+
1103
+
1104
+
1105
+
1106
+
1107
+
1108
+
1109
+
1110
+
1111
+
1112
+
1113
+
1114
+
1115
+
1116
+
1117
+
1118
+
1119
+
1120
+
1121
+
1122
+
1123
+
1124
+
1125
+
1126
+
1127
+
1128
+
1129
+
1130
+
1131
+
1132
+
1133
+
1134
+
1135
+
1136
+
1137
+
1138
+
1139
+
1140
+
1141
+
1142
+
1143
+
1144
+
1145
+
1146
+
1147
+
1148
+
1149
+
1150
+
1151
+
1152
+
1153
+
1154
+
1155
+
1156
+
1157
+
1158
+
1159
+
1160
+
1161
+
1162
+
1163
+
1164
+
1165
+
1166
+
1167
+
1168
+
1169
+
1170
+
1171
+
1172
+
1173
+
1174
+
1175
+
1176
+
1177
+
1178
+
1179
+
1180
+
1181
+
1182
+
1183
+
1184
+
1185
+
1186
+
1187
+
1188
+
1189
+
1190
+
1191
+
1192
+
1193
+
1194
+
1195
+
1196
+
1197
+
1198
+
1199
+
1200
+
1201
+
1202
+
1203
+
1204
+
1205
+
1206
+
1207
+
1208
+
1209
+
1210
+
1211
+
1212
+
1213
+
1214
+
1215
+
1216
+
1217
+
1218
+
1219
+
1220
+
1221
+
1222
+
1223
+
1224
+
1225
+
1226
+
1227
+
1228
+
1229
+
1230
+
1231
+
1232
+
1233
+
1234
+
1235
+
1236
+
1237
+
1238
+
1239
+
1240
+
1241
+
1242
+
1243
+
1244
+
1245
+
1246
+
1247
+
1248
+
1249
+
1250
+
1251
+
1252
+
1253
+
1254
+
1255
+
1256
+
1257
+
1258
+
1259
+
1260
+
1261
+
1262
+
1263
+
1264
+
1265
+
1266
+
1267
+
1268
+
1269
+
1270
+
1271
+
1272
+
1273
+
1274
+
1275
+
1276
+
1277
+
1278
+
1279
+
1280
+
1281
+
1282
+
1283
+
1284
+
1285
+
1286
+
1287
+
1288
+
1289
+
1290
+
1291
+
1292
+
1293
+
1294
+
1295
+
1296
+
1297
+
1298
+
1299
+
1300
+
1301
+
1302
+
1303
+
1304
+
1305
+
1306
+
1307
+
1308
+
1309
+
1310
+
1311
+
1312
+
1313
+
1314
+
1315
+
1316
+
1317
+
1318
+
1319
+
1320
+
1321
+
1322
+
1323
+
1324
+
1325
+
1326
+
1327
+
1328
+
1329
+
1330
+
1331
+
1332
+
1333
+
1334
+
1335
+
1336
+
1337
+
1338
+
1339
+
1340
+
1341
+
1342
+
1343
+
1344
+
1345
+
1346
+
1347
+
1348
+
1349
+
1350
+
1351
+
1352
+
1353
+
1354
+
1355
+
1356
+
1357
+
1358
+
1359
+
1360
+
1361
+
1362
+
1363
+
1364
+
1365
+
1366
+
1367
+
1368
+
1369
+
1370
+
1371
+
1372
+
1373
+
1374
+
1375
+
1376
+
1377
+
1378
+
1379
+
1380
+
1381
+
1382
+
1383
+
1384
+
1385
+
1386
+
1387
+
1388
+
1389
+
1390
+
1391
+
1392
+
1393
+
1394
+
1395
+
1396
+
1397
+
1398
+
1399
+
1400
+
1401
+
1402
+
1403
+
1404
+
1405
+
1406
+
1407
+
1408
+
1409
+
1410
+
1411
+
1412
+
1413
+
1414
+
1415
+
1416
+
1417
+
1418
+
1419
+
1420
+
1421
+
1422
+
1423
+
1424
+
1425
+
1426
+
1427
+
1428
+
1429
+
1430
+
1431
+
1432
+
1433
+
1434
+
1435
+
1436
+
1437
+
1438
+
1439
+
1440
+
1441
+
1442
+
1443
+
1444
+
1445
+
1446
+
1447
+
1448
+
1449
+
1450
+
1451
+
1452
+
1453
+
1454
+
1455
+
1456
+
1457
+
1458
+
1459
+
1460
+
1461
+
1462
+
1463
+
1464
+
1465
+
1466
+
1467
+
1468
+
1469
+
1470
+
1471
+
1472
+
1473
+
1474
+
1475
+
1476
+
1477
+
1478
+
1479
+
1480
+
1481
+
1482
+
1483
+
1484
+
1485
+
1486
+
1487
+
1488
+
1489
+
1490
+
1491
+
1492
+
1493
+
1494
+
1495
+
1496
+
1497
+
1498
+
1499
+
1500
+
1501
+
1502
+
1503
+
1504
+
1505
+
1506
+
1507
+
1508
+
1509
+
1510
+
1511
+
1512
+
1513
+
1514
+
1515
+
1516
+
1517
+
1518
+
1519
+
1520
+
1521
+
1522
+
1523
+
1524
+
1525
+
1526
+
1527
+
1528
+
1529
+
1530
+
1531
+
1532
+
1533
+
1534
+
1535
+
1536
+
1537
+
1538
+
1539
+
1540
+
1541
+
1542
+
1543
+
1544
+
1545
+
1546
+
1547
+
1548
+
1549
+
1550
+
1551
+
1552
+
1553
+
1554
+
1555
+
1556
+
1557
+
1558
+
1559
+
1560
+
1561
+
1562
+
1563
+
1564
+
1565
+
1566
+
1567
+
1568
+
1569
+
1570
+
1571
+
1572
+
1573
+
1574
+
1575
+
1576
+
1577
+
1578
+
1579
+
1580
+
1581
+
1582
+
1583
+
1584
+
1585
+
1586
+
1587
+
1588
+
1589
+
1590
+
1591
+
1592
+
1593
+
1594
+
1595
+
1596
+
1597
+
1598
+
1599
+
1600
+
1601
+
1602
+
1603
+
1604
+
1605
+
1606
+
1607
+
1608
+
1609
+
1610
+
1611
+
1612
+
1613
+
1614
+
1615
+
1616
+
1617
+
1618
+
1619
+
1620
+
1621
+
1622
+
1623
+
1624
+
1625
+
1626
+
1627
+
1628
+
1629
+
1630
+
1631
+
1632
+
1633
+
1634
+
1635
+
1636
+
1637
+
1638
+
1639
+
1640
+
1641
+
1642
+
1643
+
1644
+
1645
+
1646
+
1647
+
1648
+
1649
+
1650
+
1651
+
1652
+
1653
+
1654
+
1655
+
1656
+
1657
+
1658
+
1659
+
1660
+
1661
+
1662
+
1663
+
1664
+
1665
+
1666
+
1667
+
1668
+
1669
+
1670
+
1671
+
1672
+
1673
+
1674
+
1675
+
1676
+
1677
+
1678
+
1679
+
1680
+
1681
+
1682
+
1683
+
1684
+
1685
+
1686
+
1687
+
1688
+
1689
+
1690
+
1691
+
1692
+
1693
+
1694
+
1695
+
1696
+
1697
+
1698
+
1699
+
1700
+
1701
+
1702
+
1703
+
1704
+
1705
+
1706
+
1707
+
1708
+
1709
+
1710
+
1711
+
1712
+
1713
+
1714
+
1715
+
1716
+
1717
+
1718
+
1719
+
1720
+
1721
+
1722
+
1723
+
1724
+
1725
+
1726
+
1727
+
1728
+
1729
+
1730
+
1731
+
1732
+
1733
+
1734
+
1735
+
1736
+
1737
+
1738
+
1739
+
1740
+
1741
+
1742
+
1743
+
1744
+
1745
+
1746
+
1747
+
1748
+
1749
+
1750
+
1751
+
1752
+
1753
+
1754
+
1755
+
1756
+
1757
+
1758
+
1759
+
1760
+
1761
+
1762
+
1763
+
1764
+
1765
+
1766
+
1767
+
1768
+
1769
+
1770
+
1771
+
1772
+
1773
+
1774
+
1775
+
1776
+
1777
+
1778
+
1779
+
1780
+
1781
+
1782
+
1783
+
1784
+
1785
+
1786
+
1787
+
1788
+
1789
+
1790
+
1791
+
1792
+
1793
+
1794
+
1795
+
1796
+
1797
+
1798
+
1799
+
1800
+
1801
+
1802
+
1803
+
1804
+
1805
+
1806
+
1807
+
1808
+
1809
+
1810
+
1811
+
1812
+
1813
+
1814
+
1815
+
1816
+
1817
+
1818
+
1819
+
1820
+
1821
+
1822
+
1823
+
1824
+
1825
+
1826
+
1827
+
1828
+
1829
+
1830
+
1831
+
1832
+
1833
+
1834
+
1835
+
1836
+
1837
+
1838
+
1839
+
1840
+
1841
+
1842
+
1843
+
1844
+
1845
+
1846
+
1847
+
1848
+
1849
+
1850
+
1851
+
1852
+
1853
+
1854
+
1855
+
1856
+
1857
+
1858
+
1859
+
1860
+
1861
+
1862
+
1863
+
1864
+
1865
+
1866
+
1867
+
1868
+
1869
+
1870
+
1871
+
1872
+
1873
+
1874
+
1875
+
1876
+
1877
+
1878
+
1879
+
1880
+
1881
+
1882
+
1883
+
1884
+
1885
+
1886
+
1887
+
1888
+
1889
+
1890
+
1891
+
1892
+
1893
+
1894
+
1895
+
1896
+
1897
+
1898
+
1899
+
1900
+
1901
+
1902
+
1903
+
1904
+
1905
+
1906
+
1907
+
1908
+
1909
+
1910
+
1911
+
1912
+
1913
+
1914
+
1915
+
1916
+
1917
+
1918
+
1919
+
1920
+
1921
+
1922
+
1923
+
1924
+
1925
+
1926
+
1927
+
1928
+
1929
+
1930
+
1931
+
1932
+
1933
+
1934
+
1935
+
1936
+
1937
+
1938
+
1939
+
1940
+
1941
+
1942
+
1943
+
1944
+
1945
+
1946
+
1947
+
1948
+
1949
+
1950
+
1951
+
1952
+
1953
+
1954
+
1955
+
1956
+
1957
+
1958
+
1959
+
1960
+
1961
+
1962
+
1963
+
1964
+
1965
+
1966
+
1967
+
1968
+
1969
+
1970
+
1971
+
1972
+
1973
+
1974
+
1975
+
1976
+
1977
+
1978
+
1979
+
1980
+
1981
+
1982
+
1983
+
1984
+
1985
+
1986
+
1987
+
1988
+
1989
+
1990
+
1991
+
1992
+
1993
+
1994
+
1995
+
1996
+
1997
+
1998
+
1999
+
2000
+
2001
+
2002
+
2003
+
2004
+
2005
+
2006
+
2007
+
2008
+
2009
+
2010
+
2011
+
2012
+
2013
+
2014
+
2015
+
2016
+
2017
+
2018
+
2019
+
2020
+
2021
+
2022
+
2023
+
2024
+
2025
+
2026
+
2027
+
2028
+
2029
+
2030
+
2031
+
2032
+
2033
+
2034
+
2035
+
2036
+
2037
+
2038
+
2039
+
2040
+
2041
+
2042
+
2043
+
2044
+
2045
+
2046
+
2047
+
2048
+
2049
+
2050
+
2051
+
2052
+
2053
+
2054
+
2055
+
2056
+
2057
+
2058
+
2059
+
2060
+
2061
+
2062
+
2063
+
2064
+
2065
+
2066
+
2067
+
2068
+
2069
+
2070
+
2071
+
2072
+
2073
+
2074
+
2075
+
2076
+
2077
+
2078
+
2079
+
2080
+
2081
+
2082
+
2083
+
2084
+
2085
+
2086
+
2087
+
2088
+
2089
+
2090
+
2091
+
2092
+
2093
+
2094
+
2095
+
2096
+
2097
+
2098
+
2099
+
2100
+
2101
+
2102
+
2103
+
2104
+
2105
+
2106
+
2107
+
2108
+
2109
+
2110
+
2111
+
2112
+
2113
+
2114
+
2115
+
2116
+
2117
+
2118
+
2119
+
2120
+
2121
+
2122
+
2123
+
2124
+
2125
+
2126
+
2127
+
2128
+
2129
+
2130
+
2131
+
2132
+
2133
+
2134
+
2135
+
2136
+
2137
+
2138
+
2139
+
2140
+
2141
+
2142
+
2143
+
2144
+
2145
+
2146
+
2147
+
2148
+
2149
+
2150
+
2151
+
2152
+
2153
+
2154
+
2155
+
2156
+
2157
+
2158
+
2159
+
2160
+
2161
+
2162
+
2163
+
2164
+
2165
+
2166
+
2167
+
2168
+
2169
+
2170
+
2171
+
2172
+
2173
+
2174
+
2175
+
2176
+
2177
+
2178
+
2179
+
2180
+
2181
+
2182
+
2183
+
2184
+
2185
+
2186
+
2187
+
2188
+
2189
+
2190
+
2191
+
2192
+
2193
+
2194
+
2195
+
2196
+
2197
+
2198
+
2199
+
2200
+
2201
+
2202
+
2203
+
2204
+
2205
+
2206
+
2207
+
2208
+
2209
+
2210
+
2211
+
2212
+
2213
+
2214
+
2215
+
2216
+
2217
+
2218
+
2219
+
2220
+
2221
+
2222
+
2223
+
2224
+
2225
+
2226
+
2227
+
2228
+
2229
+
2230
+
2231
+
2232
+
2233
+
2234
+
2235
+
2236
+
2237
+
2238
+
2239
+
2240
+
2241
+
2242
+
2243
+
2244
+
2245
+
2246
+
2247
+
2248
+
2249
+
2250
+
2251
+
2252
+
2253
+
2254
+
2255
+
2256
+
2257
+
2258
+
2259
+
2260
+
2261
+
2262
+
2263
+
2264
+
2265
+
2266
+
2267
+
2268
+
2269
+
2270
+
2271
+
2272
+
2273
+
2274
+
2275
+
2276
+
2277
+
2278
+
2279
+
2280
+
2281
+
2282
+
2283
+
2284
+
2285
+
2286
+
2287
+
2288
+
2289
+
2290
+
2291
+
2292
+
2293
+
2294
+
2295
+
2296
+
2297
+
2298
+
2299
+
2300
+
2301
+
2302
+
2303
+
2304
+
2305
+
2306
+
2307
+
2308
+
2309
+
2310
+
2311
+
2312
+
2313
+
2314
+
2315
+
2316
+
2317
+
2318
+
2319
+
2320
+
2321
+
2322
+
2323
+
2324
+
2325
+
2326
+
2327
+
2328
+
2329
+
2330
+
2331
+
2332
+
2333
+
2334
+
2335
+
2336
+
2337
+
2338
+
2339
+
2340
+
2341
+
2342
+
2343
+
2344
+
2345
+
2346
+
2347
+
2348
+
2349
+
2350
+
2351
+
2352
+
2353
+
2354
+
2355
+
2356
+
2357
+
2358
+
2359
+
2360
+
2361
+
2362
+
2363
+
2364
+
2365
+
2366
+
2367
+
2368
+
2369
+
2370
+
2371
+
2372
+
2373
+
2374
+
2375
+
2376
+
2377
+
2378
+
2379
+
2380
+
2381
+
2382
+
2383
+
2384
+
2385
+
2386
+
2387
+
2388
+
2389
+
2390
+
2391
+
2392
+
2393
+
2394
+
2395
+
2396
+
2397
+
2398
+
2399
+
2400
+
2401
+
2402
+
2403
+
2404
+
2405
+
2406
+
2407
+
2408
+
2409
+
2410
+
2411
+
2412
+
2413
+
2414
+
2415
+
2416
+
2417
+
2418
+
2419
+
2420
+
2421
+
2422
+
2423
+
2424
+
2425
+
2426
+
2427
+
2428
+
2429
+
2430
+
2431
+
2432
+
2433
+
2434
+
2435
+
2436
+
2437
+
2438
+
2439
+
2440
+
2441
+
2442
+
2443
+
2444
+
2445
+
2446
+
2447
+
2448
+
2449
+
2450
+
2451
+
2452
+
2453
+
2454
+
2455
+
2456
+
2457
+
2458
+
2459
+
2460
+
2461
+
2462
+
2463
+
2464
+
2465
+
2466
+
2467
+
2468
+
2469
+
2470
+
2471
+
2472
+
2473
+
2474
+
2475
+
2476
+
2477
+
2478
+
2479
+
2480
+
2481
+
2482
+
2483
+
2484
+
2485
+
2486
+
2487
+
2488
+
2489
+
2490
+
2491
+
2492
+
2493
+
2494
+
2495
+
2496
+
2497
+
2498
+
2499
+
2500
+
2501
+
2502
+
2503
+
2504
+
2505
+
2506
+
2507
+
2508
+
2509
+
2510
+
2511
+
2512
+
2513
+
2514
+
2515
+
2516
+
2517
+
2518
+
2519
+
2520
+
2521
+
2522
+
2523
+
2524
+
2525
+
2526
+
2527
+
2528
+
2529
+
2530
+
2531
+
2532
+
2533
+
2534
+
2535
+
2536
+
2537
+
2538
+
2539
+
2540
+
2541
+
2542
+
2543
+
2544
+
2545
+
2546
+
2547
+
2548
+
2549
+
2550
+
2551
+
2552
+
2553
+
2554
+
2555
+
2556
+
2557
+
2558
+
2559
+
2560
+
2561
+
2562
+
2563
+
2564
+
2565
+
2566
+
2567
+
2568
+
2569
+
2570
+
2571
+
2572
+
2573
+
2574
+
2575
+
2576
+
2577
+
2578
+
2579
+
2580
+
2581
+
2582
+
2583
+
2584
+
2585
+
2586
+
2587
+
2588
+
2589
+
2590
+
2591
+
2592
+
2593
+
2594
+
2595
+
2596
+
2597
+
2598
+
2599
+
2600
+
2601
+
2602
+
2603
+
2604
+
2605
+
2606
+
2607
+
2608
+
2609
+
2610
+
2611
+
2612
+
2613
+
2614
+
2615
+
2616
+
2617
+
2618
+
2619
+
2620
+
2621
+
2622
+
2623
+
2624
+
2625
+
2626
+
2627
+
2628
+
2629
+
2630
+
2631
+
2632
+
2633
+
2634
+
2635
+
2636
+
2637
+
2638
+
2639
+
2640
+
2641
+
2642
+
2643
+
2644
+
2645
+
2646
+
2647
+
2648
+
2649
+
2650
+
2651
+
2652
+
2653
+
2654
+
2655
+
2656
+
2657
+
2658
+
2659
+
2660
+
2661
+
2662
+
2663
+
2664
+
2665
+
2666
+
2667
+
2668
+
2669
+
2670
+
2671
+
2672
+
2673
+
2674
+
2675
+
2676
+
2677
+
2678
+
2679
+
2680
+
2681
+
2682
+
2683
+
2684
+
2685
+
2686
+
2687
+
2688
+
2689
+
2690
+
2691
+
2692
+
2693
+
2694
+
2695
+
2696
+
2697
+
2698
+
2699
+
2700
+
2701
+
2702
+
2703
+
2704
+
2705
+
2706
+
2707
+
2708
+
2709
+
2710
+
2711
+
2712
+
2713
+
2714
+
2715
+
2716
+
2717
+
2718
+
2719
+
2720
+
2721
+
2722
+
2723
+
2724
+
2725
+
2726
+
2727
+
2728
+
2729
+
2730
+
2731
+
2732
+
2733
+
2734
+
2735
+
2736
+
2737
+
2738
+
2739
+
2740
+
2741
+
2742
+
2743
+
2744
+
2745
+
2746
+
2747
+
2748
+
2749
+
2750
+
2751
+
2752
+
2753
+
2754
+
2755
+
2756
+
2757
+
2758
+
2759
+
2760
+
2761
+
2762
+
2763
+
2764
+
2765
+
2766
+
2767
+
2768
+
2769
+
2770
+
2771
+
2772
+
2773
+
2774
+
2775
+
2776
+
2777
+
2778
+
2779
+
2780
+
2781
+
2782
+
2783
+
2784
+
2785
+
2786
+
2787
+
2788
+
2789
+
2790
+
2791
+
2792
+
2793
+
2794
+
2795
+
2796
+
2797
+
2798
+
2799
+
2800
+
2801
+
2802
+
2803
+
2804
+
2805
+
2806
+
2807
+
2808
+
2809
+
2810
+
2811
+
2812
+
2813
+
2814
+
2815
+
2816
+
2817
+
2818
+
2819
+
2820
+
2821
+
2822
+
2823
+
2824
+
2825
+
2826
+
2827
+
2828
+
2829
+
2830
+
2831
+
2832
+
2833
+
2834
+
2835
+
2836
+
2837
+
2838
+
2839
+
2840
+
2841
+
2842
+
2843
+
2844
+
2845
+
2846
+
2847
+
2848
+
2849
+
2850
+
2851
+
2852
+
2853
+
2854
+
2855
+
2856
+
2857
+
2858
+
2859
+
2860
+
2861
+
2862
+
2863
+
2864
+
2865
+
2866
+
2867
+
2868
+
2869
+
2870
+
2871
+
2872
+
2873
+
2874
+
2875
+
2876
+
2877
+
2878
+
2879
+
2880
+
2881
+
2882
+
2883
+
2884
+
2885
+
2886
+
2887
+
2888
+
2889
+
2890
+
2891
+
2892
+
2893
+
2894
+
2895
+
2896
+
2897
+
2898
+
2899
+
2900
+
2901
+
2902
+
2903
+
2904
+
2905
+
2906
+
2907
+
2908
+
2909
+
2910
+
2911
+
2912
+
2913
+
2914
+
2915
+
2916
+
2917
+
2918
+
2919
+
2920
+
2921
+
2922
+
2923
+
2924
+
2925
+
2926
+
2927
+
2928
+
2929
+
2930
+
2931
+
2932
+
2933
+
2934
+
2935
+
2936
+
2937
+
2938
+
2939
+
2940
+
2941
+
2942
+
2943
+
2944
+
2945
+
2946
+
2947
+
2948
+
2949
+
2950
+
2951
+
2952
+
2953
+
2954
+
2955
+
2956
+
2957
+
2958
+
2959
+
2960
+
2961
+
2962
+
2963
+
2964
+
2965
+
2966
+
2967
+
2968
+
2969
+
2970
+
2971
+
2972
+
2973
+
2974
+
2975
+
2976
+
2977
+
2978
+
2979
+
2980
+
2981
+
2982
+
2983
+
2984
+
2985
+
2986
+
2987
+
2988
+
2989
+
2990
+
2991
+
2992
+
2993
+
2994
+
2995
+
2996
+
2997
+
2998
+
2999
+
3000
+
3001
+
3002
+
3003
+
3004
+
3005
+
3006
+
3007
+
3008
+
3009
+
3010
+
3011
+
3012
+
3013
+
3014
+
3015
+
3016
+
3017
+
3018
+
3019
+
3020
+
3021
+
3022
+
3023
+
3024
+
3025
+
3026
+
3027
+
3028
+
3029
+
3030
+
3031
+
3032
+
3033
+
3034
+
3035
+
3036
+
3037
+
3038
+
3039
+
3040
+
3041
+
3042
+
3043
+
3044
+
3045
+
3046
+
3047
+
3048
+
3049
+
3050
+
3051
+
3052
+
3053
+
3054
+
3055
+
3056
+
3057
+
3058
+
3059
+
3060
+
3061
+
3062
+
3063
+
3064
+
3065
+
3066
+
3067
+
3068
+
3069
+
3070
+
3071
+
3072
+
3073
+
3074
+
3075
+
3076
+
3077
+
3078
+
3079
+
3080
+
3081
+
3082
+
3083
+
3084
+
3085
+
3086
+
3087
+
3088
+
3089
+
3090
+
3091
+
3092
+
3093
+
3094
+
3095
+
3096
+
3097
+
3098
+
3099
+
3100
+
3101
+
3102
+
3103
+
3104
+
3105
+
3106
+
3107
+
3108
+
3109
+
3110
+
3111
+
3112
+
3113
+
3114
+
3115
+
3116
+
3117
+
3118
+
3119
+
3120
+
3121
+
3122
+
3123
+
3124
+
3125
+
3126
+
3127
+
3128
+
3129
+
3130
+
3131
+
3132
+
3133
+
3134
+
3135
+
3136
+
3137
+
3138
+
3139
+
3140
+
3141
+
3142
+
3143
+
3144
+
3145
+
3146
+
3147
+
3148
+
3149
+
3150
+
3151
+
3152
+
3153
+
3154
+
3155
+
3156
+
3157
+
3158
+
3159
+
3160
+
3161
+
3162
+
3163
+
3164
+
3165
+
3166
+
3167
+
3168
+
3169
+
3170
+
3171
+
3172
+
3173
+
3174
+
3175
+
3176
+
3177
+
3178
+
3179
+
3180
+
3181
+
3182
+
3183
+
3184
+
3185
+
3186
+
3187
+
3188
+
3189
+
3190
+
3191
+
3192
+
3193
+
3194
+
3195
+
3196
+
3197
+
3198
+
3199
+
3200
+
3201
+
3202
+
3203
+
3204
+
3205
+
3206
+
3207
+
3208
+
3209
+
3210
+
3211
+
3212
+
3213
+
3214
+
3215
+
3216
+
3217
+
3218
+
3219
+
3220
+
3221
+
3222
+
3223
+
3224
+
3225
+
3226
+
3227
+
3228
+
3229
+
3230
+
3231
+
3232
+
3233
+
3234
+
3235
+
3236
+
3237
+
3238
+
3239
+
3240
+
3241
+
3242
+
3243
+
3244
+
3245
+
3246
+
3247
+
3248
+
3249
+
3250
+
3251
+
3252
+
3253
+
3254
+
3255
+
3256
+
3257
+
3258
+
3259
+
3260
+
3261
+
3262
+
3263
+
3264
+
3265
+
3266
+
3267
+
3268
+
3269
+
3270
+
3271
+
3272
+
3273
+
3274
+
3275
+
3276
+
3277
+
3278
+
3279
+
3280
+
3281
+
3282
+
3283
+
3284
+
3285
+
3286
+
3287
+
3288
+
3289
+
3290
+
3291
+
3292
+
3293
+
3294
+
3295
+
3296
+
3297
+
3298
+
3299
+
3300
+
3301
+
3302
+
3303
+
3304
+
3305
+
3306
+
3307
+
3308
+
3309
+
3310
+
3311
+
3312
+
3313
+
3314
+
3315
+
3316
+
3317
+
3318
+
3319
+
3320
+
3321
+
3322
+
3323
+
3324
+
3325
+
3326
+
3327
+
3328
+
3329
+
3330
+
3331
+
3332
+
3333
+
3334
+
3335
+
3336
+
3337
+
3338
+
3339
+
3340
+
3341
+
3342
+
3343
+
3344
+
3345
+
3346
+
3347
+
3348
+
3349
+
3350
+
3351
+
3352
+
3353
+
3354
+
3355
+
3356
+
3357
+
3358
+
3359
+
3360
+
3361
+
3362
+
3363
+
3364
+
3365
+
3366
+
3367
+
3368
+
3369
+
3370
+
3371
+
3372
+
3373
+
3374
+
3375
+
3376
+
3377
+
3378
+
3379
+
3380
+
3381
+
3382
+
3383
+
3384
+
3385
+
3386
+
3387
+
3388
+
3389
+
3390
+
3391
+
3392
+
3393
+
3394
+
3395
+
3396
+
3397
+
3398
+
3399
+
3400
+
3401
+
3402
+
3403
+
3404
+
3405
+
3406
+
3407
+
3408
+
3409
+
3410
+
3411
+
3412
+
3413
+
3414
+
3415
+
3416
+
3417
+
3418
+
3419
+
3420
+
3421
+
3422
+
3423
+
3424
+
3425
+
3426
+
3427
+
3428
+
3429
+
3430
+
3431
+
3432
+
3433
+
3434
+
3435
+
3436
+
3437
+
3438
+
3439
+
3440
+
3441
+
3442
+
3443
+
3444
+
3445
+
3446
+
3447
+
3448
+
3449
+
3450
+
3451
+
3452
+
3453
+
3454
+
3455
+
3456
+
3457
+
3458
+
3459
+
3460
+
3461
+
3462
+
3463
+
3464
+
3465
+
3466
+
3467
+
3468
+
3469
+
3470
+
3471
+
3472
+
3473
+
3474
+
3475
+
3476
+
3477
+
3478
+
3479
+
3480
+
3481
+
3482
+
3483
+
3484
+
3485
+
3486
+
3487
+
3488
+
3489
+
3490
+
3491
+
3492
+
3493
+
3494
+
3495
+
3496
+
3497
+
3498
+
3499
+
3500
+
3501
+
3502
+
3503
+
3504
+
3505
+
3506
+
3507
+
3508
+
3509
+
3510
+
3511
+
3512
+
3513
+
3514
+
3515
+
3516
+
3517
+
3518
+
3519
+
3520
+
3521
+
3522
+
3523
+
3524
+
3525
+
3526
+
3527
+
3528
+
3529
+
3530
+
3531
+
3532
+
3533
+
3534
+
3535
+
3536
+
3537
+
3538
+
3539
+
3540
+
3541
+
3542
+
3543
+
3544
+
3545
+
3546
+
3547
+
3548
+
3549
+
3550
+
3551
+
3552
+
3553
+
3554
+
3555
+
3556
+
3557
+
3558
+
3559
+
3560
+
3561
+
3562
+
3563
+
3564
+
3565
+
3566
+
3567
+
3568
+
3569
+
3570
+
3571
+
3572
+
3573
+
3574
+
3575
+
3576
+
3577
+
3578
+
3579
+
3580
+
3581
+
3582
+
3583
+
3584
+
3585
+
3586
+
3587
+
3588
+
3589
+
3590
+
3591
+
3592
+
3593
+
3594
+
3595
+
3596
+
3597
+
3598
+
3599
+
3600
+
3601
+
3602
+
3603
+
3604
+
3605
+
3606
+
3607
+
3608
+
3609
+
3610
+
3611
+
3612
+
3613
+
3614
+
3615
+
3616
+
3617
+
3618
+
3619
+
3620
+
3621
+
3622
+
3623
+
3624
+
3625
+
3626
+
3627
+
3628
+
3629
+
3630
+
3631
+
3632
+
3633
+
3634
+
3635
+
3636
+
3637
+
3638
+
3639
+
3640
+
3641
+
3642
+
3643
+
3644
+
3645
+
3646
+
3647
+
3648
+
3649
+
3650
+
3651
+
3652
+
3653
+
3654
+
3655
+
3656
+
3657
+
3658
+
3659
+
3660
+
3661
+
3662
+
3663
+
3664
+
3665
+
3666
+
3667
+
3668
+
3669
+
3670
+
3671
+
3672
+
3673
+
3674
+
3675
+
3676
+
3677
+
3678
+
3679
+
3680
+
3681
+
3682
+
3683
+
3684
+
3685
+
3686
+
3687
+
3688
+
3689
+
3690
+
3691
+
3692
+
3693
+
3694
+
3695
+
3696
+
3697
+
3698
+
3699
+
3700
+
3701
+
3702
+
3703
+
3704
+
3705
+
3706
+
3707
+
3708
+
3709
+
3710
+
3711
+
3712
+
3713
+
3714
+
3715
+
3716
+
3717
+
3718
+
3719
+
3720
+
3721
+
3722
+
3723
+
3724
+
3725
+
3726
+
3727
+
3728
+
3729
+
3730
+
3731
+
3732
+
3733
+
3734
+
3735
+
3736
+
3737
+
3738
+
3739
+
3740
+
3741
+
3742
+
3743
+
3744
+
3745
+
3746
+
3747
+
3748
+
3749
+
3750
+
3751
+
3752
+
3753
+
3754
+
3755
+
3756
+
3757
+
3758
+
3759
+
3760
+
3761
+
3762
+
3763
+
3764
+
3765
+
3766
+
3767
+
3768
+
3769
+
3770
+
3771
+
3772
+
3773
+
3774
+
3775
+
3776
+
3777
+
3778
+
3779
+
3780
+
3781
+
3782
+
3783
+
3784
+
3785
+
3786
+
3787
+
3788
+
3789
+
3790
+
3791
+
3792
+
3793
+
3794
+
3795
+
3796
+
3797
+
3798
+
3799
+
3800
+
3801
+
3802
+
3803
+
3804
+
3805
+
3806
+
3807
+
3808
+
3809
+
3810
+
3811
+
3812
+
3813
+
3814
+
3815
+
3816
+
3817
+
3818
+
3819
+
3820
+
3821
+
3822
+
3823
+
3824
+
3825
+
3826
+
3827
+
3828
+
3829
+
3830
+
3831
+
3832
+
3833
+
3834
+
3835
+
3836
+
3837
+
3838
+
3839
+
3840
+
3841
+
3842
+
3843
+
3844
+
3845
+
3846
+
3847
+
3848
+
3849
+
3850
+
3851
+
3852
+
3853
+
3854
+
3855
+
3856
+
3857
+
3858
+
3859
+
3860
+
3861
+
3862
+
3863
+
3864
+
3865
+
3866
+
3867
+
3868
+
3869
+
3870
+
3871
+
3872
+
3873
+
3874
+
3875
+
3876
+
3877
+
3878
+
3879
+
3880
+
3881
+
3882
+
3883
+
3884
+
3885
+
3886
+
3887
+
3888
+
3889
+
3890
+
3891
+
3892
+
3893
+
3894
+
3895
+
3896
+
3897
+
3898
+
3899
+
3900
+
3901
+
3902
+
3903
+
3904
+
3905
+
3906
+
3907
+
3908
+
3909
+
3910
+
3911
+
3912
+
3913
+
3914
+
3915
+
3916
+
3917
+
3918
+
3919
+
3920
+
3921
+
3922
+
3923
+
3924
+
3925
+
3926
+
3927
+
3928
+
3929
+
3930
+
3931
+
3932
+
3933
+
3934
+
3935
+
3936
+
3937
+
3938
+
3939
+
3940
+
3941
+
3942
+
3943
+
3944
+
3945
+
3946
+
3947
+
3948
+
3949
+
3950
+
3951
+
3952
+
3953
+
3954
+
3955
+
3956
+
3957
+
3958
+
3959
+
3960
+
3961
+
3962
+
3963
+
3964
+
3965
+
3966
+
3967
+
3968
+
3969
+
3970
+
3971
+
3972
+
3973
+
3974
+
3975
+
3976
+
3977
+
3978
+
3979
+
3980
+
3981
+
3982
+
3983
+
3984
+
3985
+
3986
+
3987
+
3988
+
3989
+
3990
+
3991
+
3992
+
3993
+
3994
+
3995
+
3996
+
3997
+
3998
+
3999
+
4000
+
4001
+
4002
+
4003
+
4004
+
4005
+
4006
+
4007
+
4008
+
4009
+
4010
+
4011
+
4012
+
4013
+
4014
+
4015
+
4016
+
4017
+
4018
+
4019
+
4020
+
4021
+
4022
+
4023
+
4024
+
4025
+
4026
+
4027
+
4028
+
4029
+
4030
+
4031
+
4032
+
4033
+
4034
+
4035
+
4036
+
4037
+
4038
+
4039
+
4040
+
4041
+
4042
+
4043
+
4044
+
4045
+
4046
+
4047
+
4048
+
4049
+
4050
+
4051
+
4052
+
4053
+
4054
+
4055
+
4056
+
4057
+
4058
+
4059
+
4060
+
4061
+
4062
+
4063
+
4064
+
4065
+
4066
+
4067
+
4068
+
4069
+
4070
+
4071
+
4072
+
4073
+
4074
+
4075
+
4076
+
4077
+
4078
+
4079
+
4080
+
4081
+
4082
+
4083
+
4084
+
4085
+
4086
+
4087
+
4088
+
4089
+
4090
+
4091
+
4092
+
4093
+
4094
+
4095
+
4096
+
4097
+
4098
+
4099
+
4100
+
4101
+
4102
+
4103
+
4104
+
4105
+
4106
+
4107
+
4108
+
4109
+
4110
+
4111
+
4112
+
4113
+
4114
+
4115
+
4116
+
4117
+
4118
+
4119
+
4120
+
4121
+
4122
+
4123
+
4124
+
4125
+
4126
+
4127
+
4128
+
4129
+
4130
+
4131
+
4132
+
4133
+
4134
+
4135
+
4136
+
4137
+
4138
+
4139
+
4140
+
4141
+
4142
+
4143
+
4144
+
4145
+
4146
+
4147
+
4148
+
4149
+
4150
+
4151
+
4152
+
4153
+
4154
+
4155
+
4156
+
4157
+
4158
+
4159
+
4160
+
4161
+
4162
+
4163
+
4164
+
4165
+
4166
+
4167
+
4168
+
4169
+
4170
+
4171
+
4172
+
4173
+
4174
+
4175
+
4176
+
4177
+
4178
+
4179
+
4180
+
4181
+
4182
+
4183
+
4184
+
4185
+
4186
+
4187
+
4188
+
4189
+
4190
+
4191
+
4192
+
4193
+
4194
+
4195
+
4196
+
4197
+
4198
+
4199
+
4200
+
4201
+
4202
+
4203
+
4204
+
4205
+
4206
+
4207
+
4208
+
4209
+
4210
+
4211
+
4212
+
4213
+
4214
+
4215
+
4216
+
4217
+
4218
+
4219
+
4220
+
4221
+
4222
+
4223
+
4224
+
4225
+
4226
+
4227
+
4228
+
4229
+
4230
+
4231
+
4232
+
4233
+
4234
+
4235
+
4236
+
4237
+
4238
+
4239
+
4240
+
4241
+
4242
+
4243
+
4244
+
4245
+
4246
+
4247
+
4248
+
4249
+
4250
+
4251
+
4252
+
4253
+
4254
+
4255
+
4256
+
4257
+
4258
+
4259
+
4260
+
4261
+
4262
+
4263
+
4264
+
4265
+
4266
+
4267
+
4268
+
4269
+
4270
+
4271
+
4272
+
4273
+
4274
+
4275
+
4276
+
4277
+
4278
+
4279
+
4280
+
4281
+
4282
+
4283
+
4284
+
4285
+
4286
+
4287
+
4288
+
4289
+
4290
+
4291
+
4292
+
4293
+
4294
+
4295
+
4296
+
4297
+
4298
+
4299
+
4300
+
4301
+
4302
+
4303
+
4304
+
4305
+
4306
+
4307
+
4308
+
4309
+
4310
+
4311
+
4312
+
4313
+
4314
+
4315
+
4316
+
4317
+
4318
+
4319
+
4320
+
4321
+
4322
+
4323
+
4324
+
4325
+
4326
+
4327
+
4328
+
4329
+
4330
+
4331
+
4332
+
4333
+
4334
+
4335
+
4336
+
4337
+
4338
+
4339
+
4340
+
4341
+
4342
+
4343
+
4344
+
4345
+
4346
+
4347
+
4348
+
4349
+
4350
+
4351
+
4352
+
4353
+
4354
+
4355
+
4356
+
4357
+
4358
+
4359
+
4360
+
4361
+
4362
+
4363
+
4364
+
4365
+
4366
+
4367
+
4368
+
4369
+
4370
+
4371
+
4372
+
4373
+
4374
+
4375
+
4376
+
4377
+
4378
+
4379
+
4380
+
4381
+
4382
+
4383
+
4384
+
4385
+
4386
+
4387
+
4388
+
4389
+
4390
+
4391
+
4392
+
4393
+
4394
+
4395
+
4396
+
4397
+
4398
+
4399
+
4400
+
4401
+
4402
+
4403
+
4404
+
4405
+
4406
+
4407
+
4408
+
4409
+
4410
+
4411
+
4412
+
4413
+
4414
+
4415
+
4416
+
4417
+
4418
+
4419
+
4420
+
4421
+
4422
+
4423
+
4424
+
4425
+
4426
+
4427
+
4428
+
4429
+
4430
+
4431
+
4432
+
4433
+
4434
+
4435
+
4436
+
4437
+
4438
+
4439
+
4440
+
4441
+
4442
+
4443
+
4444
+
4445
+
4446
+
4447
+
4448
+
4449
+
4450
+
4451
+
4452
+
4453
+
4454
+
4455
+
4456
+
4457
+
4458
+
4459
+
4460
+
4461
+
4462
+
4463
+
4464
+
4465
+
4466
+
4467
+
4468
+
4469
+
4470
+
4471
+
4472
+
4473
+
4474
+
4475
+
4476
+
4477
+
4478
+
4479
+
4480
+
4481
+
4482
+
4483
+
4484
+
4485
+
4486
+
4487
+
4488
+
4489
+
4490
+
4491
+
4492
+
4493
+
4494
+
4495
+
4496
+
4497
+
4498
+
4499
+
4500
+
4501
+
4502
+
4503
+
4504
+
4505
+
4506
+
4507
+
4508
+
4509
+
4510
+
4511
+
4512
+
4513
+
4514
+
4515
+
4516
+
4517
+
4518
+
4519
+
4520
+
4521
+
4522
+
4523
+
4524
+
4525
+
4526
+
4527
+
4528
+
4529
+
4530
+
4531
+
4532
+
4533
+
4534
+
4535
+
4536
+
4537
+
4538
+
4539
+
4540
+
4541
+
4542
+
4543
+
4544
+
4545
+
4546
+
4547
+
4548
+
4549
+
4550
+
4551
+
4552
+
4553
+
4554
+
4555
+
4556
+
4557
+
4558
+
4559
+
4560
+
4561
+
4562
+
4563
+
4564
+
4565
+
4566
+
4567
+
4568
+
4569
+
4570
+
4571
+
4572
+
4573
+
4574
+
4575
+
4576
+
4577
+
4578
+
4579
+
4580
+
4581
+
4582
+
4583
+
4584
+
4585
+
4586
+
4587
+
4588
+
4589
+
4590
+
4591
+
4592
+
4593
+
4594
+
4595
+
4596
+
4597
+
4598
+
4599
+
4600
+
4601
+
4602
+
4603
+
4604
+
4605
+
4606
+
4607
+
4608
+
4609
+
4610
+
4611
+
4612
+
4613
+
4614
+
4615
+
4616
+
4617
+
4618
+
4619
+
4620
+
4621
+
4622
+
4623
+
4624
+
4625
+
4626
+
4627
+
4628
+
4629
+
4630
+
4631
+
4632
+
4633
+
4634
+
4635
+
4636
+
4637
+
4638
+
4639
+
4640
+
4641
+
4642
+
4643
+
4644
+
4645
+
4646
+
4647
+
4648
+
4649
+
4650
+
4651
+
4652
+
4653
+
4654
+
4655
+
4656
+
4657
+
4658
+
4659
+
4660
+
4661
+
4662
+
4663
+
4664
+
4665
+
4666
+
4667
+
4668
+
4669
+
4670
+
4671
+
4672
+
4673
+
4674
+
4675
+
4676
+
4677
+
4678
+
4679
+
4680
+
4681
+
4682
+
4683
+
4684
+
4685
+
4686
+
4687
+
4688
+
4689
+
4690
+
4691
+
4692
+
4693
+
4694
+
4695
+
4696
+
4697
+
4698
+
4699
+
4700
+
4701
+
4702
+
4703
+
4704
+
4705
+
4706
+
4707
+
4708
+
4709
+
4710
+
4711
+
4712
+
4713
+
4714
+
4715
+
4716
+
4717
+
4718
+
4719
+
4720
+
4721
+
4722
+
4723
+
4724
+
4725
+
4726
+
4727
+
4728
+
4729
+
4730
+
4731
+
4732
+
4733
+
4734
+
4735
+
4736
+
4737
+
4738
+
4739
+
4740
+
4741
+
4742
+
4743
+
4744
+
4745
+
4746
+
4747
+
4748
+
4749
+
4750
+
4751
+
4752
+
4753
+
4754
+
4755
+
4756
+
4757
+
4758
+
4759
+
4760
+
4761
+
4762
+
4763
+
4764
+
4765
+
4766
+
4767
+
4768
+
4769
+
4770
+
4771
+
4772
+
4773
+
4774
+
4775
+
4776
+
4777
+
4778
+
4779
+
4780
+
4781
+
4782
+
4783
+
4784
+
4785
+
4786
+
4787
+
4788
+
4789
+
4790
+
4791
+
4792
+
4793
+
4794
+
4795
+
4796
+
4797
+
4798
+
4799
+
4800
+
4801
+
4802
+
4803
+
4804
+
4805
+
4806
+
4807
+
4808
+
4809
+
4810
+
4811
+
4812
+
4813
+
4814
+
4815
+
4816
+
4817
+
4818
+
4819
+
4820
+
4821
+
4822
+
4823
+
4824
+
4825
+
4826
+
4827
+
4828
+
4829
+
4830
+
4831
+
4832
+
4833
+
4834
+
4835
+
4836
+
4837
+
4838
+
4839
+
4840
+
4841
+
4842
+
4843
+
4844
+
4845
+
4846
+
4847
+
4848
+
4849
+
4850
+
4851
+
4852
+
4853
+
4854
+
4855
+
4856
+
4857
+
4858
+
4859
+
4860
+
4861
+
4862
+
4863
+
4864
+
4865
+
4866
+
4867
+
4868
+
4869
+
4870
+
4871
+
4872
+
4873
+
4874
+
4875
+
4876
+
4877
+
4878
+
4879
+
4880
+
4881
+
4882
+
4883
+
4884
+
4885
+
4886
+
4887
+
4888
+
4889
+
4890
+
4891
+
4892
+
4893
+
4894
+
4895
+
4896
+
4897
+
4898
+
4899
+
4900
+
4901
+
4902
+
4903
+
4904
+
4905
+
4906
+
4907
+
4908
+
4909
+
4910
+
4911
+
4912
+
4913
+
4914
+
4915
+
4916
+
4917
+
4918
+
4919
+
4920
+
4921
+
4922
+
4923
+
4924
+
4925
+
4926
+
4927
+
4928
+
4929
+
4930
+
4931
+
4932
+
4933
+
4934
+
4935
+
4936
+
4937
+
4938
+
4939
+
4940
+
4941
+
4942
+
4943
+
4944
+
4945
+
4946
+
4947
+
4948
+
4949
+
4950
+
4951
+
4952
+
4953
+
4954
+
4955
+
4956
+
4957
+
4958
+
4959
+
4960
+
4961
+
4962
+
4963
+
4964
+
4965
+
4966
+
4967
+
4968
+
4969
+
4970
+
4971
+
4972
+
4973
+
4974
+
4975
+
4976
+
4977
+
4978
+
4979
+
4980
+
4981
+
4982
+
4983
+
4984
+
4985
+
4986
+
4987
+
4988
+
4989
+
4990
+
4991
+
4992
+
4993
+
4994
+
4995
+
4996
+
4997
+
4998
+
4999
+
5000
+
5001
+
5002
+
5003
+
5004
+
5005
+
5006
+
5007
+
5008
+
5009
+
5010
+
5011
+
5012
+
5013
+
5014
+
5015
+
5016
+
5017
+
5018
+
5019
+
5020
+
5021
+
5022
+
5023
+
5024
+
5025
+
5026
+
5027
+
5028
+
5029
+
5030
+
5031
+
5032
+
5033
+
5034
+
5035
+
5036
+
5037
+
5038
+
5039
+
5040
+
5041
+
5042
+
5043
+
5044
+
5045
+
5046
+
5047
+
5048
+
5049
+
5050
+
5051
+
5052
+
5053
+
5054
+
5055
+
5056
+
5057
+
5058
+
5059
+
5060
+
5061
+
5062
+
5063
+
5064
+
5065
+
5066
+
5067
+
5068
+
5069
+
5070
+
5071
+
5072
+
5073
+
5074
+
5075
+
5076
+
5077
+
5078
+
5079
+
5080
+
5081
+
5082
+
5083
+
5084
+
5085
+
5086
+
5087
+
5088
+
5089
+
5090
+
5091
+
5092
+
5093
+
5094
+
5095
+
5096
+
5097
+
5098
+
5099
+
5100
+
5101
+
5102
+
5103
+
5104
+
5105
+
5106
+
5107
+
5108
+
5109
+
5110
+
5111
+
5112
+
5113
+
5114
+
5115
+
5116
+
5117
+
5118
+
5119
+
5120
+
5121
+
5122
+
5123
+
5124
+
5125
+
5126
+
5127
+
5128
+
5129
+
5130
+
5131
+
5132
+
5133
+
5134
+
5135
+
5136
+
5137
+
5138
+
5139
+
5140
+
5141
+
5142
+
5143
+
5144
+
5145
+
5146
+
5147
+
5148
+
5149
+
5150
+
5151
+
5152
+
5153
+
5154
+
5155
+
5156
+
5157
+
5158
+
5159
+
5160
+
5161
+
5162
+
5163
+
5164
+
5165
+
5166
+
5167
+
5168
+
5169
+
5170
+
5171
+
5172
+
5173
+
5174
+
5175
+
5176
+
5177
+
5178
+
5179
+
5180
+
5181
+
5182
+
5183
+
5184
+
5185
+
5186
+
5187
+
5188
+
5189
+
5190
+
5191
+
5192
+
5193
+
5194
+
5195
+
5196
+
5197
+ =>> [Global Step] 005198 =>> LR :: 0.000000 -- Loss :: 0.7955: 100%|█████████████████████████████████████████████| 5198/5198 [6:30:45<00:00, 4.12s/it]
5198
+ 03/12 [21:04:14] INFO  | >> [*] Done with Training =>> Finalizing Metrics ]8;id=696414;file:///home/lilei/prismatic-vlms/scripts/pretrain.py\pretrain.py]8;;\:]8;id=68157;file:///home/lilei/prismatic-vlms/scripts/pretrain.py#230\230]8;;\
qformer2_32/wandb/run-20240312_142855-srovbvi2/files/requirements.txt ADDED
@@ -0,0 +1,122 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ accelerate==0.27.2
2
+ aiohttp==3.9.3
3
+ aiosignal==1.3.1
4
+ annotated-types==0.6.0
5
+ appdirs==1.4.4
6
+ async-timeout==4.0.3
7
+ attrs==23.2.0
8
+ beautifulsoup4==4.12.3
9
+ blis==0.7.11
10
+ catalogue==2.0.10
11
+ certifi==2024.2.2
12
+ charset-normalizer==2.0.4
13
+ click==8.1.7
14
+ cloudpathlib==0.16.0
15
+ confection==0.1.4
16
+ contourpy==1.2.0
17
+ cycler==0.12.1
18
+ cymem==2.0.8
19
+ datasets==2.18.0
20
+ deepspeed==0.13.4
21
+ dill==0.3.8
22
+ docker-pycreds==0.4.0
23
+ draccus==0.7.1
24
+ einops==0.7.0
25
+ filelock==3.13.1
26
+ flash-attn==2.5.5
27
+ fonttools==4.49.0
28
+ frozenlist==1.4.1
29
+ fsspec==2024.2.0
30
+ gdown==5.1.0
31
+ gitdb==4.0.11
32
+ gitpython==3.1.42
33
+ gmpy2==2.1.2
34
+ hjson==3.1.0
35
+ huggingface-hub==0.20.3
36
+ idna==3.4
37
+ install==1.3.5
38
+ jinja2==3.1.3
39
+ jsonlines==4.0.0
40
+ kiwisolver==1.4.5
41
+ langcodes==3.3.0
42
+ markdown-it-py==3.0.0
43
+ markupsafe==2.1.3
44
+ matplotlib==3.8.3
45
+ mdurl==0.1.2
46
+ mergedeep==1.3.4
47
+ mkl-fft==1.3.8
48
+ mkl-random==1.2.4
49
+ mkl-service==2.4.0
50
+ mpmath==1.3.0
51
+ multidict==6.0.5
52
+ multiprocess==0.70.16
53
+ murmurhash==1.0.10
54
+ mypy-extensions==1.0.0
55
+ networkx==3.1
56
+ ninja==1.11.1.1
57
+ numpy==1.26.4
58
+ ocifs==1.3.1
59
+ packaging==23.2
60
+ pandas==2.2.1
61
+ pillow==10.2.0
62
+ pip==23.3.1
63
+ preshed==3.0.9
64
+ prismatic==0.0.1
65
+ protobuf==4.25.3
66
+ psutil==5.9.8
67
+ py-cpuinfo==9.0.0
68
+ pyarrow-hotfix==0.6
69
+ pyarrow==15.0.0
70
+ pycocoevalcap==1.2
71
+ pycocotools==2.0.7
72
+ pydantic-core==2.16.3
73
+ pydantic==2.6.3
74
+ pygments==2.17.2
75
+ pynvml==11.5.0
76
+ pyparsing==3.1.1
77
+ pysocks==1.7.1
78
+ pythainlp==5.0.1
79
+ python-dateutil==2.9.0.post0
80
+ pytz==2024.1
81
+ pyyaml-include==1.3.2
82
+ pyyaml==6.0.1
83
+ regex==2023.12.25
84
+ requests==2.31.0
85
+ rich==13.7.0
86
+ safetensors==0.4.2
87
+ sentencepiece==0.2.0
88
+ sentry-sdk==1.40.5
89
+ setproctitle==1.3.3
90
+ setuptools==68.2.2
91
+ six==1.16.0
92
+ smart-open==6.4.0
93
+ smmap==5.0.1
94
+ soupsieve==2.5
95
+ spacy-legacy==3.0.12
96
+ spacy-loggers==1.0.5
97
+ spacy==3.7.4
98
+ srsly==2.4.8
99
+ sudachidict-core==20240109
100
+ sudachipy==0.6.8
101
+ sympy==1.12
102
+ thinc==8.2.3
103
+ timm==0.9.16
104
+ tokenizers==0.15.2
105
+ toml==0.10.2
106
+ torch==2.2.1
107
+ torchaudio==2.2.1
108
+ torchvision==0.17.1
109
+ tqdm==4.66.2
110
+ transformers==4.38.1
111
+ triton==2.2.0
112
+ typer==0.9.0
113
+ typing-extensions==4.9.0
114
+ typing-inspect==0.9.0
115
+ tzdata==2024.1
116
+ urllib3==2.1.0
117
+ wandb==0.16.3
118
+ wasabi==1.1.2
119
+ weasel==0.3.4
120
+ wheel==0.41.2
121
+ xxhash==3.4.1
122
+ yarl==1.9.4
qformer2_32/wandb/run-20240312_142855-srovbvi2/files/wandb-metadata.json ADDED
@@ -0,0 +1,1360 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "os": "Linux-5.15.0-1027-oracle-x86_64-with-glibc2.31",
3
+ "python": "3.10.13",
4
+ "heartbeatAt": "2024-03-12T14:28:55.726177",
5
+ "startedAt": "2024-03-12T14:28:55.018301",
6
+ "docker": null,
7
+ "cuda": null,
8
+ "args": [
9
+ "--model.type",
10
+ "one-stage+7b",
11
+ "--model.model_id",
12
+ "one-stage+7b_qformer2_32",
13
+ "--run_id",
14
+ "qformer2_32",
15
+ "--model.arch_specifier",
16
+ "qformer2_32"
17
+ ],
18
+ "state": "running",
19
+ "program": "/home/lilei/prismatic-vlms/scripts/pretrain.py",
20
+ "codePathLocal": "scripts/pretrain.py",
21
+ "codePath": "scripts/pretrain.py",
22
+ "git": {
23
+ "remote": "https://github.com/TRI-ML/prismatic-vlms.git",
24
+ "commit": "b1c33c284c6e76d908c29e5545b00f5b8b4c601f"
25
+ },
26
+ "email": "tobiaslee@qq.com",
27
+ "root": "/home/lilei/prismatic-vlms",
28
+ "host": "compute-permanent-node-590",
29
+ "username": "lilei",
30
+ "executable": "/home/lilei/anaconda3/envs/pvlm/bin/python",
31
+ "cpu_count": 128,
32
+ "cpu_count_logical": 255,
33
+ "cpu_freq": {
34
+ "current": 2571.3575529411764,
35
+ "min": 1500.0,
36
+ "max": 2550.0
37
+ },
38
+ "cpu_freq_per_core": [
39
+ {
40
+ "current": 2550.0,
41
+ "min": 1500.0,
42
+ "max": 2550.0
43
+ },
44
+ {
45
+ "current": 3248.75,
46
+ "min": 1500.0,
47
+ "max": 2550.0
48
+ },
49
+ {
50
+ "current": 2550.0,
51
+ "min": 1500.0,
52
+ "max": 2550.0
53
+ },
54
+ {
55
+ "current": 2550.0,
56
+ "min": 1500.0,
57
+ "max": 2550.0
58
+ },
59
+ {
60
+ "current": 3249.597,
61
+ "min": 1500.0,
62
+ "max": 2550.0
63
+ },
64
+ {
65
+ "current": 2550.0,
66
+ "min": 1500.0,
67
+ "max": 2550.0
68
+ },
69
+ {
70
+ "current": 2550.0,
71
+ "min": 1500.0,
72
+ "max": 2550.0
73
+ },
74
+ {
75
+ "current": 2550.0,
76
+ "min": 1500.0,
77
+ "max": 2550.0
78
+ },
79
+ {
80
+ "current": 3248.662,
81
+ "min": 1500.0,
82
+ "max": 2550.0
83
+ },
84
+ {
85
+ "current": 2550.0,
86
+ "min": 1500.0,
87
+ "max": 2550.0
88
+ },
89
+ {
90
+ "current": 3248.777,
91
+ "min": 1500.0,
92
+ "max": 2550.0
93
+ },
94
+ {
95
+ "current": 2550.0,
96
+ "min": 1500.0,
97
+ "max": 2550.0
98
+ },
99
+ {
100
+ "current": 2550.0,
101
+ "min": 1500.0,
102
+ "max": 2550.0
103
+ },
104
+ {
105
+ "current": 2550.0,
106
+ "min": 1500.0,
107
+ "max": 2550.0
108
+ },
109
+ {
110
+ "current": 2550.0,
111
+ "min": 1500.0,
112
+ "max": 2550.0
113
+ },
114
+ {
115
+ "current": 2550.0,
116
+ "min": 1500.0,
117
+ "max": 2550.0
118
+ },
119
+ {
120
+ "current": 2550.0,
121
+ "min": 1500.0,
122
+ "max": 2550.0
123
+ },
124
+ {
125
+ "current": 2550.0,
126
+ "min": 1500.0,
127
+ "max": 2550.0
128
+ },
129
+ {
130
+ "current": 2550.0,
131
+ "min": 1500.0,
132
+ "max": 2550.0
133
+ },
134
+ {
135
+ "current": 2550.0,
136
+ "min": 1500.0,
137
+ "max": 2550.0
138
+ },
139
+ {
140
+ "current": 2550.0,
141
+ "min": 1500.0,
142
+ "max": 2550.0
143
+ },
144
+ {
145
+ "current": 2550.0,
146
+ "min": 1500.0,
147
+ "max": 2550.0
148
+ },
149
+ {
150
+ "current": 2550.0,
151
+ "min": 1500.0,
152
+ "max": 2550.0
153
+ },
154
+ {
155
+ "current": 2550.0,
156
+ "min": 1500.0,
157
+ "max": 2550.0
158
+ },
159
+ {
160
+ "current": 2550.0,
161
+ "min": 1500.0,
162
+ "max": 2550.0
163
+ },
164
+ {
165
+ "current": 2550.0,
166
+ "min": 1500.0,
167
+ "max": 2550.0
168
+ },
169
+ {
170
+ "current": 2550.0,
171
+ "min": 1500.0,
172
+ "max": 2550.0
173
+ },
174
+ {
175
+ "current": 2550.0,
176
+ "min": 1500.0,
177
+ "max": 2550.0
178
+ },
179
+ {
180
+ "current": 2550.0,
181
+ "min": 1500.0,
182
+ "max": 2550.0
183
+ },
184
+ {
185
+ "current": 2550.0,
186
+ "min": 1500.0,
187
+ "max": 2550.0
188
+ },
189
+ {
190
+ "current": 2550.0,
191
+ "min": 1500.0,
192
+ "max": 2550.0
193
+ },
194
+ {
195
+ "current": 2550.0,
196
+ "min": 1500.0,
197
+ "max": 2550.0
198
+ },
199
+ {
200
+ "current": 2550.0,
201
+ "min": 1500.0,
202
+ "max": 2550.0
203
+ },
204
+ {
205
+ "current": 2550.0,
206
+ "min": 1500.0,
207
+ "max": 2550.0
208
+ },
209
+ {
210
+ "current": 2550.0,
211
+ "min": 1500.0,
212
+ "max": 2550.0
213
+ },
214
+ {
215
+ "current": 2550.0,
216
+ "min": 1500.0,
217
+ "max": 2550.0
218
+ },
219
+ {
220
+ "current": 2550.0,
221
+ "min": 1500.0,
222
+ "max": 2550.0
223
+ },
224
+ {
225
+ "current": 2550.0,
226
+ "min": 1500.0,
227
+ "max": 2550.0
228
+ },
229
+ {
230
+ "current": 2550.0,
231
+ "min": 1500.0,
232
+ "max": 2550.0
233
+ },
234
+ {
235
+ "current": 2550.0,
236
+ "min": 1500.0,
237
+ "max": 2550.0
238
+ },
239
+ {
240
+ "current": 2550.0,
241
+ "min": 1500.0,
242
+ "max": 2550.0
243
+ },
244
+ {
245
+ "current": 2550.0,
246
+ "min": 1500.0,
247
+ "max": 2550.0
248
+ },
249
+ {
250
+ "current": 2550.0,
251
+ "min": 1500.0,
252
+ "max": 2550.0
253
+ },
254
+ {
255
+ "current": 2550.0,
256
+ "min": 1500.0,
257
+ "max": 2550.0
258
+ },
259
+ {
260
+ "current": 2550.0,
261
+ "min": 1500.0,
262
+ "max": 2550.0
263
+ },
264
+ {
265
+ "current": 2550.0,
266
+ "min": 1500.0,
267
+ "max": 2550.0
268
+ },
269
+ {
270
+ "current": 2550.0,
271
+ "min": 1500.0,
272
+ "max": 2550.0
273
+ },
274
+ {
275
+ "current": 2550.0,
276
+ "min": 1500.0,
277
+ "max": 2550.0
278
+ },
279
+ {
280
+ "current": 3248.983,
281
+ "min": 1500.0,
282
+ "max": 2550.0
283
+ },
284
+ {
285
+ "current": 2550.0,
286
+ "min": 1500.0,
287
+ "max": 2550.0
288
+ },
289
+ {
290
+ "current": 2550.0,
291
+ "min": 1500.0,
292
+ "max": 2550.0
293
+ },
294
+ {
295
+ "current": 2550.0,
296
+ "min": 1500.0,
297
+ "max": 2550.0
298
+ },
299
+ {
300
+ "current": 2550.0,
301
+ "min": 1500.0,
302
+ "max": 2550.0
303
+ },
304
+ {
305
+ "current": 2550.0,
306
+ "min": 1500.0,
307
+ "max": 2550.0
308
+ },
309
+ {
310
+ "current": 2550.0,
311
+ "min": 1500.0,
312
+ "max": 2550.0
313
+ },
314
+ {
315
+ "current": 2550.0,
316
+ "min": 1500.0,
317
+ "max": 2550.0
318
+ },
319
+ {
320
+ "current": 2550.0,
321
+ "min": 1500.0,
322
+ "max": 2550.0
323
+ },
324
+ {
325
+ "current": 2550.0,
326
+ "min": 1500.0,
327
+ "max": 2550.0
328
+ },
329
+ {
330
+ "current": 2550.0,
331
+ "min": 1500.0,
332
+ "max": 2550.0
333
+ },
334
+ {
335
+ "current": 2550.0,
336
+ "min": 1500.0,
337
+ "max": 2550.0
338
+ },
339
+ {
340
+ "current": 2550.0,
341
+ "min": 1500.0,
342
+ "max": 2550.0
343
+ },
344
+ {
345
+ "current": 2550.0,
346
+ "min": 1500.0,
347
+ "max": 2550.0
348
+ },
349
+ {
350
+ "current": 2550.0,
351
+ "min": 1500.0,
352
+ "max": 2550.0
353
+ },
354
+ {
355
+ "current": 2550.0,
356
+ "min": 1500.0,
357
+ "max": 2550.0
358
+ },
359
+ {
360
+ "current": 2550.0,
361
+ "min": 1500.0,
362
+ "max": 2550.0
363
+ },
364
+ {
365
+ "current": 2550.0,
366
+ "min": 1500.0,
367
+ "max": 2550.0
368
+ },
369
+ {
370
+ "current": 2550.0,
371
+ "min": 1500.0,
372
+ "max": 2550.0
373
+ },
374
+ {
375
+ "current": 2550.0,
376
+ "min": 1500.0,
377
+ "max": 2550.0
378
+ },
379
+ {
380
+ "current": 2550.0,
381
+ "min": 1500.0,
382
+ "max": 2550.0
383
+ },
384
+ {
385
+ "current": 2550.0,
386
+ "min": 1500.0,
387
+ "max": 2550.0
388
+ },
389
+ {
390
+ "current": 2550.0,
391
+ "min": 1500.0,
392
+ "max": 2550.0
393
+ },
394
+ {
395
+ "current": 2550.0,
396
+ "min": 1500.0,
397
+ "max": 2550.0
398
+ },
399
+ {
400
+ "current": 2550.0,
401
+ "min": 1500.0,
402
+ "max": 2550.0
403
+ },
404
+ {
405
+ "current": 2550.0,
406
+ "min": 1500.0,
407
+ "max": 2550.0
408
+ },
409
+ {
410
+ "current": 2550.0,
411
+ "min": 1500.0,
412
+ "max": 2550.0
413
+ },
414
+ {
415
+ "current": 2550.0,
416
+ "min": 1500.0,
417
+ "max": 2550.0
418
+ },
419
+ {
420
+ "current": 2550.0,
421
+ "min": 1500.0,
422
+ "max": 2550.0
423
+ },
424
+ {
425
+ "current": 2550.0,
426
+ "min": 1500.0,
427
+ "max": 2550.0
428
+ },
429
+ {
430
+ "current": 2550.0,
431
+ "min": 1500.0,
432
+ "max": 2550.0
433
+ },
434
+ {
435
+ "current": 2550.0,
436
+ "min": 1500.0,
437
+ "max": 2550.0
438
+ },
439
+ {
440
+ "current": 2550.0,
441
+ "min": 1500.0,
442
+ "max": 2550.0
443
+ },
444
+ {
445
+ "current": 2550.0,
446
+ "min": 1500.0,
447
+ "max": 2550.0
448
+ },
449
+ {
450
+ "current": 2550.0,
451
+ "min": 1500.0,
452
+ "max": 2550.0
453
+ },
454
+ {
455
+ "current": 2550.0,
456
+ "min": 1500.0,
457
+ "max": 2550.0
458
+ },
459
+ {
460
+ "current": 2550.0,
461
+ "min": 1500.0,
462
+ "max": 2550.0
463
+ },
464
+ {
465
+ "current": 2550.0,
466
+ "min": 1500.0,
467
+ "max": 2550.0
468
+ },
469
+ {
470
+ "current": 2550.0,
471
+ "min": 1500.0,
472
+ "max": 2550.0
473
+ },
474
+ {
475
+ "current": 2550.0,
476
+ "min": 1500.0,
477
+ "max": 2550.0
478
+ },
479
+ {
480
+ "current": 2550.0,
481
+ "min": 1500.0,
482
+ "max": 2550.0
483
+ },
484
+ {
485
+ "current": 2550.0,
486
+ "min": 1500.0,
487
+ "max": 2550.0
488
+ },
489
+ {
490
+ "current": 2550.0,
491
+ "min": 1500.0,
492
+ "max": 2550.0
493
+ },
494
+ {
495
+ "current": 2550.0,
496
+ "min": 1500.0,
497
+ "max": 2550.0
498
+ },
499
+ {
500
+ "current": 2550.0,
501
+ "min": 1500.0,
502
+ "max": 2550.0
503
+ },
504
+ {
505
+ "current": 2550.0,
506
+ "min": 1500.0,
507
+ "max": 2550.0
508
+ },
509
+ {
510
+ "current": 2550.0,
511
+ "min": 1500.0,
512
+ "max": 2550.0
513
+ },
514
+ {
515
+ "current": 2550.0,
516
+ "min": 1500.0,
517
+ "max": 2550.0
518
+ },
519
+ {
520
+ "current": 2550.0,
521
+ "min": 1500.0,
522
+ "max": 2550.0
523
+ },
524
+ {
525
+ "current": 2550.0,
526
+ "min": 1500.0,
527
+ "max": 2550.0
528
+ },
529
+ {
530
+ "current": 2550.0,
531
+ "min": 1500.0,
532
+ "max": 2550.0
533
+ },
534
+ {
535
+ "current": 2550.0,
536
+ "min": 1500.0,
537
+ "max": 2550.0
538
+ },
539
+ {
540
+ "current": 2550.0,
541
+ "min": 1500.0,
542
+ "max": 2550.0
543
+ },
544
+ {
545
+ "current": 2550.0,
546
+ "min": 1500.0,
547
+ "max": 2550.0
548
+ },
549
+ {
550
+ "current": 2550.0,
551
+ "min": 1500.0,
552
+ "max": 2550.0
553
+ },
554
+ {
555
+ "current": 2550.0,
556
+ "min": 1500.0,
557
+ "max": 2550.0
558
+ },
559
+ {
560
+ "current": 2550.0,
561
+ "min": 1500.0,
562
+ "max": 2550.0
563
+ },
564
+ {
565
+ "current": 2550.0,
566
+ "min": 1500.0,
567
+ "max": 2550.0
568
+ },
569
+ {
570
+ "current": 2550.0,
571
+ "min": 1500.0,
572
+ "max": 2550.0
573
+ },
574
+ {
575
+ "current": 2550.0,
576
+ "min": 1500.0,
577
+ "max": 2550.0
578
+ },
579
+ {
580
+ "current": 2550.0,
581
+ "min": 1500.0,
582
+ "max": 2550.0
583
+ },
584
+ {
585
+ "current": 2550.0,
586
+ "min": 1500.0,
587
+ "max": 2550.0
588
+ },
589
+ {
590
+ "current": 2550.0,
591
+ "min": 1500.0,
592
+ "max": 2550.0
593
+ },
594
+ {
595
+ "current": 2550.0,
596
+ "min": 1500.0,
597
+ "max": 2550.0
598
+ },
599
+ {
600
+ "current": 2550.0,
601
+ "min": 1500.0,
602
+ "max": 2550.0
603
+ },
604
+ {
605
+ "current": 2550.0,
606
+ "min": 1500.0,
607
+ "max": 2550.0
608
+ },
609
+ {
610
+ "current": 2550.0,
611
+ "min": 1500.0,
612
+ "max": 2550.0
613
+ },
614
+ {
615
+ "current": 2550.0,
616
+ "min": 1500.0,
617
+ "max": 2550.0
618
+ },
619
+ {
620
+ "current": 2550.0,
621
+ "min": 1500.0,
622
+ "max": 2550.0
623
+ },
624
+ {
625
+ "current": 2550.0,
626
+ "min": 1500.0,
627
+ "max": 2550.0
628
+ },
629
+ {
630
+ "current": 2550.0,
631
+ "min": 1500.0,
632
+ "max": 2550.0
633
+ },
634
+ {
635
+ "current": 2550.0,
636
+ "min": 1500.0,
637
+ "max": 2550.0
638
+ },
639
+ {
640
+ "current": 2550.0,
641
+ "min": 1500.0,
642
+ "max": 2550.0
643
+ },
644
+ {
645
+ "current": 2550.0,
646
+ "min": 1500.0,
647
+ "max": 2550.0
648
+ },
649
+ {
650
+ "current": 2550.0,
651
+ "min": 1500.0,
652
+ "max": 2550.0
653
+ },
654
+ {
655
+ "current": 2550.0,
656
+ "min": 1500.0,
657
+ "max": 2550.0
658
+ },
659
+ {
660
+ "current": 2550.0,
661
+ "min": 1500.0,
662
+ "max": 2550.0
663
+ },
664
+ {
665
+ "current": 2550.0,
666
+ "min": 1500.0,
667
+ "max": 2550.0
668
+ },
669
+ {
670
+ "current": 2550.0,
671
+ "min": 1500.0,
672
+ "max": 2550.0
673
+ },
674
+ {
675
+ "current": 2550.0,
676
+ "min": 1500.0,
677
+ "max": 2550.0
678
+ },
679
+ {
680
+ "current": 2550.0,
681
+ "min": 1500.0,
682
+ "max": 2550.0
683
+ },
684
+ {
685
+ "current": 2550.0,
686
+ "min": 1500.0,
687
+ "max": 2550.0
688
+ },
689
+ {
690
+ "current": 2550.0,
691
+ "min": 1500.0,
692
+ "max": 2550.0
693
+ },
694
+ {
695
+ "current": 2550.0,
696
+ "min": 1500.0,
697
+ "max": 2550.0
698
+ },
699
+ {
700
+ "current": 2550.0,
701
+ "min": 1500.0,
702
+ "max": 2550.0
703
+ },
704
+ {
705
+ "current": 2550.0,
706
+ "min": 1500.0,
707
+ "max": 2550.0
708
+ },
709
+ {
710
+ "current": 2550.0,
711
+ "min": 1500.0,
712
+ "max": 2550.0
713
+ },
714
+ {
715
+ "current": 3248.315,
716
+ "min": 1500.0,
717
+ "max": 2550.0
718
+ },
719
+ {
720
+ "current": 2550.0,
721
+ "min": 1500.0,
722
+ "max": 2550.0
723
+ },
724
+ {
725
+ "current": 2550.0,
726
+ "min": 1500.0,
727
+ "max": 2550.0
728
+ },
729
+ {
730
+ "current": 2550.0,
731
+ "min": 1500.0,
732
+ "max": 2550.0
733
+ },
734
+ {
735
+ "current": 2550.0,
736
+ "min": 1500.0,
737
+ "max": 2550.0
738
+ },
739
+ {
740
+ "current": 2550.0,
741
+ "min": 1500.0,
742
+ "max": 2550.0
743
+ },
744
+ {
745
+ "current": 2550.0,
746
+ "min": 1500.0,
747
+ "max": 2550.0
748
+ },
749
+ {
750
+ "current": 2550.0,
751
+ "min": 1500.0,
752
+ "max": 2550.0
753
+ },
754
+ {
755
+ "current": 2550.0,
756
+ "min": 1500.0,
757
+ "max": 2550.0
758
+ },
759
+ {
760
+ "current": 2550.0,
761
+ "min": 1500.0,
762
+ "max": 2550.0
763
+ },
764
+ {
765
+ "current": 2550.0,
766
+ "min": 1500.0,
767
+ "max": 2550.0
768
+ },
769
+ {
770
+ "current": 2550.0,
771
+ "min": 1500.0,
772
+ "max": 2550.0
773
+ },
774
+ {
775
+ "current": 2550.0,
776
+ "min": 1500.0,
777
+ "max": 2550.0
778
+ },
779
+ {
780
+ "current": 2550.0,
781
+ "min": 1500.0,
782
+ "max": 2550.0
783
+ },
784
+ {
785
+ "current": 2550.0,
786
+ "min": 1500.0,
787
+ "max": 2550.0
788
+ },
789
+ {
790
+ "current": 2550.0,
791
+ "min": 1500.0,
792
+ "max": 2550.0
793
+ },
794
+ {
795
+ "current": 2550.0,
796
+ "min": 1500.0,
797
+ "max": 2550.0
798
+ },
799
+ {
800
+ "current": 2550.0,
801
+ "min": 1500.0,
802
+ "max": 2550.0
803
+ },
804
+ {
805
+ "current": 2550.0,
806
+ "min": 1500.0,
807
+ "max": 2550.0
808
+ },
809
+ {
810
+ "current": 2550.0,
811
+ "min": 1500.0,
812
+ "max": 2550.0
813
+ },
814
+ {
815
+ "current": 2550.0,
816
+ "min": 1500.0,
817
+ "max": 2550.0
818
+ },
819
+ {
820
+ "current": 2550.0,
821
+ "min": 1500.0,
822
+ "max": 2550.0
823
+ },
824
+ {
825
+ "current": 2550.0,
826
+ "min": 1500.0,
827
+ "max": 2550.0
828
+ },
829
+ {
830
+ "current": 2550.0,
831
+ "min": 1500.0,
832
+ "max": 2550.0
833
+ },
834
+ {
835
+ "current": 2550.0,
836
+ "min": 1500.0,
837
+ "max": 2550.0
838
+ },
839
+ {
840
+ "current": 2550.0,
841
+ "min": 1500.0,
842
+ "max": 2550.0
843
+ },
844
+ {
845
+ "current": 2550.0,
846
+ "min": 1500.0,
847
+ "max": 2550.0
848
+ },
849
+ {
850
+ "current": 2550.0,
851
+ "min": 1500.0,
852
+ "max": 2550.0
853
+ },
854
+ {
855
+ "current": 2550.0,
856
+ "min": 1500.0,
857
+ "max": 2550.0
858
+ },
859
+ {
860
+ "current": 2550.0,
861
+ "min": 1500.0,
862
+ "max": 2550.0
863
+ },
864
+ {
865
+ "current": 2550.0,
866
+ "min": 1500.0,
867
+ "max": 2550.0
868
+ },
869
+ {
870
+ "current": 2550.0,
871
+ "min": 1500.0,
872
+ "max": 2550.0
873
+ },
874
+ {
875
+ "current": 2550.0,
876
+ "min": 1500.0,
877
+ "max": 2550.0
878
+ },
879
+ {
880
+ "current": 2550.0,
881
+ "min": 1500.0,
882
+ "max": 2550.0
883
+ },
884
+ {
885
+ "current": 2550.0,
886
+ "min": 1500.0,
887
+ "max": 2550.0
888
+ },
889
+ {
890
+ "current": 2550.0,
891
+ "min": 1500.0,
892
+ "max": 2550.0
893
+ },
894
+ {
895
+ "current": 2550.0,
896
+ "min": 1500.0,
897
+ "max": 2550.0
898
+ },
899
+ {
900
+ "current": 2550.0,
901
+ "min": 1500.0,
902
+ "max": 2550.0
903
+ },
904
+ {
905
+ "current": 2550.0,
906
+ "min": 1500.0,
907
+ "max": 2550.0
908
+ },
909
+ {
910
+ "current": 2550.0,
911
+ "min": 1500.0,
912
+ "max": 2550.0
913
+ },
914
+ {
915
+ "current": 2550.0,
916
+ "min": 1500.0,
917
+ "max": 2550.0
918
+ },
919
+ {
920
+ "current": 2550.0,
921
+ "min": 1500.0,
922
+ "max": 2550.0
923
+ },
924
+ {
925
+ "current": 2550.0,
926
+ "min": 1500.0,
927
+ "max": 2550.0
928
+ },
929
+ {
930
+ "current": 2550.0,
931
+ "min": 1500.0,
932
+ "max": 2550.0
933
+ },
934
+ {
935
+ "current": 2550.0,
936
+ "min": 1500.0,
937
+ "max": 2550.0
938
+ },
939
+ {
940
+ "current": 2550.0,
941
+ "min": 1500.0,
942
+ "max": 2550.0
943
+ },
944
+ {
945
+ "current": 2550.0,
946
+ "min": 1500.0,
947
+ "max": 2550.0
948
+ },
949
+ {
950
+ "current": 2550.0,
951
+ "min": 1500.0,
952
+ "max": 2550.0
953
+ },
954
+ {
955
+ "current": 2550.0,
956
+ "min": 1500.0,
957
+ "max": 2550.0
958
+ },
959
+ {
960
+ "current": 2550.0,
961
+ "min": 1500.0,
962
+ "max": 2550.0
963
+ },
964
+ {
965
+ "current": 2550.0,
966
+ "min": 1500.0,
967
+ "max": 2550.0
968
+ },
969
+ {
970
+ "current": 2550.0,
971
+ "min": 1500.0,
972
+ "max": 2550.0
973
+ },
974
+ {
975
+ "current": 3249.081,
976
+ "min": 1500.0,
977
+ "max": 2550.0
978
+ },
979
+ {
980
+ "current": 2550.0,
981
+ "min": 1500.0,
982
+ "max": 2550.0
983
+ },
984
+ {
985
+ "current": 2550.0,
986
+ "min": 1500.0,
987
+ "max": 2550.0
988
+ },
989
+ {
990
+ "current": 3247.977,
991
+ "min": 1500.0,
992
+ "max": 2550.0
993
+ },
994
+ {
995
+ "current": 3006.851,
996
+ "min": 1500.0,
997
+ "max": 2550.0
998
+ },
999
+ {
1000
+ "current": 2550.0,
1001
+ "min": 1500.0,
1002
+ "max": 2550.0
1003
+ },
1004
+ {
1005
+ "current": 2550.0,
1006
+ "min": 1500.0,
1007
+ "max": 2550.0
1008
+ },
1009
+ {
1010
+ "current": 2550.0,
1011
+ "min": 1500.0,
1012
+ "max": 2550.0
1013
+ },
1014
+ {
1015
+ "current": 2550.0,
1016
+ "min": 1500.0,
1017
+ "max": 2550.0
1018
+ },
1019
+ {
1020
+ "current": 2550.0,
1021
+ "min": 1500.0,
1022
+ "max": 2550.0
1023
+ },
1024
+ {
1025
+ "current": 2550.0,
1026
+ "min": 1500.0,
1027
+ "max": 2550.0
1028
+ },
1029
+ {
1030
+ "current": 2550.0,
1031
+ "min": 1500.0,
1032
+ "max": 2550.0
1033
+ },
1034
+ {
1035
+ "current": 2550.0,
1036
+ "min": 1500.0,
1037
+ "max": 2550.0
1038
+ },
1039
+ {
1040
+ "current": 2550.0,
1041
+ "min": 1500.0,
1042
+ "max": 2550.0
1043
+ },
1044
+ {
1045
+ "current": 2550.0,
1046
+ "min": 1500.0,
1047
+ "max": 2550.0
1048
+ },
1049
+ {
1050
+ "current": 2550.0,
1051
+ "min": 1500.0,
1052
+ "max": 2550.0
1053
+ },
1054
+ {
1055
+ "current": 2550.0,
1056
+ "min": 1500.0,
1057
+ "max": 2550.0
1058
+ },
1059
+ {
1060
+ "current": 2550.0,
1061
+ "min": 1500.0,
1062
+ "max": 2550.0
1063
+ },
1064
+ {
1065
+ "current": 2550.0,
1066
+ "min": 1500.0,
1067
+ "max": 2550.0
1068
+ },
1069
+ {
1070
+ "current": 2550.0,
1071
+ "min": 1500.0,
1072
+ "max": 2550.0
1073
+ },
1074
+ {
1075
+ "current": 2550.0,
1076
+ "min": 1500.0,
1077
+ "max": 2550.0
1078
+ },
1079
+ {
1080
+ "current": 2550.0,
1081
+ "min": 1500.0,
1082
+ "max": 2550.0
1083
+ },
1084
+ {
1085
+ "current": 2550.0,
1086
+ "min": 1500.0,
1087
+ "max": 2550.0
1088
+ },
1089
+ {
1090
+ "current": 2550.0,
1091
+ "min": 1500.0,
1092
+ "max": 2550.0
1093
+ },
1094
+ {
1095
+ "current": 2550.0,
1096
+ "min": 1500.0,
1097
+ "max": 2550.0
1098
+ },
1099
+ {
1100
+ "current": 2550.0,
1101
+ "min": 1500.0,
1102
+ "max": 2550.0
1103
+ },
1104
+ {
1105
+ "current": 2550.0,
1106
+ "min": 1500.0,
1107
+ "max": 2550.0
1108
+ },
1109
+ {
1110
+ "current": 2550.0,
1111
+ "min": 1500.0,
1112
+ "max": 2550.0
1113
+ },
1114
+ {
1115
+ "current": 2550.0,
1116
+ "min": 1500.0,
1117
+ "max": 2550.0
1118
+ },
1119
+ {
1120
+ "current": 2550.0,
1121
+ "min": 1500.0,
1122
+ "max": 2550.0
1123
+ },
1124
+ {
1125
+ "current": 2550.0,
1126
+ "min": 1500.0,
1127
+ "max": 2550.0
1128
+ },
1129
+ {
1130
+ "current": 2550.0,
1131
+ "min": 1500.0,
1132
+ "max": 2550.0
1133
+ },
1134
+ {
1135
+ "current": 2550.0,
1136
+ "min": 1500.0,
1137
+ "max": 2550.0
1138
+ },
1139
+ {
1140
+ "current": 2550.0,
1141
+ "min": 1500.0,
1142
+ "max": 2550.0
1143
+ },
1144
+ {
1145
+ "current": 2550.0,
1146
+ "min": 1500.0,
1147
+ "max": 2550.0
1148
+ },
1149
+ {
1150
+ "current": 2550.0,
1151
+ "min": 1500.0,
1152
+ "max": 2550.0
1153
+ },
1154
+ {
1155
+ "current": 2550.0,
1156
+ "min": 1500.0,
1157
+ "max": 2550.0
1158
+ },
1159
+ {
1160
+ "current": 2550.0,
1161
+ "min": 1500.0,
1162
+ "max": 2550.0
1163
+ },
1164
+ {
1165
+ "current": 2550.0,
1166
+ "min": 1500.0,
1167
+ "max": 2550.0
1168
+ },
1169
+ {
1170
+ "current": 2550.0,
1171
+ "min": 1500.0,
1172
+ "max": 2550.0
1173
+ },
1174
+ {
1175
+ "current": 2550.0,
1176
+ "min": 1500.0,
1177
+ "max": 2550.0
1178
+ },
1179
+ {
1180
+ "current": 2550.0,
1181
+ "min": 1500.0,
1182
+ "max": 2550.0
1183
+ },
1184
+ {
1185
+ "current": 2550.0,
1186
+ "min": 1500.0,
1187
+ "max": 2550.0
1188
+ },
1189
+ {
1190
+ "current": 2550.0,
1191
+ "min": 1500.0,
1192
+ "max": 2550.0
1193
+ },
1194
+ {
1195
+ "current": 2550.0,
1196
+ "min": 1500.0,
1197
+ "max": 2550.0
1198
+ },
1199
+ {
1200
+ "current": 2550.0,
1201
+ "min": 1500.0,
1202
+ "max": 2550.0
1203
+ },
1204
+ {
1205
+ "current": 2550.0,
1206
+ "min": 1500.0,
1207
+ "max": 2550.0
1208
+ },
1209
+ {
1210
+ "current": 2550.0,
1211
+ "min": 1500.0,
1212
+ "max": 2550.0
1213
+ },
1214
+ {
1215
+ "current": 2550.0,
1216
+ "min": 1500.0,
1217
+ "max": 2550.0
1218
+ },
1219
+ {
1220
+ "current": 2550.0,
1221
+ "min": 1500.0,
1222
+ "max": 2550.0
1223
+ },
1224
+ {
1225
+ "current": 2550.0,
1226
+ "min": 1500.0,
1227
+ "max": 2550.0
1228
+ },
1229
+ {
1230
+ "current": 2550.0,
1231
+ "min": 1500.0,
1232
+ "max": 2550.0
1233
+ },
1234
+ {
1235
+ "current": 2550.0,
1236
+ "min": 1500.0,
1237
+ "max": 2550.0
1238
+ },
1239
+ {
1240
+ "current": 2550.0,
1241
+ "min": 1500.0,
1242
+ "max": 2550.0
1243
+ },
1244
+ {
1245
+ "current": 2550.0,
1246
+ "min": 1500.0,
1247
+ "max": 2550.0
1248
+ },
1249
+ {
1250
+ "current": 2550.0,
1251
+ "min": 1500.0,
1252
+ "max": 2550.0
1253
+ },
1254
+ {
1255
+ "current": 2550.0,
1256
+ "min": 1500.0,
1257
+ "max": 2550.0
1258
+ },
1259
+ {
1260
+ "current": 2550.0,
1261
+ "min": 1500.0,
1262
+ "max": 2550.0
1263
+ },
1264
+ {
1265
+ "current": 2550.0,
1266
+ "min": 1500.0,
1267
+ "max": 2550.0
1268
+ },
1269
+ {
1270
+ "current": 2550.0,
1271
+ "min": 1500.0,
1272
+ "max": 2550.0
1273
+ },
1274
+ {
1275
+ "current": 2550.0,
1276
+ "min": 1500.0,
1277
+ "max": 2550.0
1278
+ },
1279
+ {
1280
+ "current": 2550.0,
1281
+ "min": 1500.0,
1282
+ "max": 2550.0
1283
+ },
1284
+ {
1285
+ "current": 2550.0,
1286
+ "min": 1500.0,
1287
+ "max": 2550.0
1288
+ },
1289
+ {
1290
+ "current": 2550.0,
1291
+ "min": 1500.0,
1292
+ "max": 2550.0
1293
+ },
1294
+ {
1295
+ "current": 2550.0,
1296
+ "min": 1500.0,
1297
+ "max": 2550.0
1298
+ },
1299
+ {
1300
+ "current": 2550.0,
1301
+ "min": 1500.0,
1302
+ "max": 2550.0
1303
+ },
1304
+ {
1305
+ "current": 2550.0,
1306
+ "min": 1500.0,
1307
+ "max": 2550.0
1308
+ },
1309
+ {
1310
+ "current": 2550.0,
1311
+ "min": 1500.0,
1312
+ "max": 2550.0
1313
+ }
1314
+ ],
1315
+ "disk": {
1316
+ "/": {
1317
+ "total": 242.1086883544922,
1318
+ "used": 52.20142364501953
1319
+ }
1320
+ },
1321
+ "gpu": "NVIDIA A100-SXM4-80GB",
1322
+ "gpu_count": 8,
1323
+ "gpu_devices": [
1324
+ {
1325
+ "name": "NVIDIA A100-SXM4-80GB",
1326
+ "memory_total": 85899345920
1327
+ },
1328
+ {
1329
+ "name": "NVIDIA A100-SXM4-80GB",
1330
+ "memory_total": 85899345920
1331
+ },
1332
+ {
1333
+ "name": "NVIDIA A100-SXM4-80GB",
1334
+ "memory_total": 85899345920
1335
+ },
1336
+ {
1337
+ "name": "NVIDIA A100-SXM4-80GB",
1338
+ "memory_total": 85899345920
1339
+ },
1340
+ {
1341
+ "name": "NVIDIA A100-SXM4-80GB",
1342
+ "memory_total": 85899345920
1343
+ },
1344
+ {
1345
+ "name": "NVIDIA A100-SXM4-80GB",
1346
+ "memory_total": 85899345920
1347
+ },
1348
+ {
1349
+ "name": "NVIDIA A100-SXM4-80GB",
1350
+ "memory_total": 85899345920
1351
+ },
1352
+ {
1353
+ "name": "NVIDIA A100-SXM4-80GB",
1354
+ "memory_total": 85899345920
1355
+ }
1356
+ ],
1357
+ "memory": {
1358
+ "total": 2015.6942710876465
1359
+ }
1360
+ }
qformer2_32/wandb/run-20240312_142855-srovbvi2/files/wandb-summary.json ADDED
@@ -0,0 +1 @@
 
 
1
+ {"Finetune/Step": 5198, "Finetune/Loss": 0.7954542636871338, "Finetune/Loss (Raw)": 0.8554208278656006, "Finetune/Learning Rate": 0.0, "Finetune/Step Time": 4.717184504494071, "_timestamp": 1710277188.6693704, "_runtime": 23453.605083465576, "_step": 5198, "_wandb": {"runtime": 23718}}
qformer2_32/wandb/run-20240312_142855-srovbvi2/logs/debug-internal.log ADDED
The diff for this file is too large to render. See raw diff