cstorm125 commited on
Commit
921f2ba
1 Parent(s): bb84405

trained with chimera_qa

Browse files
Files changed (6) hide show
  1. README.md +14 -17
  2. config.json +1 -1
  3. pytorch_model.bin +2 -2
  4. tokenizer.json +0 -0
  5. tokenizer_config.json +1 -1
  6. training_args.bin +2 -2
README.md CHANGED
@@ -3,24 +3,21 @@ widget:
3
  - text: "สวนกุหลาบเป็นโรงเรียนอะไร"
4
  context: "โรงเรียนสวนกุหลาบวิทยาลัย (Suankularb Wittayalai School) (อักษรย่อ : ส.ก. / S.K.) เป็นโรงเรียนชายล้วน ระดับชั้นมัธยมศึกษาขนาดใหญ่พิเศษ สังกัดสำนักงานเขตพื้นที่การศึกษามัธยมศึกษาเขต 1 สำนักงานคณะกรรมการการศึกษาขั้นพื้นฐาน (ชื่อเดิม: กรมสามัญศึกษา) กระทรวงศึกษาธิการ ก่อตั้งโดย พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว ได้รับการสถาปนาขึ้นในวันที่ 8 มีนาคม พ.ศ. 2424 (ขณะนั้นนับวันที่ 1 เมษายน เป็นวันขึ้นปีใหม่ เมื่อนับอย่างสากลถือเป็น พ.ศ. 2425) โดยเป็นโรงเรียนรัฐบาลแห่งแรกของประเทศไทย"
5
  ---
 
6
 
7
- # wangchanberta-base-wiki-20210520-spm-finetune-qa
8
-
9
- Finetuning `wangchanberta-base-wiki-20210520-spm` with the training set of `iapp_wiki_qa_squad`, `thaiqa`, `xquad` (removed examples which have cosine similarity with validation and test examples over 0.8). Benchmarks shared on [wandb](https://wandb.ai/cstorm125/wangchanberta-qa) using validation and test sets of `iapp_wiki_qa_squad`.
10
- Trained with [thai2transformers](https://github.com/vistec-AI/thai2transformers/blob/dev/scripts/downstream/train_question_answering_lm_finetuning.py). Combined benchmark datasets downloadable at [vistec-ai/thai2transformers](https://github.com/vistec-AI/thai2transformers/releases/tag/qa-v0.2).
11
 
12
  Run with:
13
  ```
14
- export WANDB_PROJECT=wangchanberta-qa
15
-
16
- export MODEL_NAME=airesearchth/wangchanberta-base-wiki-20210520-news-spm
17
- CUDA_LAUNCH_BLOCKING=1 python train_question_answering_lm_finetuning.py \\\\
18
- --model_name $MODEL_NAME \\\\
19
- --revision main@ckp-50000 \\\\
20
- --dataset_name iapp_thaiqa_xquad \\\\
21
- --output_dir $MODEL_NAME-finetune-iapp_thaiqa_xquad-model \\\\
22
- --log_dir $MODEL_NAME-finetune-iapp_thaiqa_xquad-log \\\\
23
- --model_max_length 400 \\\\
24
- --pad_on_right \\\\
25
- --fp16
26
- ```
 
3
  - text: "สวนกุหลาบเป็นโรงเรียนอะไร"
4
  context: "โรงเรียนสวนกุหลาบวิทยาลัย (Suankularb Wittayalai School) (อักษรย่อ : ส.ก. / S.K.) เป็นโรงเรียนชายล้วน ระดับชั้นมัธยมศึกษาขนาดใหญ่พิเศษ สังกัดสำนักงานเขตพื้นที่การศึกษามัธยมศึกษาเขต 1 สำนักงานคณะกรรมการการศึกษาขั้นพื้นฐาน (ชื่อเดิม: กรมสามัญศึกษา) กระทรวงศึกษาธิการ ก่อตั้งโดย พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว ได้รับการสถาปนาขึ้นในวันที่ 8 มีนาคม พ.ศ. 2424 (ขณะนั้นนับวันที่ 1 เมษายน เป็นวันขึ้นปีใหม่ เมื่อนับอย่างสากลถือเป็น พ.ศ. 2425) โดยเป็นโรงเรียนรัฐบาลแห่งแรกของประเทศไทย"
5
  ---
6
+ # wangchanberta-base-wiki-20210520-news-spm-finetune-qa
7
 
8
+ Finetuning `airesearchth/wangchanberta-base-wiki-20210520-news-spm` with the training set of `iapp_wiki_qa_squad`, `thaiqa_squad`, and `nsc_qa` (removed examples which have cosine similarity with validation and test examples over 0.8; contexts of the latter two are trimmed to be around 300 `newmm` words). Benchmarks shared on [wandb](https://wandb.ai/cstorm125/wangchanberta-qa) using validation and test sets of `iapp_wiki_qa_squad`.
9
+ Trained with [thai2transformers](https://github.com/vistec-AI/thai2transformers/blob/dev/scripts/downstream/train_question_answering_lm_finetuning.py).
 
 
10
 
11
  Run with:
12
  ```
13
+ export MODEL_NAME=airesearch/wangchanberta-base-wiki-20210520-news-spm_span-mask
14
+ CUDA_LAUNCH_BLOCKING=1 python train_question_answering_lm_finetuning.py \
15
+ --model_name $MODEL_NAME \
16
+ --dataset_name chimera_qa \
17
+ --output_dir $MODEL_NAME-finetune-chimera_qa-model \
18
+ --log_dir $MODEL_NAME-finetune-chimera_qa-log \
19
+ --model_max_length 400 \
20
+ --pad_on_right \
21
+ --fp16 \
22
+ --use_auth_token
23
+ ```
 
 
config.json CHANGED
@@ -20,7 +20,7 @@
20
  "num_hidden_layers": 12,
21
  "pad_token_id": 1,
22
  "position_embedding_type": "absolute",
23
- "transformers_version": "4.6.0",
24
  "type_vocab_size": 1,
25
  "use_cache": true,
26
  "vocab_size": 25005
 
20
  "num_hidden_layers": 12,
21
  "pad_token_id": 1,
22
  "position_embedding_type": "absolute",
23
+ "transformers_version": "4.8.2",
24
  "type_vocab_size": 1,
25
  "use_cache": true,
26
  "vocab_size": 25005
pytorch_model.bin CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:a9a401c297d4a73ec993fdae6dce57b0d417d6926e8abff2b714a48cf50ece51
3
- size 418711223
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:2e1e8aca97ed3d69b438922a643b32a0ae2008324a3288cb9ae6ec8ea4e6c2ae
3
+ size 418706097
tokenizer.json CHANGED
The diff for this file is too large to render. See raw diff
 
tokenizer_config.json CHANGED
@@ -1 +1 @@
1
- {"bos_token": "<s>", "eos_token": "</s>", "sep_token": "</s>", "cls_token": "<s>", "unk_token": "<unk>", "pad_token": "<pad>", "mask_token": {"content": "<mask>", "single_word": false, "lstrip": true, "rstrip": false, "normalized": true, "__type": "AddedToken"}, "additional_special_tokens": ["<s>NOTUSED", "</s>NOTUSED", "▁"], "special_tokens_map_file": null, "model_max_length": 400, "name_or_path": "airesearchth/wangchanberta-base-wiki-20210520-news-spm"}
 
1
+ {"bos_token": "<s>", "eos_token": "</s>", "sep_token": "</s>", "cls_token": "<s>", "unk_token": "<unk>", "pad_token": "<pad>", "mask_token": {"content": "<mask>", "single_word": false, "lstrip": true, "rstrip": false, "normalized": true, "__type": "AddedToken"}, "additional_special_tokens": ["<s>NOTUSED", "</s>NOTUSED", "▁"], "special_tokens_map_file": null, "model_max_length": 400, "name_or_path": "airesearchth/wangchanberta-base-wiki-20210520-news-spm", "sp_model_kwargs": {}, "tokenizer_class": "CamembertTokenizer"}
training_args.bin CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:08c647ffc287eac9e2bf7858bae2c29e25c0c2c3e0268c571393bbfa9b1c3c34
3
- size 2607
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:2a59d822c6f1cafabda1b44c62c86e99a190a1fd0ef57dac6ab8534bebc65149
3
+ size 2799