ajustes

README.md

@@ -10,9 +10,53 @@ model-index:
 <!-- This model card has been generated automatically according to the information the Trainer had access to. You
 should probably proofread and complete it, then remove this comment. -->
 
-# results_v4c_gpt_medium_original_no_eval
+# gpt2-medium-squadv11-portuguese
+
+This model is a fine-tuned version of [gpt2-medium](https://huggingface.co/gpt2-medium) on squad_v1.1_pt dataset.
+
+** It's a chatbot experiment. ;)
+
+The model was trained in 12 hours on a NVIDIA RTX 3060 12GB using training argument "--fp16" because of the GPU memory limit.
+
+
+### Usage:
+```
+$ python3
+>>> from transformers import pipeline, set_seed
+>>> set_seed(42)
+>>> generator = pipeline('text-generation', model="egonrp/gpt2-medium-squadv11-portuguese")
+>>> result = generator('<|prompter|>A pandemia de COVID-19, também conhecida como pandemia de coronavírus, é uma pandemia em curso de COVID-19, uma doença respiratória aguda causada pelo coronavírus da síndrome respiratória aguda grave 2 (SARS-CoV-2). A doença foi identificada pela primeira vez em Wuhan, na província de Hubei, República Popular da China, em 1 de dezembro de 2019, mas o primeiro caso foi reportado em 31 de dezembro do mesmo ano. Quando foi reportado o primeiro caso de COVID-19?<|assistant|>', max_new_tokens=110, num_return_sequences=1, do_sample=False)
+>>> print(result)
+[{'generated_text': '<|prompter|>A pandemia de COVID-19, também conhecida como pandemia de coronavírus, é uma pandemia em curso de COVID-19, uma doença respiratória aguda causada pelo coronavírus da síndrome respiratória aguda grave 2 (SARS-CoV-2). A doença foi identificada pela primeira vez em Wuhan, na província de Hubei, República Popular da China, em 1 de dezembro de 2019, mas o primeiro caso foi reportado em 31 de dezembro do mesmo ano. Quando foi reportado o primeiro caso de COVID-19?<|assistant|>31 de dezembro do mesmo ano'}]
+```
+
+
+
+### Usage.2:
+```
+$ python3
+>>> from transformers import GPT2LMHeadModel, GPT2Tokenizer, set_seed
+>>> set_seed(42)
+>>> model = GPT2LMHeadModel.from_pretrained("egonrp/gpt2-medium-squadv11-portuguese")
+>>> tokenizer = GPT2Tokenizer.from_pretrained("egonrp/gpt2-medium-squadv11-portuguese")
+>>> tokenizer.add_special_tokens({'pad_token': tokenizer.eos_token})
+>>> model.config.pad_token_id = tokenizer.eos_token_id
+>>> prompt_text = '<|prompter|>A pandemia de COVID-19, também conhecida como pandemia de coronavírus, é uma pandemia em curso de COVID-19, uma doença respiratória aguda causada pelo coronavírus da síndrome respiratória aguda grave 2 (SARS-CoV-2). A doença foi identificada pela primeira vez em Wuhan, na província de Hubei, República Popular da China, em 1 de dezembro de 2019, mas o primeiro caso foi reportado em 31 de dezembro do mesmo ano. Quando foi reportado o primeiro caso de COVID-19?<|assistant|>'
+>>> encoded_prompt = tokenizer.encode(prompt_text, return_tensors="pt")
+>>> output_sequences = model.generate(
+    input_ids=encoded_prompt,
+    do_sample=False,
+    num_return_sequences=1,
+    max_new_tokens=110,
+    eos_token_id=model.config.eos_token_id,
+    pad_token_id=model.config.eos_token_id
+)
+>>> decoded_text = tokenizer.decode(output_sequences[0], skip_special_tokens=True)
+>>> print(decoded_text)
+<|prompter|>A pandemia de COVID-19, também conhecida como pandemia de coronavírus, é uma pandemia em curso de COVID-19, uma doença respiratória aguda causada pelo coronavírus da síndrome respiratória aguda grave 2 (SARS-CoV-2). A doença foi identificada pela primeira vez em Wuhan, na província de Hubei, República Popular da China, em 1 de dezembro de 2019, mas o primeiro caso foi reportado em 31 de dezembro do mesmo ano. Quando foi reportado o primeiro caso de COVID-19?<|assistant|>31 de dezembro do mesmo ano
+```
+
 
-This model is a fine-tuned version of [gpt2-medium](https://huggingface.co/gpt2-medium) on an unknown dataset.
 
 ## Model description
 
@@ -28,6 +72,21 @@ More information needed
 
 ## Training procedure
 
+```
+git clone -b v4.27-release https://github.com/huggingface/transformers.git
+cd transformers/examples/pytorch/language-modeling/
+pip install -r requirements.txt
+pip install transformers==v4.27.3
+python3 run_clm.py \
+    --model_name_or_path gpt2-medium \
+    --train_file /home/egon/dev/gptsquad_data/converted_squad_merged_out_v4c.txt \
+    --do_train \
+    --num_train_epochs 3 \
+    --per_device_train_batch_size 1 \
+    --output_dir /home/egon/dev/gptsquad_model/results_v4c_gpt_medium_original_no_eval \
+    --fp16
+```
+
 ### Training hyperparameters
 
 The following hyperparameters were used during training: