Update README.md

README.md

@@ -9,3 +9,29 @@ pipeline_tag: text-generation
 - base_model: polyglot-ko-3.8b1
 - train_data: 12 instruction fine-tuned dataset
 - train method: SFT
+
+
+```python
+from transformers import AutoModelForCausalLM, AutoTokenizer
+
+device = "cuda" # the device to load the model onto
+
+model = AutoModelForCausalLM.from_pretrained("hyunjae/polyglot-ko-3.8b-total")
+tokenizer = AutoTokenizer.from_pretrained("hyunjae/polyglot-ko-3.8b-total")
+
+messages = [
+    {"role": "system", "content": "당신은 사람들이 정보를 찾을 수 있도록 도와주는 인공지능 비서입니다."},
+    {"role": "user", "content": "대한민국의 수도는 어디야?"},
+    {"role": "assistant", "content": "대한민국의 수도는 서울입니다."},
+    {"role": "user", "content": "서울 인구는 총 몇 명이야?"}
+]
+
+encodeds = tokenizer.apply_chat_template(messages, return_tensors="pt")
+
+model_inputs = encodeds.to(device)
+model.to(device)
+
+generated_ids = model.generate(model_inputs, max_new_tokens=1000, do_sample=True)
+decoded = tokenizer.batch_decode(generated_ids)
+print(decoded[0])
+```