|
--- |
|
tags: |
|
- merge |
|
- mergekit |
|
- lazymergekit |
|
- sh2orc |
|
- bccard |
|
|
|
base_model: |
|
- sh2orc/Llama-3-Korean-8B |
|
--- |
|
|
|
# Llama-3-Korean-12B |
|
|
|
Llama-3-Korean-12B is a merge of the following models using LazyMergekit: |
|
* [sh2orc/Llama-3-Korean-8B](sh2orc/Llama-3-Korean-8B) |
|
|
|
- Dataset: |
|
- [maywell/ko_wikidata_QA](https://huggingface.co/datasets/maywell/ko_wikidata_QA) |
|
- [lcw99/wikipedia-korean-20240501-1million-qna](https://huggingface.co/datasets/lcw99/wikipedia-korean-20240501-1million-qna) |
|
- [inswave/AISquare_Koalpaca_Orca_merged](https://huggingface.co/datasets/inswave/AISquare_Koalpaca_Orca_merged) |
|
- [inswave/AISqaure_Intergrated_v1](https://huggingface.co/datasets/inswave/AISqaure_Intergrated_v1) |
|
- [MarkrAI/KoCommercial-Dataset](https://huggingface.co/datasets/MarkrAI/KoCommercial-Dataset) |
|
|
|
## π» Usage |
|
|
|
```python |
|
!pip install -qU transformers accelerate |
|
|
|
from transformers import AutoTokenizer |
|
import transformers |
|
import torch |
|
|
|
model = "sh2orc/Llama-3-Korean-12B" |
|
messages = [{"role": "user", "content": "What is a large language model?"}] |
|
|
|
tokenizer = AutoTokenizer.from_pretrained(model) |
|
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True) |
|
pipeline = transformers.pipeline( |
|
"text-generation", |
|
model=model, |
|
torch_dtype=torch.float16, |
|
device_map="auto", |
|
) |
|
|
|
outputs = pipeline(prompt, max_new_tokens=256, do_sample=True, temperature=0.7, top_k=50, top_p=0.95) |
|
print(outputs[0]["generated_text"]) |
|
``` |
|
|
|
## Q&A |
|
|
|
**Q. μ¬νμ κ°λ €κ³ νλλ° μ‘°μΈμ ν΄μ€μ**<br> |
|
A. μ¬νμ κ°λ €κ³ νμ λ€λ©΄, μ¬ν λͺ©μ μ§, κΈ°κ°, μμ° λ±μ κ³ λ €νμ¬ μΌμ μ 미리 κ³ννκ³ μμ½μ νμλ κ²μ΄ μ’μ΅λλ€. λν, μ¬νμ§μ λ μ¨, μ¬ν κ²½λΉ, μ¬ν μΌμ λ±μ μ¬μ μ νμ
νμ¬ μμ νκ³ νΈμν μ¬νμ μ¦κΈΈ μ μλλ‘ μ€λΉν΄μΌ ν©λλ€. μ΄μΈμλ, μ¬νμ§μμ νμν λ¬Έν, μΈμ΄, μμ, μμ λ±μ λν μ 보λ₯Ό μ¬μ μ νμ
νμ¬ μλ‘μ΄ κ²½νμ μ¦κΈΈ μ μλλ‘ μ€λΉν΄μΌ ν©λλ€. |
|
|
|
**Q. 2μ°¨ μΈκ³λμ μ λν΄μ μλ €μ€** <br> |
|
A. 2μ°¨ μΈκ³λμ μ 1939λ
9μ 1μΌ λ
μΌμ΄ ν΄λλλ₯Ό 침곡νλ©΄μ μμλμκ³ , 1945λ
5μ 8μΌ μ°ν©κ΅°μ΄ λ
μΌμ μ λ Ήνλ©΄μ μ’
λ£λμμ΅λλ€. μ΄ μ μμ μ 1μ°¨ μΈκ³λμ μ μ’
μμν¨ λ² λ₯΄μ¬μ μ‘°μ½μ λ°λΌ λ
μΌμ΄ ν¨λ°°ν κ²°κ³Όμμ΅λλ€. μ΄ μ μμ μ λ½, μμμ, μν리카 λ± μ μΈκ³μμ λ°μνμΌλ©°, λ§μ κ΅κ°λ€μ΄ μ μμ μ°Έμ¬νμ΅λλ€. μ΄ μ μμ 1945λ
5μ 8μΌ μ°ν©κ΅°μ΄ λ
μΌμ μ λ Ήνλ©΄μ μ’
λ£λμμ΅λλ€. |
|
|
|
**Q. λμ λΉλ Έλλ°, λμ μ κ°μΌλ©΄?** <br> |
|
A. λμ λΉλ Έμ§λ§ κ°μ§ μλ κ²μ λΆλ²μ΄λ©°, μ΄λ μ¬κΈ°μ£λ λΆμ κ±°λμ£λ‘ μ²λ²λ μ μμ΅λλ€. λν, λΉλ¦° λμ κ°μ§ λͺ»νλ©΄ λ²μ μΈ μ²λ²μ λ°μ λΏλ§ μλλΌ, κ°μ μ¬λμ μ μ©μ ν° ν격μ μ€ μ μμ΅λλ€. λ§μ½ λμ λΉλ Έμ§λ§ κ°μ§ λͺ»νλ μν©μ΄λΌλ©΄, μ¬μ μ κ°μ μ¬λμ λμμ μν κ³νμ μΈμμ ν΄κ²°νλ κ²μ΄ μ’μ΅λλ€. |
|
|
|
**Q. 건κ°νκ² μ΄λ €λ©΄?** <br> |
|
A. 건κ°νκ² μ΄λ €λ©΄ κ·μΉμ μΈ μ΄λκ³Ό κ· ν μ‘ν μμ΅κ΄, μΆ©λΆν μλ©΄κ³Ό μ€νΈλ μ€ κ΄λ¦¬κ° νμν©λλ€. λ¨Όμ , κ·μΉμ μΈ μ΄λμ μ¬νκ΄ κ³ν΅μ κ°ννκ³ , νμμ μ‘°μ νλ©°, 체μ§λ°©μ κ°μμν€λ λ± λ§μ ν¨κ³Όκ° μμ΅λλ€. λ°λΌμ, μΌμ£ΌμΌμ μ΅μ 150λΆ μ΄μμ κΎΈμ€ν μ΄λμ΄ νμν©λλ€. |
|
|
|
λν, κ· ν μ‘ν μμ΅κ΄μ μΉΌλ‘리 μμ·¨μ μμ·¨νλ μμμ μ’
λ₯μ λ°λΌ μ²΄μ€ μ μ§μ κ±΄κ° μνκ° ν¬κ² μν₯ λ°μ΅λλ€. λ°λΌμ, κ³Όλ€ν νμνλ¬Ό μ취보λ€λ λ¨λ°±μ§κ³Ό μ±μ λ± μμμ±λΆμ΄ λμ μνμ μ ννλ κ²μ΄ μ’μ΅λλ€. |
|
|
|
λν, μΆ©λΆν μλ©΄μ λͺΈμ νΌλ‘ ν볡과 λ©΄μλ ₯ ν₯μμ μ€μν©λλ€. ν루μ 7-8μκ° μ΄μμ μλ©΄μ μ·¨νλ κ²μ΄ μ’μ΅λλ€. |
|
|
|
λ§μ§λ§μΌλ‘, μ€νΈλ μ€λ 건κ°μ ν΄λ‘μΈ μ μμ΅λλ€. 건κ°ν μμ΅κ΄κ³Ό κ·μΉμ μΈ μ΄λμΌλ‘ μ€νΈλ μ€λ₯Ό κ΄λ¦¬νλ©°, μ·¨λ―Έ νλμ΄λ ν΄μκ³Ό κ°μ λ°©λ²μΌλ‘ μ€νΈλ μ€λ₯Ό ν΄μνλ κ²μ΄ μ’μ΅λλ€. |
|
|
|
μΆκ° λ΅λ³: |
|
|
|
λν, 건κ°ν μμ΅κ΄μλ κ³Όμνμ§ μλ κ²λ μ€μν©λλ€. κ³Όλ€ν μΉΌλ‘리 μμ·¨λ μ²΄μ€ μ¦κ°μ μ¬λ¬ κ±΄κ° μ§νμ μ λ°ν μ μκΈ° λλ¬Έμ
λλ€. λ°λΌμ, μμ¬λμ μ‘°μ νκ³ , μΉΌλ‘리 μμ·¨λ₯Ό κΈ°λ‘νμ¬ κ±΄κ°ν μμ΅κ΄μ μ μ§νλ κ²μ΄ μ’μ΅λλ€. |
|
|
|
λν, κ°μμ 체μ§μ λ§λ μ΄λμ΄ μ€μν©λλ€. μΌλ°μ μΌλ‘ κΎΈμ€ν κ±·κΈ°λ μ‘°κΉ
, μμ λ±μ΄ μΆμ²λμ§λ§, 체μ§μ λ°λΌ μμ μκ² λ§λ μ΄λμ μ°Ύλ κ²μ΄ μ’μ΅λλ€. |
|
|
|
λ§μ§λ§μΌλ‘, 건κ°ν μμ΅κ΄κ³Ό μ΄λμ λ¨κΈ°μ μΈ κ±΄κ° μ¦μ§μ λμμ΄ λλ κ²λΏλ§ μλλΌ, μ₯κΈ°μ μΌλ‘λ κ°μ’
μ§λ³ μλ°©μλ ν° μν μ ν©λλ€. λ°λΌμ, 건κ°ν μμ΅κ΄κ³Ό μ΄λμ νμμ κ±Έμ³ κΎΈμ€ν μ μ§νλ κ²μ΄ μ’μ΅λλ€. |
|
|
|
**Q. λμ΄κ° λ€λ©΄ 무μμ λ¨Όμ κ³ λ―Όν΄μΌν΄?** <br> |
|
A. λμ΄κ° λ€λ©΄ ν μλ²μ§λ ν λ¨Έλκ° λμ΄ κ°μ‘±λ€μ λ보λ κ²μ΄ κ°μ₯ ν° μ±
μμ
λλ€. νμ§λ§ κ·Έλ§νΌ κ°μ‘±λ€κ³Ό ν¨κ»νκ³ μΆλ€λ μκ°μ΄ λ€κ² μ§λ§, μ΄λ λͺ¨λ μ¬λλ€μ΄ μκ°νλ κ²μ΄ μλλλ€. |
|
|
|
λμ΄κ° λ€λ©΄ μ λ¬Έ λΆμΌμμ μΌνκ² λλ©΄μ μλ‘μ΄ κΈ°μ μ λ°°μ°κ±°λ λ€λ₯Έ μ§μμμ μΌνκ² λλ κ²½μ°λ μμ΅λλ€. μ΄λ¬ν κ²½μ°, κ°μ‘±λ€κ³Ό ν¨κ»ν μ μλ€λ κ²μ΄ κ°μ₯ ν° κ³ λ―Όμ
λλ€. |
|
|
|
νμ§λ§, μ΄λ¬ν μν©μμλ κ°μ‘±λ€κ³Ό ν¨κ»ν μ μλ λ°©λ²μ΄ μμ΅λλ€. μλ₯Ό λ€μ΄, κ°μ‘±λ€κ³Ό ν¨κ»ν μ μλ ν΄κ°λ κ°μ‘± λͺ¨μμ μ°Έμ¬νκ±°λ, κ°μ‘±λ€κ³Ό ν¨κ»ν μ μλ νλ‘μ νΈμ μ°Έμ¬νμ¬ κ°μ‘±λ€κ³Ό ν¨κ»ν μ μλ μκ°μ κ°μ§ μ μμ΅λλ€. |
|
|
|
λν, κ°μ‘±λ€κ³Ό ν¨κ»ν μ μλλΌλ μ νλ λ¬Έμ, μ΄λ©μΌμ ν΅ν΄ κ°μ‘±λ€κ³Ό μν΅νκ³ , κ°μ‘±λ€μ μκ³Ό μ¬λ₯Ό μμκ°λ κ²μ΄ μ€μν©λλ€. |
|
|
|
κ²°λ‘ μ μΌλ‘, λμ΄κ° λ€μλ‘ κ°μ‘±λ€κ³Ό ν¨κ»ν μ μλ λ°©λ²μ΄ μ€μνλ©°, μλ‘μ΄ κΈ°μ κ³Ό λμ μ λ°°μ°λ©΄μ κ°μ‘±λ€κ³Ό μν΅ν μ μλ λ°©λ²μ μ°Ύλ κ²μ΄ κ°μ₯ μ€μν©λλ€. |
|
|