README.md

---
base_model:
- unsloth/Meta-Llama-3.1-8B
datasets:
- lcw99/wikipedia-korean-20240501-1million-qna
- MarkrAI/KOpen-HQ-Hermes-2.5-60K
- garage-bAInd/Open-Platypus
- rwkv-x-dev/openorca-gpt4
- gbharti/finance-alpaca
language:
- ko
- en
license: llama3.1
---

- lcw99/wikipedia-korean-20240501-1million-qna
- MarkrAI/KOpen-HQ-Hermes-2.5-60K
- garage-bAInd/Open-Platypus
- rwkv-x-dev/openorca-gpt4
- gbharti/finance-alpaca
- 내가 직접 만든 데이터

를 적당히 샘플링하여 만들었음.

문제는, lm-eval 점수는 Meta의 것보다 낮으나, 실제로 정성평가를 해보면 나쁘지 않은 모델이었음.

Logickor는 ChatGPT api 금액을 다써서 실험 못해봄.

해당 모델은 DPO 학습되지 않았음.