---
license: cc-by-nc-sa-4.0
datasets:
- mc4
language:
- ko
widget:
- text: "안녕하세요"
---
## 데이터셋
[mc4](https://huggingface.co/datasets/mc4) 데이터셋에서 한글을 정제 후 사용하였습니다.

## 주의
데이터셋에서 혐오 표현 등을 제거하지 않고 사용하였습니다.

## 모델 정보

model type: llama

hidden size: 8

hidden size: 512

num attention heads: 16

num key value heads: 4