metadata
license: cc-by-nc-sa-4.0
datasets:
- mc4
language:
- ko
widget:
- text: 안녕하세요
데이터셋
mc4 데이터셋에서 한글을 정제 후 사용하였습니다.
주의
데이터셋에서 혐오 표현 등을 제거하지 않고 사용하였습니다.
모델 정보
model type: llama
hidden size: 8
hidden size: 512
num attention heads: 16
num key value heads: 4