TinyKo-v5-a / README.md
blueapple8259's picture
Update README.md
bba4c42 verified
|
raw
history blame contribute delete
No virus
425 Bytes
metadata
license: mit
datasets:
  - maywell/korean_textbooks
language:
  - ko

korean_textbooks데이터셋의 tiny-textbooks를 사용하여 학습한 모델입니다.

주의: 성능이 매우 떨어지며 할루시네이션이 매우 심합니다.

모델 정보

model type: llama

hidden size: 6

hidden size: 127

num attention heads: 16

num key value heads: 4