README.md

metadata

license: afl-3.0

🍊 제주 방언 번역 모델 🍊

• 표준어 -> 제주어
• Made by. 구름 자연어처리 과정 3기 3조!!

1. Seq2Seq Transformer Model

• encoder : Bert
• decoder : Bert
• Tokenizer : WordPiece Tokenizer

2. Dataset

• Jit Dataset
• AI HUB(+아래아 문자)_v2

3. Hyper Parameters

• Epoch : 10 epochs(best at 7 epoch)
• Random Seed : 42
• Learning Rate : 5e-5
• Warm up Ratio : 0.1
• Batch Size : 32

4. BLEU Score

• Jit + AI HUB(+아래아 문자) Dataset : 67.6