A kezdeti próbálkozásokat mind eltávolítottam, ez a jelenleg rendelkezésre álló eszközök és technológia által létrehozható legjobb magyar nyelvere finomhangolt whisper base modell. A többi magyar nyelvre finomhangolt base modelltől nagyságrendellek jobb eredményeket ér el minden adatkészleten!

Whisper Base Hungarian

Ez a modell a finomhangolt változata a openai/whisper-base -nek sarpba/big_audio_data_hun adatkészleten. Teszteredmények: ("google/fleurs", "hu_hu", "test") (képzés közbeni)

Loss: 0.7999
Wer Ortho: 33.8788
Wer: 29.4814

("mozilla-foundation/common_voice_17_0", "hu", "test")

WER: 25.58
CER: 6.34
Normalised WER: 21.18
Normalised CER: 5.31

Model description

Egyedi adatkészleten magyarta finomhangolt whisper base modell.

Intended uses & limitations

Üzleti cálra a modell a hozzájárulásom nélkül nem használható! Magán célra szabadon felhasználható a whisper esedeti licenszfeltételei szerint! Commercial use of this fine-tuning is not permitted!

Training and evaluation data

A modell hozzávetőleg 1200 óra gondosan válogatott magyar hanganyag alapján készült. A képzés során a tesztek a google/flerus-t használták a fejlődés ellenőrzésére. Alatta a mozilla-foundation/common_voice_17_0 eredménye.

Egyik adatkészlet sem szerepelt a képzési adatok közt, a modell tesztanyaggal nem fertőzött!

Training procedure

A képzés optimalizációja 3 napig futott a ray[tune] segítségével, a megtalált optimális képzési paraméterekkel a finomhangolás hozzávetőleg 17 órába telt!

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 0.0003
train_batch_size: 64
eval_batch_size: 32
seed: 42
gradient_accumulation_steps: 4
total_train_batch_size: 256
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
lr_scheduler_warmup_ratio: 0.05
training_steps: 8000
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Wer Ortho	Wer
0.2523	0.3770	1000	0.9703	50.8988	46.7185
0.1859	0.7539	2000	0.8605	43.4345	39.4103
0.127	1.1309	3000	0.8378	40.6107	36.0040
0.1226	1.5079	4000	0.8153	38.9189	34.1842
0.1105	1.8848	5000	0.7847	36.6018	32.1979
0.0659	2.2618	6000	0.8298	35.3752	30.6379
0.0594	2.6388	7000	0.8132	34.8255	30.2280
0.0316	3.0157	8000	0.7999	33.8788	29.4814

Framework versions

Transformers 4.45.2
Pytorch 2.3.0+cu121
Datasets 3.0.1
Tokenizers 0.20.1

sarpba
/

whisper-base-hungarian_v1