Model truncating transcriptions?

#1
by tingkart - opened

Thanks for this model, standard Whisper is not the greatest in Norwegian.

Trying the sample om the model card with the included file, but the model just returns the first 4 seconds of the file.

from transformers import pipeline

asr = pipeline(
    "automatic-speech-recognition",
    "NbAiLab/nb-whisper-large-beta"
)

x = asr(
    "konge.mp3",
    generate_kwargs={'task': 'transcribe', 'language': 'no'},
    #return_timestamps=True
)
print(x)

returns
{'text': ' Kongedømmet eller republikk... Styringsforma.'}

for the file

Tried a couple of other mp3 files but it seems to truncate the transcription and different sampling rates and file lengths.

Are there some limitations for the file length for this model? Not seeing anything in the model card.

Thanks again, keep up the good work

  • Thomas
Nasjonalbiblioteket AI Lab org
edited Oct 18, 2023

Hi Thomas,

You might need to pass in a few extra parameters, like chunk_length_s so the audio is split in parts. Take a look at https://huggingface.co/openai/whisper-large-v2#long-form-transcription

I also run your audio file using our public demo and got good results:

Kongedømme eller republikk. Styringsformer. Kongeriket Norge er et fritt, selvstendig, udelelig og uavhendelig rike. Dets regjeringsformer innskrenket og arvelig monarkisk. Slik lyder paragraf 1 i den norske grunnlova, som ble vedtatt 17. mai 1814. Siden den gang har det vært liten diskusjon om den norske styringsforma. I 1905, etter unionsoppløsningen med Sverige, ble det folkeavstemning om Norge fremdeles skulle være monarki. Resultatet den gangen var at 78,9 % svarte ja til monarkiet. Figur 1 viser at i Oslofjord-området, det sørlige Hedmark, Oppland og Buskerud, var oppslutningen om monarkiet i gjennomsnitt godt over 80 %. Sterkest motstand mot monarkiet var det i deler av Telemark, Agderfylka, det sørlige Vestlandet, Nord-Østerdalen, Trøndelag og Troms. Figur 1. Kartet viser prosentrepublikanske stemmer i norske kommuner ved folkeavstemningen om republikk eller kongedømmet i 1905. Den rollen kong Haakon spilte under 2. verdenskrig, styrket monarkiet i landet. Det samme gjorde populariteten til konger og ekteskapet mellom kronprins Haakon og Mette Marit Jessem Høiby har diskusjonen om styringsformen økt i styrke. Ei gransking publisert i Dagbladet 4. april 2001 viste at 23 % av folk i Norge ønska at det norske skoleelever spørsmål om å gi uttrykk for sine holdninger til kongehuset. Spørsmålet de skulle svare på, finner du i miniundersøkelser. Miniundersøkelse viser at flere av Norges elever fikk inntrykk av at kongehuset hadde rett til å innføre en ny folkeavstemning. Vi kan se det i bl.a. kongens nasjonaldag. Mini-undersøkelse. 2. Jeg synes det er i orden at Norge har et kongehus, men jeg er ikke opptatt av det. 3. Personlig vil jeg helst se at kongedømmet i Norge ble avviklet. 4. Vet ikke. Kryss av for det standpunktet som høver deg best. Klikk på knappen for å lese hva du selv og andre har stemt.

Sign up or log in to comment