Wav2Vec2 for hi with LM !!!

evaluation/eval.py

@@ -1,137 +0,0 @@
-#!/usr/bin/env python3
-import argparse
-import re
-from typing import Dict
-
-import torch
-from datasets import Audio, Dataset, load_dataset, load_metric
-
-from transformers import AutoFeatureExtractor, pipeline
-
-
-def log_results(result: Dataset, args: Dict[str, str]):
-    """DO NOT CHANGE. This function computes and logs the result metrics."""
-
-    logdir = args.log_dir
-    dataset_id = "_".join(args.dataset.split("/") + [args.config, args.split])
-
-    # load metric
-    wer = load_metric("wer")
-    cer = load_metric("cer")
-
-    # compute metrics
-    wer_result = wer.compute(references=result["target"], predictions=result["prediction"])
-    cer_result = cer.compute(references=result["target"], predictions=result["prediction"])
-
-    # print & log results
-    result_str = f"WER: {wer_result}\n" f"CER: {cer_result}"
-    print(result_str)
-
-    with open(f"{logdir}/{dataset_id}_eval_results.txt", "w") as f:
-        f.write(result_str)
-
-    # log all results in text file. Possibly interesting for analysis
-    if logdir is not None:
-        pred_file = f"log_{dataset_id}_predictions.txt"
-        target_file = f"log_{dataset_id}_targets.txt"
-
-        with open(logdir + '/' + pred_file, "w") as p, open(logdir+'/'+target_file, "w") as t:
-
-            # mapping function to write output
-            def write_to_file(batch, i):
-                p.write(f"{i}" + "\n")
-                p.write(batch["prediction"] + "\n")
-                t.write(f"{i}" + "\n")
-                t.write(batch["target"] + "\n")
-
-            result.map(write_to_file, with_indices=True)
-
-
-def normalize_text(text: str) -> str:
-    """DO ADAPT FOR YOUR USE CASE. this function normalizes the target text."""
-
-    chars_to_ignore_regex = '[,?.!\-\;\:"“%‘”�—’…–]'  # noqa: W605 IMPORTANT: this should correspond to the chars that were ignored during training
-
-    text = re.sub(chars_to_ignore_regex, "", text.lower())
-
-    # In addition, we can normalize the target text, e.g. removing new lines characters etc...
-    # note that order is important here!
-    token_sequences_to_ignore = ["\n\n", "\n", "   ", "  "]
-
-    for t in token_sequences_to_ignore:
-        text = " ".join(text.split(t))
-
-    return text
-
-
-def main(args):
-    # load dataset
-    dataset = load_dataset(args.dataset, args.config, split=args.split, use_auth_token=True)
-
-    # for testing: only process the first two examples as a test
-    # dataset = dataset.select(range(10))
-
-    # load processor
-    feature_extractor = AutoFeatureExtractor.from_pretrained(args.model_id)
-    sampling_rate = feature_extractor.sampling_rate
-
-    # resample audio
-    dataset = dataset.cast_column("audio", Audio(sampling_rate=sampling_rate))
-
-    # load eval pipeline
-    if args.device is None:
-        args.device = 0 if torch.cuda.is_available() else -1
-    asr = pipeline("automatic-speech-recognition", model=args.model_id, device=args.device)
-
-    # map function to decode audio
-    def map_to_pred(batch):
-        prediction = asr(
-            batch["audio"]["array"],  chunk_length_s=args.chunk_length_s, stride_length_s=args.stride_length_s
-        )
-
-        batch["prediction"] = prediction["text"]
-        batch["target"] = normalize_text(batch["sentence"])
-        return batch
-
-    # run inference on all examples
-    result = dataset.map(map_to_pred, remove_columns=dataset.column_names)
-
-    # compute and log_results
-    # do not change function below
-    log_results(result, args)
-
-
-if __name__ == "__main__":
-    parser = argparse.ArgumentParser()
-
-    parser.add_argument(
-        "--model_id", type=str, required=True, help="Model identifier. Should be loadable with 🤗 Transformers"
-    )
-    parser.add_argument(
-        "--dataset",
-        type=str,
-        required=True,
-        help="Dataset name to evaluate the `model_id`. Should be loadable with 🤗 Datasets",
-    )
-    parser.add_argument(
-        "--config", type=str, required=True, help="Config of the dataset. *E.g.* `'en'`  for Common Voice"
-    )
-    parser.add_argument("--split", type=str, required=True, help="Split of the dataset. *E.g.* `'test'`")
-    parser.add_argument(
-        "--chunk_length_s", type=float, default=None, help="Chunk length in seconds. Defaults to 5 seconds."
-    )
-    parser.add_argument(
-        "--stride_length_s", type=float, default=None, help="Stride of the audio chunks. Defaults to 1 second."
-    )
-    parser.add_argument(
-        "--log_dir", required=True, type=str, help="Log Directory"
-    )
-    parser.add_argument(
-        "--device",
-        type=int,
-        default=None,
-        help="The device to run the pipeline on. -1 for CPU (default), 0 for the first GPU and so on.",
-    )
-    args = parser.parse_args()
-
-    main(args)

evaluation/without_lm/common_voice_hi_test_eval_results.txt

@@ -0,0 +1,2 @@
+WER: 0.46751740139211134
+CER: 0.1441268316118184

evaluation/without_lm/log_common_voice_hi_test_predictions.txt

@@ -0,0 +1,254 @@
+0
+कांस्टबल बन मनोज बाजपे दिखा रहे हैं ताणडल
+1
+वह चाय पी रहा है
+2
+अब मच्छरों को मारेंगे म्छ
+3
+जेक मुझसे तीन साल बड़ा है
+4
+एक पागल इंसान को अपने किे धरे के लिए जिम्मेदार नहीं ढहराया जा सकता
+5
+कान ज्यादा तेज़ भागता है कैन या टौणी
+6
+हमने उस उम्मीदवार को अपना मत दिया
+7
+उन्होंने एक दूसरे को देखा
+8
+अभी पौलेंड में क्या हो रहा है
+9
+मैं सफर पर उसके साथ गया
+10
+उसने मेरे स्थन पकड लिए
+11
+क्या इसका स्वाद अच्छा है
+12
+लोगों ने पुलिसटीम पर किया हमला वर्दी फाट कर जीपेशीसे थोड़े
+13
+हमारे पास तो बस चाय है
+14
+व उसे अपना स्कूल पहुंत पसंद है
+15
+पिछली कुछ सालुं से मौसम बहुत अजीप है
+16
+वहन तीजें के लिए बेचैन हैं
+17
+लुई तुम्हारे दोस्त आ रहे हैं
+18
+लगता है मुझे सहायता की अवश्यकजा है
+19
+उसने मुझे चिट्ठी का जवाब न देने के लिए डाँटा
+20
+यहाँ आसपास में एक झौपड़ी हुआ करती थी
+21
+गहरुवती ने बुर्गा क्या पहाना भाड़क दयार दंगा
+22
+बच्चे भागीचमय खेल रह
+23
+इस त्वीप पर बहुत कम लोग रहते हैं
+24
+तुम्हें थोड़ा जादा समझद र होना चाहिए
+25
+तुम यहाँ सारे के सारे पेड़ काट डागउदे क्या
+26
+वो मुझ पर गुस्सा हो गया
+27
+उत्तरप्रदेश्में चल रहे नौफर्जी विश्ववि द्यालोग की जानच असायटी को
+28
+कारा रंग तुम पर जचता है
+29
+और शारी सुदा नहीं है
+30
+आतंगवादी लखनों को भी दे सकते हैं पठान कोटी जैसे घाव
+31
+मुझे अपने पिता की गरीभी पर सवर्म नहीं आती है
+32
+तुम गाड़ी चला सकते हो क्या
+33
+तुम अंधेहरे में क्यों बैठी हो
+34
+वो मुझसे दो साल छोटी है
+35
+मेरी नजर हिन दिनों कमज़ोर हो रही है
+36
+वो तीन घंटों में वापिश आएगा
+37
+वे पाँच बजे चाय पीती हैं
+38
+महारास्ट्र पब्लिक सर्विस कमिशन में वैकेंसी
+39
+उसने सब कुछ अपने आप किया
+40
+दुनिया बदल गई है
+41
+या आप का फैसला नहीं है
+42
+मैं सीरी हँसे हूँ
+43
+हम अन्दर आ रहे हैं
+44
+आपकिसके साथ खा रही हैं
+45
+वो बहुत पहसेवाली हरत है
+46
+यह घुरसी आपके हैं
+47
+मैं अभी छोड़ने वाली नहीं हों
+48
+चायवाई कुछ लोगी
+49
+उसका कहा हुआ एक शद्द भी सुन्य लायक नहीं है
+50
+दरवाज़ा खोलिए
+51
+मुझे मूर्ख बनना पसंद नहीं है
+52
+हम एक फेरम देख रहे हैं
+53
+बोतल छोड़ दो
+54
+मुझे एक कब चाहयंचा हिए
+55
+हमें नहीं पता हम कहाँ है
+56
+पाकिस्तान में आत्म की हाफीज शहीद के बेठे पर भी आतंगवादी हमने का खतरा
+57
+मलियानम के आशीर्वात पर अखिलेश बोले नेता जी जिंदाबाज सिवपार नदारक
+58
+मैं स्कूल जाना नहीं चाहता हूँ
+59
+आम चुनाओ के लिए कांग्रेस तर्क जांट आरक्षण से फिर बो भटोरे की कांग्रेस
+60
+उसने प्रतियों की ताथ फिर से झीत ली
+61
+किसी ने मेरी पतम काट ही है
+62
+हम सब टाम को जानते हैं
+63
+अफ्रीका में कई सिर है
+64
+आज के युवांव को नहीं मालूम पहले विश्वयुद्ध की तारी खे
+65
+मुमबी भारतीयँ राज्य महाराष्ट्रा की राष्तानी है
+66
+उसने मुझे वह नियम समझाया
+67
+मेरे पापा आम तौर पर छहबचे घर लौट कर आते हैं
+68
+सैंसक्ष और नि[UNK]्टी भारी गिराबट के साथ बन्द
+69
+तूफा ने पूर नगर को नष्ट कर दिया
+70
+हम तो बस दोस्त है
+71
+हमारी मिटिंग कभी खबार ही टाइम पर शुरु होती है
+72
+वारियस ने विक्टोरिया को हराकर दूसरी जी दर्श की
+73
+अम्बीटकर युनिवर्सिटी शुरू करेगी आनलैन कॉर्स
+74
+वेपक्ष का वार केजरीवाल जैसी नौटंगकी पर उतरे सेवराज
+75
+वह वहाँ जाने से डरता था
+76
+वारणसी हिंसा कांग्रेस विधायक अजहराय गिरफ़्तार
+77
+मुझे पता है कि तुम अभी भी मेरे लिये आँसू बहातें हो कभीकभी
+78
+चायवाई कुछ लेगया
+79
+उसका दिल साफ है
+80
+महलाएँ दुनिया बदल देती है
+81
+रृतयहरएक सांस्क्रोति का एक संदर भाग हउतर है
+82
+मुझे अंग्रेज़ी और संगीत पसंद है
+83
+ईटिकेट कारोंबार में आयार सरिटीसी को मिल सकती है चुनहोती
+84
+वह रोया और ओर रोया
+85
+सब लोग मुझ पर हँसे
+86
+मंडे से बेहतर टेस्ट करिकेटर हैं कॉलीकोच
+87
+टाम का क्या हुआ हैी
+88
+सल्यवार हफत्य का आखेरे दिन होता थई
+89
+मेरा सवक किटाब साजान है
+90
+टाम आधी भी स्कूल न है
+91
+मुझे बस उसका नाम बता
+92
+वह सेवसरने लगा है
+93
+वह दस शानत का लड़का था
+94
+मेरे लिए तो ही जगह बनाओगिए क्या
+95
+श्वम को कुछ पिलाओ
+96
+कुछ कुछ लौचा है मैं सनीलियौन का ब्िकेनी लुख
+97
+यह रही आपकी चाबी
+98
+टोम ने आकाश की तर[UNK] देखा
+99
+मैं शहर का नक्षा खरीदना चाहता हूँ
+100
+मेरी छड़़ी कहाँ है
+101
+इस वजह से हुआ दावते इसकी रिलीज में फैर बदल
+102
+उस संस्कृति में लोग रंगविरंगी कपड़े पहनते हैं
+103
+यह ससक्त लोग पाल नहीं है लालू या दो
+104
+इसलिए क्योंकि तुम लड़की हो
+105
+कौन बने की एमस दोनी की वाय आलियाँभटट या शृद्धा कपू
+106
+कुहार्ठी हाईकोट में बैकिनसी
+107
+बेखरी कहाँ है
+108
+पहलीबार कामनट विस्ता परीकर और सुर्यस परभूव होंगे मंत्रिमंडल में शामिल
+109
+वह मैं एक बर फिर होगी आपत की बारिश अगले दो दिन कायलट
+110
+वह मेरी पात नहीं सुनेगा
+111
+म इस शोर को आर परदाश नहीं कर सकती
+112
+इससे मेरा कोई लेना देना नहीं है
+113
+तुम मर हो गये
+114
+मैं इस ज़िनदकी को जी कर ठक गया हूँ
+115
+बाद में मिलेंगे
+116
+दुकान आज खुली नहीं है
+117
+वआ कौन सी चिढियाँ हैं
+118
+गुजरात में हमेशा की गाड़ी के ऊपर पार्टीदारों ने फैके अंडे
+119
+पिटुल के दावों में बीरढी से ममता ना खुश
+120
+टाव स्वार थी था
+121
+आप दोनों बीच रही है
+122
+यह रवी तेरी चाहे
+123
+जर्मन ही चाहता था कि रूस यूद्ध से बाहर रहै
+124
+दिल्ली हंसियार में सुहावने मौसम के बीच टराफिक जाम बना लोगों के लिए मुशीबत
+125
+महिनाओं के लिए स्ट्रिप पुल्फ है
+126
+बरसो तक जिसे खून समझती रही दुनिया बाद मैं वो निकला गरम पानी

evaluation/without_lm/log_common_voice_hi_test_targets.txt

@@ -0,0 +1,254 @@
+0
+कांस्टेबल बन मनोज बाजपेयी दिखा रहे हैं 'तांडव'
+1
+वह चाय पी रहा है।
+2
+अब मच्छरों को मारेंगे मच्छर
+3
+जैक मुझसे तीन साल बड़ा है।
+4
+एक पागल इनसान को अपने कियेधरे के लिए ज़िम्मेदार नहीं ठहराया जा सकता।
+5
+कौन ज़्यादा तेज़ भागता है केन या टोनी
+6
+हमने उस उम्मीदवार को अपना मत दिया।
+7
+उन्होंने एकदूसरे को देखा।
+8
+अभी पोलैंड में क्या हो रहा है
+9
+मैं सफ़र पर उसके साथ गया।
+10
+उसने मेरे स्तन पकड़ लिये।
+11
+क्या इसका स्वाद अच्छा है
+12
+लोगों ने पुलिस टीम पर किया हमला वर्दी फाड़कर जीप के शीशे तोड़े
+13
+हमारे पास तो बस चाय है।
+14
+उसे अपना स्कूल बहुत पसंद है।
+15
+पिछले कुछ सालों से मौसम बहुत अजीब है।
+16
+वह नतीजे के लिए बेचैन है।
+17
+लुई तुम्हारे दोस्त आ रहे हैं।
+18
+लगता है मुझे सहायता की आवश्यकता है।
+19
+उसने मुझे चिट्ठी का जवाब न देने के लिए डाँटा।
+20
+यहाँ आसपास में एक झोपड़ी हुआ करती थी।
+21
+गर्भवती ने बुरका क्या पहाना भड़क गया दंगा
+22
+बच्चे बगीचे में खेल रहे हैं।
+23
+इस द्वीप पर बहुत कम लोग रहते हैं।
+24
+तुम्हें थोड़ा ज़्यादा समझदार होना चाहिए।
+25
+तुम यहाँ सारे के सारे पेड़ काट डालोगे क्या
+26
+वह मुझपर गुस्सा हो गया।
+27
+उत्तर प्रदेश में चल रहे नौ फर्जी विश्वविद्यालयों की जांच एसआईटी को
+28
+काला रंग तुम पर जँचता है।
+29
+वह शादीशुदा नहीं है।
+30
+आतंकवादी लखनऊ को भी दे सकते हैं पठानकोट जैसा घाव
+31
+मुझे अपने पिता की ग़रीबी पर शर्म नहीं आती है।
+32
+तुम गाड़ी चला सकते हो क्या
+33
+तुम अंधेरे में क्यों बैठी हो
+34
+वह मुझसे दो साल छोटी है।
+35
+मेरी नज़र इन दिनों कमज़ोर हो रही है।
+36
+वह तीन घंटों में वापस आएगा।
+37
+वे पाँच बजे चाय पीतीं हैं।
+38
+महाराष्ट्र पब्लिक सर्विस कमीशन में वैकेंसी
+39
+उसने सब कुछ अपनेआप किया।
+40
+दुनिया बदल गई है।
+41
+यह आपका फ़ैसला नहीं है।
+42
+मैं सीरिया से हूँ।
+43
+हम अंदर आ रहे हैं।
+44
+आप किसके साथ खा रहीं हैं
+45
+वह बहुत पैसेवाली औरत है।
+46
+यह कुर्सी आपकी है।
+47
+मैं अभी छोड़ने वाली नहीं हूँ।
+48
+चायवाय कुछ लोगी
+49
+उसका कहा हुआ एक शब्द भी सुनने लायक नहीं है।
+50
+दरवाज़ा खोलिए।
+51
+मुझे मूर्ख बनना पसंद नहीं है।
+52
+हम एक फ़िल्म देख रहे हैं।
+53
+बोतल छोड़ दो।
+54
+मुझे एक कप चाय चाहिए।
+55
+हमें नहीं पता हम कहाँ हैं।
+56
+पाकिस्तान में आतंकी हाफिज सईद के बेटे पर भी आतंकवादी हमले का खतरा
+57
+मुलायम के आशीर्वाद पर अखिलेश बोले न��ताजी जिंदाबाद शिवपाल नदारद
+58
+मैं स्कुल जाना नहीं चाहता हूँ।
+59
+आम चुनावों के लिए कांग्रेस सतर्क जाट आरक्षण से फिर वोट बटोरेगी कांग्रेस
+60
+उसने प्रतियोगिता फिरसे जीत ली।
+61
+किसी ने मेरी पतंग काट ली है।
+62
+हम सब टॉम को जानते हैं।
+63
+आफ़्रिका में कई शेर हैं।
+64
+आज के युवाओं को नहीं मालूम पहले विश्वयुद्ध की तारीखें
+65
+मुम्बई भारतीय राज्य महाराष्ट्र की राजधानी है।
+66
+उसने मुझे वह नियम समझाया।
+67
+मेरे पापा आमतौर पर छः बजे घर लौटकर आते हैं।
+68
+सेंसेक्स और निफ्टी भारी गिरावट के साथ बंद
+69
+तूफ़ान ने पूरे नगर को नष्ट कर दिया।
+70
+हम तो बस दोस्त है।
+71
+हमारी मीटिंग कभीकभार ही टाईम पर शुरू होती है।
+72
+वारियर्स ने विक्टोरिया को हराकर दूसरी जीत दर्ज की
+73
+अंबेडकर यूनिवर्सिटी शुरू करेगी ऑनलाइन कोर्स
+74
+विपक्ष का वार केजरीवाल जैसी नौटंकी पर उतरे शिवराज
+75
+वह वहाँ जाने से डरता था।
+76
+वाराणसी हिंसा कांग्रेस विधायक अजय राय गिरफ्तार
+77
+मुझे पता है कि तुम अभी भी मेरे लिए आंसू बहाते हो कभी कभी।
+78
+चायवाय कुछ लेंगे आप
+79
+उसका दिल साफ़ है।
+80
+महिलाएँ दुनिया बदल देती हैं।
+81
+नृत्य हर एक संस्कृति का एक सुंदर भाग होता है।
+82
+मुझे अंग्रेज़ी और संगीत पसंद हैं।
+83
+ईटिकट कारोबार में आईआरसीटीसी को मिल सकती है चुनौती
+84
+वह रोया और और रोया।
+85
+सब लोग मुझपर हँसे।
+86
+वनडे से बेहतर टेस्ट क्रिकेटर है कोहली कोच
+87
+टॉम को क्या हुआ है
+88
+शनिवार हफ़्ते का आखिरी दिन होता है।
+89
+मेरा शौक गिटार बजाना है।
+90
+टॉम अभी भी स्कूल में है
+91
+मुझे बस उसका नाम बता।
+92
+वह सेव सड़ने लगा है।
+93
+वह दस साल का लड़का था।
+94
+मेरे लिए थोड़ी जगह बनाओगे क्या
+95
+टॉम को कुछ पिलाओ।
+96
+'कुछ कुछ लोचा है' में सनी लियोन का बिकिनी लुक
+97
+यह रही आपकी चाबी।
+98
+टॉम ने आकाश की तरफ देखा।
+99
+मैं शहर का नक्शा खरीदना चाहता हूँ।
+100
+मेरी छड़ी कहाँ है
+101
+इस वजह से हुआ दावतएइश्क की रिलीज में फेरबदल
+102
+उस संस्कृति में लोग रंगबिरंगी कपड़े पहनते हैं।
+103
+यह सशक्त लोकपाल नहीं हैः लालू यादव
+104
+इसलिए क्योंकि तुम लड़की हो।
+105
+कौन बनेगी एमएस धोनी की 'वाइफ' आलिया भट्ट या श्रद्धा कपूर
+106
+गुवाहाटी हाईकोर्ट में वैकेंसी
+107
+बेकरी कहाँ है
+108
+पहली बारकैबिनेट विस्तार पर्रिकर और सुरेश प्रभु होंगे मंत्रिमंडल में शामिल
+109
+मुंबई में एक बार फिर होगी आफत की बारिश अगले दो दिन का अलर्ट
+110
+वह मेर�� बात नहीं सुनेगा।
+111
+मैं इस शोर को और बर्दाश्त नहीं कर सकती।
+112
+इससे मेरे कोई लेनादेना नहीं है।
+113
+तुम मरोगे।
+114
+मैं इस ज़िन्दगी को जीकर थक गया हूँ।
+115
+बाद में मिलेंगे।
+116
+दुकान आज खुली नहीं है।
+117
+वह कौनसी चिड़िया है
+118
+गुजरात में अमित शाह की गाड़ी के ऊपर पाटीदारों ने फेंके अंडे
+119
+पेट्रोल के दामों में वृद्धि से ममता नाखुश
+120
+टॉम स्वार्थी था।
+121
+आप दोनों देख रही हैं।
+122
+यह रही तेरी चाय।
+123
+जर्मनी चाहता था कि रूस युद्ध से बाहर रहे।
+124
+दिल्लीएनसीआर में सुहावने मौसम के बीच ट्रैफिक जाम बना लोगों के लिए मुसीबत
+125
+महिलाओं के लिये स्ट्रिप क्लब है।
+126
+बरसों तक जिसे खून समझती रही दुनिया बाद में वो निकला गर्म पानी

evaluation/without_lm/mozilla-foundation_common_voice_7_0_hi_test_eval_results.txt

@@ -0,0 +1,2 @@
+WER: 0.4642989043456851
+CER: 0.15765197064963313

evaluation/without_lm/mozilla-foundation_common_voice_8_0_hi_test_eval_results.txt

@@ -0,0 +1,2 @@
+WER: 0.4810763408104865
+CER: 0.16973240261369868