Add runner, fix some bugs

src/data_utils.py

@@ -22,13 +22,14 @@ def filter_by_num_tokens(text, gt=64):
 def filter_by_num_sents(text, gt=2):
     return len(sent_tokenize(text)) > gt
 
-def remove_adds(text,ratio=50):
+
+def filter_by_adv(text, ratio=50):
     comma = text.split(",")
-    colon = re.findall(r'(?:([^\W]+):([^\W]+))',text)
+    colon = re.findall(r"""(?:([^\W]+):([^\W]+))""", text)
     virgool = text.split("،")
-    length_add = len(comma)+len(colon)+len(virgool)
+    length_add = len(comma) + len(colon) + len(virgool)
 
-    return True if length_add < ratio else False
+    return length_add < ratio
 
 
 def normalizer(text, do_lowercase=False):

src/normalizer.py

@@ -25,13 +25,15 @@ def multiple_replace(text, chars_to_mapping):
     pattern = "|".join(map(re.escape, chars_to_mapping.keys()))
     return re.sub(pattern, lambda m: chars_to_mapping[m.group()], str(text))
 
-def remove_tags(text):
-    tag = "برچسب ها :"
-    try:
-        text = text[:text.index(tag)]
-        return text
-    except:
-        return text
+
+def remove_adv_by_tag_name(text, tag_name):
+    found = text.find(tag_name)
+
+    if found > 0:
+        text = text[:found]
+
+    return text
+
 
 def clean_url(text):
     # removing html tags
@@ -86,7 +88,7 @@ def normalize(text, zwnj="\u200c", tokenized=False):
     text = DOUBLE_QUOTE_REGEX.sub('"', text)
     text = CURRENCY_REGEX.sub(r" \1 ", text)
     text = clean_url(text)
-    text = remove_tags(text)
+    text = remove_adv_by_tag_name(text, tag_name="برچسب ها :")
     text = URL_REGEX.sub(" ", text)
     text = EMAIL_REGEX.sub(" ", text)
     text = PHONE_REGEX.sub(r" \1 ", text)
@@ -128,34 +130,8 @@ def normalize(text, zwnj="\u200c", tokenized=False):
 if __name__ == '__main__':
     import textwrap
 
-    # input_text = "دارهٔ تحقیقات فدرال در سال ۱۹۰۸ به نام ادارهٔ تحقیقات (BOI یا BI) بنیان‌گذاری شد. نام این سازمان در سال ۱۹۳۵ به ادارهٔ تحقیقات فدرال تغییر یافت. دفتر مرکزی اف‌بی‌آی در ساختمان جی. ادگار هوور در شهر واشینگتن، دی.سی. واقع شده‌است."
-    # input_text = "یونان (به یونانی: Ελλάδα, اِلادا)"
-    # input_text = "نسخهٔ"
-    # input_text = "ὑ蕉Ұ제ṅ尘̲改座◦花芝秀黄天자埃澤ಿ ˈazbab اینجا ایران خانه‌شما است؟!۱۲۳۱۲۳۱۳۱۲ اَلْحُرُوفُ ٱلْعَرَبِیَّة"
-    input_text = """
-    قـــــــــــــــــرار بود با هم کنـــــــــــــار بیایم نه اینکه از کنــــــــــــار هم رد بشیم...!!!
-    اگر روزی دلت لبریز غم بود گذارت بر مزار کهنه ام بود بگو این بی نصیب خفته در خاک یه روزی عاشق و دیوانه ام بود...
-    خبر به دورترین نقطه جهان برسد نخواست او به من خسته ، بی کمان برسد شکنجه بیشتر از این که پیش چشم خودت کسی که سهم تو باشد به دیگران برسد خدا کند ، که نفرین نمی کنم نکند به او که عاشق او بوده ام زیان برسد خدا کند فقط این عشق از سرم برود خدا کند که فقط زود آن زمان برسد...
-    ترسم که شبی از غم ناگه بمیرم در بستر دلسوز با آه بمیرم آن لحظه آخر که اجل گفت بمیر ای کاش تو را بینم و آنگاه بمیرم
-    خوشبختی را دیروز به حراج گذاشتند ولی حیف که من زاده ی امروزم... خدایا جهنم فرداست پس چرا امروز می سوزم ؟!!
-    در کرانه محبت رنگ چشمانت را دیدم در عمق بی کران آسمان رخ تو را دیدم دیدنت آرزوی من شده آن را از من دریغ مکن
-    کوه باشی صخره هایت می شوم... اشک باشی دیدگانت می شوم... رود باشی چشمه سارت می شوم... دوست باشی دوستدارت می شوم...!
-    امتیاز شما به این کانالوبسایت پردیس ایرانیان آموزش دوره های تخصصی ماساژ زیر نظر مربی فنی و حرفه ای عنوان سایت : پردیس ایرانیان لینک سایت : http://pardisiranian.ir/ آی دی اینستاگرام : pardisiranian.info@ لینک اینستاگرام: […]
-    Leave a commentپیج اینستاگرام, کانال برنزی, لینک سایتآموزش ماساژ زیر نظر فنی حرفه ای, آموزش ماساژ فنی حرفه ای, آموزش ماساژ فنی حرفه ای تهران, دوره ماساژ فدراسیون پزشکی ورزشی, فدراسیون بین المللی ماساژ ایران, ماساژ آروماتراپی, ماساژ تخصصی, ماساژ سوئدی, ماساژ لیفتینگ صورت, مربی آموزش ماساژ	
-    بایگانی کانالها گزینش ماه اکتبر 2018 سپتامبر 2018 آگوست 2018 جولای 2018 ژوئن 2018 می 2018 آوریل 2018 فوریه 2018
-    کانال ها بر اساس موضوع گزینش دسته پیج اینستاگرام ربات پیام رسان بله سایر کانال ها کانال آموزشی کانال آی گپ کانال اجتماعی-سیاسی-فرهنگی کانال ایتا کانال برنزی کانال بله کانال بیسفون کانال تجاری کانال تفریحی کانال تلگرام کانال خبری کانال رسمی کانال سروش کانال سلام کانال شخصی کانال گپ کانال محلی کانال نقره ای کانال های طلایی کانال ویسپی لینک سایت مطالب سایت
-    کانال تبلیغاتی "باکس آگهی" در پیام رسان بله عنوان کانال : کانال تبلیغاتی "باکس آگهی" در پیام رسان بله نام...
-    عنوان سایت:کسب در آمد از طریق گوشی همراه و اپلیکیشن ۷۰۳۰ لینک سایت : https://7030.ir/r/sayed97 توضیحات کامل کانال:سامانه «هفتاد سی»...
-    دکوراسیون داخلی سالن های زیبایی نام پیام رسان: تلگرام و اینستاگرام لینک کانال تلگرام : https://t.me/designer_ir لینک صفحه اینستاگرام :...
-    نصب -تعمیر و فروش انواع کولرگازی عنوان کانال : نصب -تعمیر و فروش انواع کولرگازی نام پیام رسان: تلگرام لینک...
-    کانال بازیگر ایرانی خانم شبنم قلی خانی عنوان کانال : کانال بازیگر ایرانی خانم شبنم قلی خانی نام پیام رسان:...
-    تارنمای جامع ثبت کانال ;کانال سروش,کانال تلگرام,کانال بیسفون, کانال گپ, کانال ویسپی, کانال بیسفون پلاس, کانال ایتا, کانال آی گپ, کانال سلام, پیج اینستاگرام,کانال بله,گروه سروش,گروه تلگرامی,گروه بیسفون,گروه گپ,گروه آی گپ,گروه ایتا,گروه سلام,گروه بله,تبلیغات کانال تلگرام,تبلیغات کانال بیسفون,تبلیغات کانال گپ,تبلیغات کانال ویسپی,تبلیغات کانال بیسفون,تبلیغات کانال ایتا,تبلیغات کانال آی گپ,تبلیغات کانال سلام,تبلیغات کانال بله,گروه تبلیغاتی پیام رسان سروش,گروه تبلیغاتی تلگرام,گروه تبلیغاتی بیسفون,گروه تبلیغاتی گپ,گروه تبلیغاتی ویسپی,گروه تبلیغاتی آی گپ,گروه تبلیغاتی سلام,گروه تبلیغاتی بله,افزایش مببر سروش,خرید ممبر سروش,حرید ممبر تلگرام,افزایش ممبر تلگرام,خرید ممبر بیسفون,افزایش ممبر بیسفون,خرید ممبر ایتا,افزایش ممبر ایتا,خرید ممبرآی گپ,افزایش ممبر آی گپ,حرید ممبر گپ,افزایش ممبرگپ,خرید ممبرسلام,افزایش ممبر سلام,خرید ممبر بله ,افزایش ممبر بله,درگاه پیام رسان داخلی,فروشگاه پیام رسان سروش,فروشگاه پیام رسان بله,فروشگاه پیام رسان گپ,فروشگاه پیام رسان آِ گپ,تبلیغات پیام رسانهای داخلی
-    آموزش ماساژ زیر نظر فنی حرفه ای آموزش ماساژ فنی حرفه ای آموزش ماساژ فنی حرفه ای تهران آون اتوکلاو ارگانیک تریتا انکوباتور انکوباتور یخچالدار تجهیز کامل آزمایشگاه غذایی تعمیر مبل تور آنتالیا تور ارمنستان تور استانبول تور چین تور گرجستان خرید ظرف شویی خرید کولر گازی دوره ماساژ فدراسیون پزشکی ورزشی ربات پیام رسان بله سانتریفیوژ ژربر سانتریفیوژ یونیورسال فدراسیون بین المللی ماساژ ایران فروشگاه ارگانیک تریتا فروشگاه ارگانیک در پیام رسان بله فروشگاه ارگانیک شیراز فروشگاه معتبر ارگانیک ماساژ آروماتراپی ماساژ تخصصی ماساژ سوئدی ماساژ لیفتینگ صورت مربی آموزش ماساژ هود شیمیایی هود لامینار پی اچ متر دیجیتال کانال آموزشی کانال باکس آگهی کانال بله بانک ملی کانال تریتا کانال تفریحی کانال پت شاپ کانال پیام رسان بله کانال گردشگری کلنی کانتر کوره الکتریکی کولر گازی
-    تمامی حقوق مادی و معنوی سایت متعلق است به:تارنمای جامع ثبت و معرفی رایگان کانال پیام رسانهای ایرانی و خارجی
-    """
-
     # input_text = " «هفتاد سی» "
-    input_text = normalize(input_text)
+    # input_text = normalize(input_text)
     # input_text = DOUBLE_QUOTE_REGEX.sub('"', input_text)
-    print(textwrap.fill(input_text))
+    # print(textwrap.fill(input_text))
     # print(normalize(input_text, tokenized=True))

src/run.sh

@@ -0,0 +1,50 @@
+#!/bin/bash
+
+export LC_ALL=C.UTF-8
+export LANG=C.UTF-8
+
+#export MODEL_NAME_OR_PATH=t5-base
+export OUTPUT_DIR=/home/username/code/gpt2-medium-persian
+export MODEL_TYPE=gpt2
+export CONFIG_NAME=/home/username/code/gpt2-medium-persian
+export TOKENIZER_NAME=/home/username/code/gpt2-medium-persian
+
+#export TRAIN_FILE=/home/username/code/data/...csv
+#export VALIDATION_FILE=/home/username/code/data/...csv
+#export TEST_FILE=/home/username/code/data/...csv
+export DATASET_NAME=oscar
+export DATASET_CONFIG_NAME=unshuffled_deduplicated_fa
+export MAX_SEQUENCE_LENGTH=1024
+
+#export MAX_TRAIN_SAMPLE=5000
+#export MAX_EVAL_SAMPLES=5000
+
+export PER_DEVICE_TRAIN_BATCH_SIZE=8
+export PER_DEVICE_EVAL_BATCH_SIZE=8
+export NUM_TRAIN_EPOCHS=10.0
+export LEARNING_RATE=1e-3
+export WARMUP_STEPS=5000
+export LOGGING_STEPS=500
+export EVAL_STEPS=2500
+export SAVE_STEPS=2500
+
+python src/run_clm.py \
+    --output_dir="$OUTPUT_DIR"  \
+    --model_type="$MODEL_TYPE" \
+    --config_name="$CONFIG_NAME" \
+    --tokenizer_name="$TOKENIZER_NAME" \
+    --dataset_name="$DATASET_NAME" \
+    --dataset_config_name="$DATASET_CONFIG_NAME" \
+    --max_seq_length="$MAX_SEQUENCE_LENGTH" \
+    --per_device_train_batch_size=$PER_DEVICE_TRAIN_BATCH_SIZE \
+    --per_device_eval_batch_size=$PER_DEVICE_EVAL_BATCH_SIZE \
+    --num_train_epochs=$NUM_TRAIN_EPOCHS \
+    --learning_rate=$LEARNING_RATE \
+    --warmup_steps=$WARMUP_STEPS \
+    --logging_step=$LOGGING_STEPS \
+    --eval_steps=$EVAL_STEPS \
+    --save_steps=$SAVE_STEPS \
+    --do_train \
+    --do_eval \
+    --overwrite_output_dir \
+    --push_to_hub

src/run_clm_flax.py

@@ -60,6 +60,7 @@ from data_utils import (
     filter_by_lang_regex,
     filter_by_num_tokens,
     filter_by_num_sents,
+    filter_by_adv,
     normalizer
 )
 
@@ -359,8 +360,9 @@ def main():
     # https://huggingface.co/docs/datasets/loading_datasets.html.
     logger.info("Preprocessing the dataset")
     dataset = raw_dataset.filter(lambda example: filter_by_lang_regex(example["text"], ratio=0.75))
-    dataset = dataset.filter(lambda example: filter_by_num_tokens(example["text"], gt=128))
+    dataset = dataset.filter(lambda example: filter_by_num_tokens(example["text"], gt=64))
     dataset = dataset.filter(lambda example: filter_by_num_sents(example["text"], gt=2))
+    dataset = dataset.filter(lambda example: filter_by_adv(example["text"], ratio=50))
     dataset = dataset.map(normalizer)
     logger.info(f"Preprocessed dataset kept {len(dataset)} out of {len(raw_dataset)}")
 
@@ -461,7 +463,8 @@ def main():
         total_length = len(concatenated_examples[list(examples.keys())[0]])
         # We drop the small remainder, we could add padding if the model supported it instead of this drop, you can
         # customize this part to your needs.
-        total_length = (total_length // block_size) * block_size
+        if total_length >= block_size:
+            total_length = (total_length // block_size) * block_size
         # Split by chunks of max_len.
         result = {
             k: [t[i: i + block_size] for i in range(0, total_length, block_size)]
@@ -538,17 +541,24 @@ def main():
         return traverse_util.unflatten_dict(flat_mask)
 
     # create adam optimizer
-    adamw = optax.adamw(
-        learning_rate=linear_decay_lr_schedule_fn,
-        b1=training_args.adam_beta1,
-        b2=training_args.adam_beta2,
-        eps=training_args.adam_epsilon,
-        weight_decay=training_args.weight_decay,
-        mask=decay_mask_fn,
-    )
+    if training_args.adafactor:
+        # We use the default parameters here to initialize adafactor,
+        # For more details about the parameters please check https://github.com/deepmind/optax/blob/ed02befef9bf81cbbf236be3d2b0e032e9ed4a40/optax/_src/alias.py#L74
+        optimizer = optax.adafactor(
+            learning_rate=linear_decay_lr_schedule_fn,
+        )
+    else:
+        optimizer = optax.adamw(
+            learning_rate=linear_decay_lr_schedule_fn,
+            b1=training_args.adam_beta1,
+            b2=training_args.adam_beta2,
+            eps=training_args.adam_epsilon,
+            weight_decay=training_args.weight_decay,
+            mask=decay_mask_fn,
+        )
 
     # Setup train state
-    state = TrainState.create(apply_fn=model.__call__, params=model.params, tx=adamw, dropout_rng=dropout_rng)
+    state = TrainState.create(apply_fn=model.__call__, params=model.params, tx=optimizer, dropout_rng=dropout_rng)
 
     def loss_fn(logits, labels):
         shift_logits = logits[..., :-1, :]
@@ -623,11 +633,12 @@ def main():
 
             cur_step = epoch * (len(train_dataset) // train_batch_size) + step
 
-            if cur_step % training_args.logging_steps and cur_step > 0:
+            if cur_step % training_args.logging_steps == 0 and cur_step > 0:
                 # Save metrics
                 train_metric = unreplicate(train_metric)
                 train_time += time.time() - train_start
                 if has_tensorboard and jax.process_index() == 0:
+                    logger.info(f"*** Writing training summary after {cur_step} steps ***")
                     write_train_metric(summary_writer, train_metrics, train_time, cur_step)
 
                 epochs.write(
@@ -636,45 +647,57 @@ def main():
 
                 train_metrics = []
 
-        # ======================== Evaluating ==============================
-        eval_metrics = []
-        eval_loader = data_loader(input_rng, eval_dataset, eval_batch_size)
-        eval_steps = len(eval_dataset) // eval_batch_size
-        for _ in tqdm(range(eval_steps), desc="Evaluating...", position=2, leave=False):
-            # Model forward
-            batch = next(eval_loader)
-            metrics = p_eval_step(state.params, batch)
-            eval_metrics.append(metrics)
-
-        # normalize eval metrics
-        eval_metrics = get_metrics(eval_metrics)
-
-        eval_metrics = jax.tree_map(jnp.mean, eval_metrics)
-
-        try:
-            eval_metrics["perplexity"] = math.exp(eval_metrics["loss"])
-        except OverflowError:
-            eval_metrics["perplexity"] = float("inf")
-
-        # Print metrics and update progress bar
-        desc = f"Epoch... ({epoch + 1}/{num_epochs} | Eval Loss: {eval_metrics['loss']} | Eval Perplexity: {eval_metrics['perplexity']})"
-        epochs.write(desc)
-        epochs.desc = desc
-
-        # Save metrics
-        if has_tensorboard and jax.process_index() == 0:
-            cur_step = epoch * (len(train_dataset) // train_batch_size)
-            write_eval_metric(summary_writer, eval_metrics, cur_step)
-
-        # save checkpoint after each epoch and push checkpoint to the hub
-        if jax.process_index() == 0:
-            params = jax.device_get(unreplicate(state.params))
-            model.save_pretrained(
-                training_args.output_dir,
-                params=params,
-                push_to_hub=training_args.push_to_hub,
-                commit_message=f"Saving weights and logs of epoch {epoch + 1}",
-            )
+            if cur_step % training_args.eval_steps == 0 and cur_step > 0 and training_args.do_eval:
+                logger.info(f"*** Evaluation after {cur_step} steps ***")
+
+                eval_metrics = []
+                eval_loader = data_loader(input_rng, eval_dataset, eval_batch_size)
+                eval_steps = len(eval_dataset) // eval_batch_size
+                for _ in tqdm(range(eval_steps), desc="Evaluating...", position=2, leave=False):
+                    # Model forward
+                    batch = next(eval_loader)
+                    metrics = p_eval_step(state.params, batch)
+                    eval_metrics.append(metrics)
+
+                # normalize eval metrics
+                eval_metrics = get_metrics(eval_metrics)
+                eval_metrics = jax.tree_map(jnp.mean, eval_metrics)
+
+                try:
+                    eval_metrics["perplexity"] = math.exp(eval_metrics["loss"])
+                except OverflowError:
+                    eval_metrics["perplexity"] = float("inf")
+
+                # Print metrics and update progress bar
+                desc = f"Step... ({cur_step} | Eval Loss: {eval_metrics['loss']} | Eval Perplexity: {eval_metrics['perplexity']})"
+                epochs.write(desc)
+                epochs.desc = desc
+
+                # Save metrics
+                if has_tensorboard and jax.process_index() == 0:
+                    logger.info(f"*** Writing evaluation summary after {cur_step} steps ***")
+                    # cur_step = epoch * (len(train_dataset) // train_batch_size)
+                    write_eval_metric(summary_writer, eval_metrics, cur_step)
+
+            if cur_step % training_args.save_steps == 0 and cur_step > 0:
+                logger.info(f"*** Saving checkpoints after {cur_step} steps ***")
+                # save checkpoint after each epoch and push checkpoint to the hub
+                if jax.process_index() == 0:
+                    params = jax.device_get(unreplicate(state.params))
+                    model.save_pretrained(
+                        training_args.output_dir,
+                        params=params,
+                        push_to_hub=training_args.push_to_hub,
+                        commit_message=f"Saving weights and logs of step {cur_step}",
+                    )
+
+                    if not os.path.exists(os.path.join(training_args.output_dir, "tokenizer.json")):
+                        logger.info(f"*** Saving tokenizer ***")
+                        tokenizer.save_pretrained(
+                            training_args.output_dir,
+                            push_to_hub=training_args.push_to_hub,
+                            commit_message=f"Saving tokenizer",
+                        )
 
 
 if __name__ == "__main__":

src/run_config.sh

@@ -0,0 +1,13 @@
+#!/bin/bash
+
+export LC_ALL=C.UTF-8
+export LANG=C.UTF-8
+
+export OUTPUT_DIR=./
+#export OUTPUT_DIR=/home/username/code/gpt2-medium-persian
+export NAME_OR_PATH=gpt2-medium
+
+python src/create_config.py \
+    --output_dir="$OUTPUT_DIR"  \
+    --name_or_path="$NAME_OR_PATH" \
+    --params='{"vocab_size": 50000}'

src/run_tokenizer.sh

@@ -0,0 +1,20 @@
+#!/bin/bash
+
+export LC_ALL=C.UTF-8
+export LANG=C.UTF-8
+
+export OUTPUT_DIR=/home/username/code/gpt2-medium-persian
+export DATASET_NAME=oscar
+export DATASET_CONFIG_NAME=unshuffled_deduplicated_fa
+export VOCAB_SIZE=50000
+export MIN_FREQUENCY=2
+export SPECIAL_TOKENS='<s>','<pad>','</s>','<unk>','<mask>','<|endoftext|>','<|startoftext|>','<sep>','<cls>','<nl>','<tab>','<zwnj>','[U1]','[U2]','[U3]','[U4]','[U5]','[U6]','[U7]','[U8]','[U9]','[U10]','[U11]','[U12]','[U13]','[U14]','[U15]','[U16]','[U17]','[U18]','[U19]','[U20]'
+
+
+python src/train_tokenizer.py \
+    --output_dir="$OUTPUT_DIR"  \
+    --dataset_name="$DATASET_NAME" \
+    --dataset_config_name="$DATASET_CONFIG_NAME" \
+    --vocab_size=$VOCAB_SIZE \
+    --min_frequency=$MIN_FREQUENCY \
+    --special_tokens="$SPECIAL_TOKENS"

src/train_tokenizer.py

@@ -3,7 +3,7 @@ import logging
 import os
 import sys
 from dataclasses import dataclass, field
-from typing import Dict, List, Optional, Tuple
+from typing import Dict, List, Optional, Tuple, Union, Any
 
 from datasets import load_dataset
 from tokenizers import ByteLevelBPETokenizer
@@ -15,6 +15,7 @@ from data_utils import (
     filter_by_lang_regex,
     filter_by_num_tokens,
     filter_by_num_sents,
+    filter_by_adv,
     normalizer
 )
 
@@ -42,12 +43,12 @@ class TokenizerArguments:
         default=None,
         metadata={"help": "Where do you want to store the pretrained models downloaded from huggingface.co"},
     )
-    special_tokens: Optional[List[str]] = field(
+    special_tokens: Optional[str] = field(
         default=None,
         metadata={"help": "The list of special tokens that you want to add in your training."}
     )
     vocab_size: Optional[int] = field(
-        default=50257,
+        default=56000,
         metadata={"help": "The size of the final vocabulary, including all tokens and alphabet"}
     )
     min_frequency: Optional[int] = field(
@@ -61,13 +62,16 @@ class TokenizerArguments:
 
     def __post_init__(self):
         if self.special_tokens is None:
-            self.special_tokens = [
+            special_tokens = [
                 "<s>", "<pad>", "</s>", "<unk>", "<mask>",
                 "<|endoftext|>", "<|startoftext|>",
                 "<sep>", "<cls>", "<nl>", "<tab>", "<zwnj>"
             ]
+            special_tokens += [f"[U{i}]" for i in range(1, 21)]
+        else:
+            special_tokens = list(self.special_tokens.split(","))
 
-        self.special_tokens = self.special_tokens + [f"[U{i}]" for i in range(1, 21)]
+        self.special_tokens = special_tokens
         if self.dataset_name is None and self.train_file is None:
             raise ValueError("Need either a dataset name or a training file.")
         else:
@@ -100,7 +104,7 @@ def main():
             tokenizer_args.dataset_name,
             tokenizer_args.dataset_config_name,
             cache_dir=tokenizer_args.cache_dir,
-            split="train[:10%]"
+            split="train"
         )
     else:
         data_files = {"train": tokenizer_args.train_file}
@@ -119,6 +123,7 @@ def main():
     dataset = raw_dataset.filter(lambda example: filter_by_lang_regex(example["text"], ratio=0.75))
     dataset = dataset.filter(lambda example: filter_by_num_tokens(example["text"], gt=64))
     dataset = dataset.filter(lambda example: filter_by_num_sents(example["text"], gt=2))
+    dataset = dataset.filter(lambda example: filter_by_adv(example["text"], ratio=50))
     dataset = dataset.map(normalizer)
     logger.info(f"Preprocessed dataset kept {len(dataset)} out of {len(raw_dataset)}")