feat: textual entailment app

app.py

@@ -0,0 +1,131 @@
+import gradio as gr
+from transformers import AutoTokenizer, AutoModelForSequenceClassification
+import torch
+
+from collections import Counter
+ 
+def most_frequent(array):
+    occurence_count = Counter(array)
+    return occurence_count.most_common(1)[0][0]
+
+article_string = "Author: <a href=\"https://huggingface.co/ruanchaves\">Ruan Chaves Rodrigues</a>. Read more about our <a href=\"https://github.com/ruanchaves/evaluation-portuguese-language-models\">research on the evaluation of Portuguese language models</a>."
+
+app_title = "Textual entailment (Implicação)"
+
+app_description = """
+This app detects textual entailment and paraphrase between two pieces of Portuguese text using multiple models. You can either introduce your own sentences by filling in "Premise" and "Hypothesis" or click on one of the example pairs provided below.
+
+(Este aplicativo detecta implicação e paráfrase entre dois trechos de texto em português usando vários modelos. Introduza suas próprias frases preenchendo "Premise" e "Hypothesis", ou clique em um dos pares de exemplo fornecidos abaixo.)
+"""
+
+app_examples = [
+    ["Uma pessoa tem cabelo loiro e esvoaçante e está tocando violão.", "Um guitarrista tem cabelo loiro e esvoaçante."],
+    ["A batata está sendo descascada por uma mulher", "Uma mulher está descascando a batata"],
+    ["Uma mulher está temperando um pedaço de carne", "Não tem nenhum homem carregando um rifle com balas"]
+]
+
+output_textbox_component_description = """
+This box will display the relationship between premise and hypothesis based on the average score of multiple models.
+
+(Esta caixa exibirá a relação entre premissa e hipótese com base na pontuação média de vários modelos.)
+"""
+
+output_json_component_description = { "breakdown": """
+This box presents a detailed breakdown of the evaluation for each model, 
+displaying the relationship between the text pairs.
+""",
+"detalhamento": """
+(Esta caixa apresenta um detalhamento da avaliação para cada modelo,
+exibindo a relação entre os pares textuais.)
+""" }
+
+score_descriptions = {
+  1: "There is an entailment relation between premise and hypothesis. If the premise is true, then the hypothesis must also be true.",
+  0: "There is no logical relation between the premise and the hypothesis.",
+  2: "Additionally, the premise has also been detected as being a paraphrase of the hypothesis."
+}
+
+
+score_descriptions_pt = {
+   1: "(Existe uma relação de implicação entre premissa e hipótese. Se a premissa é verdadeira, então a hipótese também deve ser verdadeira.)",
+   0: "(Não há relação lógica entre a premissa e a hipótese.)",
+   2: "(Além disso, a premissa também foi detectada como sendo uma paráfrase da hipótese.)"
+}
+
+score_short_keys = {
+    0: "No relationship (Nenhuma relação)",
+    1: "Entailment (Implicação)",
+    2: "Paraphrase (Paráfrase)"
+}
+
+
+model_list = [
+    "ruanchaves/mdeberta-v3-base-assin2-entailment",
+    "ruanchaves/bert-base-portuguese-cased-assin2-entailment",
+    "ruanchaves/bert-large-portuguese-cased-assin2-entailment",
+    "ruanchaves/mdeberta-v3-base-assin-entailment",
+    "ruanchaves/bert-base-portuguese-cased-assin-entailment",
+    "ruanchaves/bert-large-portuguese-cased-assin-entailment",
+]
+
+user_friendly_name = {
+    "ruanchaves/mdeberta-v3-base-assin2-entailment": "mDeBERTa-v3 (ASSIN 2)",
+    "ruanchaves/bert-base-portuguese-cased-assin2-entailment": "BERTimbau base (ASSIN 2)",
+    "ruanchaves/bert-large-portuguese-cased-assin2-entailment": "BERTimbau large (ASSIN 2)",
+    "ruanchaves/mdeberta-v3-base-assin-entailment": "mDeBERTa-v3 (ASSIN)",
+    "ruanchaves/bert-base-portuguese-cased-assin-entailment": "BERTimbau base (ASSIN)",
+    "ruanchaves/bert-large-portuguese-cased-assin-entailment": "BERTimbau large (ASSIN)"
+}
+
+model_array = []
+
+for model_name in model_list:
+    row = {}
+    row["name"] = model_name
+    row["tokenizer"] = AutoTokenizer.from_pretrained(model_name)
+    row["model"] = AutoModelForSequenceClassification.from_pretrained(model_name)
+    model_array.append(row)
+
+
+def entailment(s1, s2):
+    scores = {}
+    for row in model_array:
+        name = user_friendly_name[row["name"]]
+        tokenizer = row["tokenizer"]
+        model = row["model"]
+        model_input = tokenizer(*([s1], [s2]), padding=True, return_tensors="pt")
+        with torch.no_grad():
+            output = model(**model_input)
+            score = output[0][0].argmax().item()
+            scores[name] = score
+    assin2_scores = {k: v for k, v in scores.items() if "ASSIN 2" in k}
+    average_score = most_frequent(assin2_scores.values())
+    description = score_descriptions[average_score]
+    description_pt = score_descriptions_pt[average_score]
+
+    if 2 in scores.values():
+        description = description + "\n" + score_descriptions[2]
+        description_pt = description_pt + "\n" + score_descriptions_pt[2]
+    final_description = description + "\n \n" + description_pt
+
+    for key, value in scores.items():
+      scores[key] = score_short_keys[value]
+
+    return final_description, scores
+
+
+inputs = [
+    gr.inputs.Textbox(label="Premise"),
+    gr.inputs.Textbox(label="Hypothesis")
+]
+
+outputs = [
+ gr.Textbox(label="Evaluation", value=output_textbox_component_description),
+ gr.JSON(label="Results by model", value=output_json_component_description)
+]
+
+
+gr.Interface(fn=entailment, inputs=inputs, outputs=outputs, title=app_title, 
+             description=app_description,
+             examples=app_examples,
+             article = article_string).launch()

requirements.txt

@@ -0,0 +1,3 @@
+torch
+gradio
+transformers