feat: semantic similarity app

app.py

@@ -2,6 +2,52 @@ import gradio as gr
 from transformers import AutoTokenizer, AutoModelForSequenceClassification
 import torch
 
+app_title = "Semantic Similarity (Similaridade Semântica)"
+
+app_description = """
+This app calculates the semantic similarity between two pieces of Portuguese text using multiple models. You can either introduce your own sentences by filling in "Text 1" and "Text 2" or click on one of the example pairs provided below.
+
+Este aplicativo calcula a similaridade semântica entre dois trechos de texto em português usando vários modelos. Introduza suas próprias frases preenchendo "Text 1" e "Text 2", ou clique em um dos pares de exemplo fornecidos abaixo.
+"""
+
+app_examples = [
+    ["Uma pessoa tem cabelo loiro e esvoaçante e está tocando violão.", "Um guitarrista tem cabelo loiro e esvoaçante."],
+    ["A batata está sendo descascada por uma mulher", "Uma mulher está descascando a batata"],
+    ["Uma mulher está temperando um pedaço de carne", "Não tem nenhum homem carregando um rifle com balas"]
+]
+
+output_textbox_component_description = """
+This box will display the semantic similarity evaluation based on the average score of multiple models.
+
+Esta caixa exibirá a avaliação de similaridade semântica com base na pontuação média de vários modelos.
+"""
+
+output_json_component_description = { "breakdown": """
+This box presents a detailed breakdown of the evaluation for each model, 
+displaying the percentage of similarity between the text pairs.
+""",
+"detalhamento": """
+Esta caixa apresenta um detalhamento da avaliação para cada modelo,
+exibindo a porcentagem de similaridade entre os pares textuais.
+""" }
+
+score_descriptions = {
+    0: "The sentences are completely different from each other and do not have any common topic or similarity.", 
+    1: "The sentences are completely different from each other and do not have any common topic or similarity.",
+    2: "The sentences are not directly related, but they share some topic or theme.",
+    3: "The sentences are somewhat related: they may have different content but have some common details or aspects.",
+    4: "The sentences are strongly related, but still have some differences in details or wording.",
+    5: "The sentences convey essentially the same message or information."
+}
+
+score_descriptions_pt = {
+    0: "As frases são completamente diferentes uma da outra e não têm nenhum tópico ou semelhança em comum.", 
+    1: "As frases são completamente diferentes uma da outra e não têm nenhum tópico ou semelhança em comum.",
+    2: "As frases não estão diretamente relacionadas, mas compartilham algum tópico ou tema.",
+    3: "As frases são um pouco relacionadas: podem ter conteúdo diferente, mas têm alguns detalhes ou aspectos comuns.",
+    4: "As frases estão fortemente relacionadas, mas ainda têm algumas diferenças em detalhes ou palavras.",
+    5: "As frases transmitem essencialmente a mesma mensagem ou informação."
+}
 
 model_list = [
     "ruanchaves/mdeberta-v3-base-assin2-similarity",
@@ -12,26 +58,45 @@ model_list = [
     "ruanchaves/bert-large-portuguese-cased-assin-similarity",
 ]
 
+user_friendly_name = {
+    "ruanchaves/mdeberta-v3-base-assin2-similarity": "mDeBERTa-v3 (ASSIN 2)",
+    "ruanchaves/bert-base-portuguese-cased-assin2-similarity": "BERTimbau base (ASSIN 2)",
+    "ruanchaves/bert-large-portuguese-cased-assin2-similarity": "BERTimbau large (ASSIN 2)",
+    "ruanchaves/mdeberta-v3-base-assin-similarity": "mDeBERTa-v3 (ASSIN)",
+    "ruanchaves/bert-base-portuguese-cased-assin-similarity": "BERTimbau base (ASSIN)",
+    "ruanchaves/bert-large-portuguese-cased-assin-similarity": "BERTimbau large (ASSIN)"
+}
+
 model_array = []
 
 for model_name in model_list:
     row = {}
+    row["name"] = model_name
     row["tokenizer"] = AutoTokenizer.from_pretrained(model_name)
     row["model"] = AutoModelForSequenceClassification.from_pretrained(model_name)
     model_array.append(row)
 
 
 def similarity(s1, s2):
-    scores = []
+    scores = {}
     for row in model_array:
+        name = user_friendly_name[row["name"]]
         tokenizer = row["tokenizer"]
         model = row["model"]
         model_input = tokenizer(*([s1, s1], [s2, s1]), padding=True, return_tensors="pt")
         with torch.no_grad():
             output = model(**model_input)
             score = output[0][0].item()
-            scores.append(score)
-    return sum(scores) / len(scores)
+            scores[name] = score
+    average_score = sum(scores.values()) / len(scores)
+    description = score_descriptions[round(average_score)]
+    description_pt = score_descriptions_pt[round(average_score)]
+    final_description = description + "\n \n" + description_pt
+
+    for key, value in scores.items():
+      scores[key] = '{:,.2%}'.format(min(value, 5) / 5)
+
+    return final_description, scores
 
 
 inputs = [
@@ -39,11 +104,12 @@ inputs = [
     gr.inputs.Textbox(label="Text 2")
 ]
 
-outputs = gr.outputs.Textbox(label="Similarity Score")
+outputs = [
+ gr.Textbox(label="Evaluation", value=output_textbox_component_description),
+ gr.JSON(label="Breakdown", value=output_json_component_description)
+]
 
 
-gr.Interface(fn=similarity, inputs=inputs, outputs=outputs, title="Semantic Similarity", 
-             description="Calculates semantic similarity between two pieces of text using multiple pre-trained models.",
-             examples=[["A quem é atribuida a invenção do ábaco?", "A primeira ferramenta conhecida para a computação foi o ábaco, cuja invenção é atribuída a habitantes da Mesopotâmia, em torno de 2700–2300 a.C.."],
-                      ["I love pizza", "Pizza is my favorite food"],
-                      ["I hate cats", "I love dogs"]]).launch()
+gr.Interface(fn=similarity, inputs=inputs, outputs=outputs, title=app_title, 
+             description=app_description,
+             examples=app_examples).launch(share=True, debug=True)