Added type hinting and config file

.gitignore

@@ -1,3 +1,3 @@
 __pycache__/
 .env
-logs_edia_lmodels_spanish/
+logs_edia_lmodels_es/

app.py

@@ -1,6 +1,7 @@
 # --- Imports libs ---
 import gradio as gr
 import pandas as pd
+import configparser
 
 
 # --- Imports modules ---
@@ -8,14 +9,18 @@ from modules.module_languageModel import LanguageModel
 
 
 # --- Imports interfaces ---
-from interfaces.interface_sesgoEnFrases import interface as interface_sesgoEnFrases
+from interfaces.interface_biasPhrase import interface as interface_sesgoEnFrases
 from interfaces.interface_crowsPairs import interface as interface_crowsPairs
 
 
 # --- Tool config ---
-LANGUAGE_MODEL  = "dccuchile/bert-base-spanish-wwm-uncased"
-LANGUAGE        = "spanish"                                    # [spanish]
-AVAILABLE_LOGS  = True                                         # [True | False]
+cfg = configparser.ConfigParser()
+cfg.read('tool.cfg')
+
+LANGUAGE            = cfg['INTERFACE']['language']
+LANGUAGE_MODEL      = cfg['LMODEL']['language_model']
+AVAILABLE_LOGS      = cfg['LOGS'].getboolean('available_logs')
+
 
 
 # --- Init classes ---

examples/examples_es.py

@@ -1,4 +1,90 @@
-# Examples Sesgos en frases
+example_fem = {
+    "mujer": "la mente de una mujer que durante los últimos",
+    "chica": "enamorado de la misma chica desde la infancia mary",
+    "ella": "ella llego a la final",
+            "madre": "su padre y su madre margarita de parma",
+            "hija": "hija de inmigrantes españoles en",
+            "femenino": "campeonato mundial de voleibol femenino fue la duodécima edición",
+}
+example_joven = {
+    "joven": "",
+    "inmaduro": "",
+    "niño": "",
+    "crio": ""
+}
+example_viejo = {
+    "viejo": "",
+    "maduro": "",
+    "anciano": "",
+    "adulto": ""
+}
+
+
+example_masc = {
+    "hombre": "deseo innato que todo hombre tiene de comunicar su",
+    "chico": "fue un chico interesado en artes",
+    "el": "el parque nacional liwonde",
+    "padre": "la muerte de su padre en 1832 se formó",
+    "hijo": "le dice a su hijo aún no nacido como",
+            "masculino": "el mito es esencialmente masculino y entre las causas",
+}
+
+example_diagnose = {
+    "ario": "establecer que el pueblo ario vivió en inmemoriales tiempos",
+    "educación": "sentido de vida religión educación y cultura para cada mujer",
+    "pagado": "un rescate muy grande pagado por sus seguidores a",
+    "cocinar": "empezó a cocinar una sopa usando",
+    "lavar": "era directamente usado para lavar ropa por eso la",
+    "deporte": "se convirtió en el deporte más popular del país",
+    "ropa": "usan el kimono una ropa tradicional japonesa",
+    "pelea": "mal por la violenta pelea entre ambos hermanos",
+    "enfermero": "en enfermería el diagnóstico enfermero o diagnóstico de enfermería es",
+    "ganar": "una necesidad un modo de ganar",
+    "líder": "del estado en manos del líder opositor henrique capriles para el",
+    "coser": "realizar tareas domésticas básicas como coser y poner la mesa",
+    "cuidar": "de la fpf encargada de cuidar los intereses de los clubes",
+    "cirujano": "afrancesado ocupando el puesto de cirujano militar en el ejército josefino",
+    "rey": "la princesa jeongsung esposa del rey danjong que ascendió al trono",
+    "reina": "año ganó el título de reina de la bahía en el"
+}
+
+
+fem_words = ','.join([word for word, context in example_fem.items()])
+fem_contexts = ','.join([context for word, context in example_fem.items()])
+masc_words = ','.join([word for word, context in example_masc.items()])
+masc_contexts = ','.join([context for word, context in example_masc.items()])
+young_words = ','.join([word for word, context in example_joven.items()])
+old_words = ','.join([word for word, context in example_viejo.items()])
+diagnose_words = ','.join([word for word, context in example_diagnose.items()])
+diagnose_contexts = ','.join([context for word, context in example_diagnose.items()])
+
+positive_money_words = 'ahorrar,economizar,administrar,manejar,negocio,beneficios'
+negative_money_words = 'malgastar,derrochar'
+diagnose_money = 'alemán,australiano,argentino,millonario,rico,pobre'
+
+lazy_words = 'vago, perezoso, gandul'
+active_words = 'trabajar, esfuerzo, trabajador'
+
+examples1_explorar_sesgo_en_palabras = [
+    [fem_words, masc_words, diagnose_words],
+    [old_words, young_words, diagnose_words],
+    [positive_money_words, negative_money_words, diagnose_money],
+    [lazy_words, active_words, diagnose_money]
+]
+
+examples2_explorar_sesgo_en_palabras = [
+    [fem_words, masc_words, young_words, old_words, diagnose_words],
+    [lazy_words, active_words, positive_money_words, negative_money_words,diagnose_money],
+]
+
+
+examples_explorar_relaciones_entre_palabras = [
+    [diagnose_words, fem_words, masc_words, young_words, old_words],
+    [diagnose_money, lazy_words, active_words, positive_money_words, negative_money_words],
+]
+
+
+# Examples bias phrase
 examples_sesgos_frases = [
     ["los * manejan bien la plata.", "argentinos,pobres,millonarios,australianos"],
     ["los cordobeses bailan *.", ""],

interfaces/{interface_sesgoEnFrases.py → interface_biasPhrase.py}

@@ -3,15 +3,21 @@ import pandas as pd
 from tool_info import TOOL_INFO
 from modules.module_logsManager import HuggingFaceDatasetSaver
 from modules.module_connection import PhraseBiasExplorerConnector
-from examples.examples_es import examples_sesgos_frases
+
 
 
 def interface(
     language_model: str, 
     available_logs: bool, 
-    lang: str="spanish"
+    lang: str="es"
 ) -> gr.Blocks:
 
+    # -- Load examples --
+    if lang == 'es':
+        from examples.examples_es import examples_sesgos_frases
+    elif lang == 'en':
+        from examples.examples_en import examples_sesgos_frases
+
     # --- Init logs ---
     log_callback = HuggingFaceDatasetSaver(
         available_logs=available_logs,
@@ -127,13 +133,13 @@ def interface(
         save_field = [sent, word_list]
         log_callback.setup(
             components=save_field, 
-            flagging_dir="logs_phrases_bias"
+            flagging_dir="logs_phrase_bias"
         )
         
         btn.click(
             fn=lambda *args: log_callback.flag(
                 flag_data=args,
-                flag_option="phrases_bias",
+                flag_option="phrase_bias",
                 username="vialibre"
             ),
             inputs=save_field,

interfaces/interface_crowsPairs.py

@@ -3,15 +3,21 @@ import pandas as pd
 from tool_info import TOOL_INFO
 from modules.module_logsManager import HuggingFaceDatasetSaver
 from modules.module_connection import CrowsPairsExplorerConnector
-from examples.examples_es import examples_crows_pairs
+
 
 
 def interface(
     language_model: str, 
     available_logs: bool, 
-    lang: str="spanish"
+    lang: str="es"
 ) -> gr.Blocks:
 
+    # -- Load examples --
+    if lang == 'es':
+        from examples.examples_es import examples_crows_pairs
+    elif lang == 'en':
+        from examples.examples_en import examples_crows_pairs
+
     # --- Init logs ---
     log_callback = HuggingFaceDatasetSaver(
         available_logs=available_logs,
@@ -20,7 +26,7 @@ def interface(
 
     # --- Init vars ---
     connector = CrowsPairsExplorerConnector(
-        language_model=language_model,
+        language_model=language_model
     )
     
     # --- Load language ---
@@ -115,7 +121,7 @@ def interface(
         save_field = [sent0, sent1, sent2, sent3, sent4, sent5]
         log_callback.setup(
             components=save_field, 
-            flagging_dir="logs_crows_pairs"
+            flagging_dir=f"logs_crows_pairs"
         )
         
         btn.click(

language/.gitignore

@@ -1,2 +1,2 @@
 __pycache__
-english.json
+en.json

language/{spanish.json → es.json}

@@ -1,8 +1,43 @@
 {
     "app": {
+        "wordExplorer": "Explorar palabras",
+        "biasWordExplorer": "Sesgo en palabras",
+        "dataExplorer": "Datos",
         "phraseExplorer": "Sesgo en frases",
         "crowsPairsExplorer": "Crows-Pairs"
     },
+    "WordExplorer_interface": {
+        "title": "Escribi algunas palabras para visualizar sus palabras relacionadas",
+        "wordList1": "Lista de palabras 1",
+        "wordList2": "Lista de palabras 2",
+        "wordList3": "Lista de palabras 3",
+        "wordList4": "Lista de palabras 4",
+        "wordListToDiagnose": "Lista de palabras a diagnosticar",
+        "plotNeighbours": {
+            "title": "Graficar palabras relacionadas",
+            "quantity": "Cantidad"
+        },
+        "options": {
+            "font-size": "Tamaño de fuente",
+            "transparency": "Transparencia"
+        },
+        "plot_button": "¡Graficar en el espacio!",
+        "examples": "Ejemplos"
+    },
+    "BiasWordExplorer_interface": {
+        "step1": "1. Escribi palabras para diagnosticar separadas por comas",
+        "step2&2Spaces": "2. Para graficar 2 espacios, completa las siguientes listas:",
+        "step2&4Spaces": "2. Para graficar 4 espacios, además completa las siguientes listas:",
+        "plot2SpacesButton": "¡Graficar 2 estereotipos!",
+        "plot4SpacesButton": "¡Graficar 4 estereotipos!",
+        "wordList1": "Lista de palabras 1",
+        "wordList2": "Lista de palabras 2",
+        "wordList3": "Lista de palabras 3",
+        "wordList4": "Lista de palabras 4",
+        "wordListToDiagnose": "Lista de palabras a diagnosticar",
+        "examples2Spaces": "Ejemplos en 2 espacios",
+        "examples4Spaces": "Ejemplos en 4 espacios"
+    },
     "PhraseExplorer_interface": {
         "step1": "1. Ingrese una frase",
         "step2": "2. Ingrese palabras de interés (Opcional)",
@@ -26,6 +61,20 @@
         "plot": "Visualización de proporciones",
         "examples": "Ejemplos"
     },
+    "DataExplorer_interface": {
+        "step1": "1. Ingrese una palabra de interés",
+        "step2": "2. Seleccione cantidad máxima de contextos a recuperar",
+        "step3": "3. Seleccione conjuntos de interés",
+        "inputWord": {
+            "title": "Palabra",
+            "placeholder": "Ingresar aquí la palabra ..."
+        },
+        "wordInfoButton": "Obtener información de palabra",
+        "wordContextButton": "Buscar contextos",
+        "wordDistributionTitle": "Distribución de palabra en vocabulario",
+        "frequencyPerSetTitle": "Frecuencias de aparición por conjunto",
+        "contextList": "Lista de contextos"
+    },
     "CrowsPairs_interface": {
         "title": "1. Ingrese frases a comparar",
         "sent0": "Frase Nº 1 (*)",
@@ -34,7 +83,7 @@
         "sent3": "Frase Nº 4 (Opcional)",
         "sent4": "Frase Nº 5 (Opcional)",
         "sent5": "Frase Nº 6 (Opcional)",
-        "commonPlacholder": "Utilice < y > para destacar la/las palabra/as de interés",
+        "commonPlacholder": "Utilice los simbolos < y > para destacar palabra/as de interés",
         "compareButton": "Comparar",
         "plot": "Visualización de proporciones",
         "examples": "Ejemplos"

modules/module_connection.py

@@ -1,8 +1,7 @@
+from abc import ABC
 from modules.module_rankSents import RankSents
 from modules.module_crowsPairs import CrowsPairs
 from typing import List, Tuple
-from abc import ABC
-
 
 class Connector(ABC):
     def parse_word(
@@ -20,6 +19,7 @@ class Connector(ABC):
         words = array_in_string.strip()
         if not words:
             return []
+
         words = [
             self.parse_word(word) 
             for word in words.split(',') if word.strip() != ''
@@ -31,11 +31,9 @@ class Connector(ABC):
         err: str
     ) -> str:
 
-        # Mod
         if err:
             err = "<center><h3>" + err + "</h3></center>"
-        return err
-
+        return err    
 
 class PhraseBiasExplorerConnector(Connector):
     def __init__(
@@ -43,13 +41,8 @@ class PhraseBiasExplorerConnector(Connector):
         **kwargs
     ) -> None:
 
-        # Mod
-        if 'language_model' in kwargs:
+        if 'language_model' in kwargs and 'lang' in kwargs:
             language_model = kwargs.get('language_model')
-        else:
-            raise KeyError
-        
-        if 'lang' in kwargs:
             lang =  kwargs.get('lang')
         else:
             raise KeyError
@@ -90,7 +83,6 @@ class PhraseBiasExplorerConnector(Connector):
         all_plls_scores = self.phrase_bias_explorer.Label.compute(all_plls_scores)
         return self.process_error(err), all_plls_scores, ""
 
-
 class CrowsPairsExplorerConnector(Connector):
     def __init__(
         self, 
@@ -116,15 +108,16 @@ class CrowsPairsExplorerConnector(Connector):
         sent5: str
     ) -> Tuple:
 
+        sent_list = [sent0, sent1, sent2, sent3, sent4, sent5]
         err = self.crows_pairs_explorer.errorChecking(
-            sent0, sent1, sent2, sent3, sent4, sent5
+            sent_list
         )
 
         if err:
             return self.process_error(err), "", ""
 
         all_plls_scores = self.crows_pairs_explorer.rank(
-            sent0, sent1, sent2, sent3, sent4, sent5
+            sent_list
         )
         
         all_plls_scores = self.crows_pairs_explorer.Label.compute(all_plls_scores)

modules/module_crowsPairs.py

@@ -1,6 +1,6 @@
 from modules.module_customPllLabel import CustomPllLabel
 from modules.module_pllScore import PllScore
-from typing import Dict
+from typing import Dict, List
 
 class CrowsPairs:
     def __init__(
@@ -15,19 +15,13 @@ class CrowsPairs:
 
     def errorChecking(
         self, 
-        sent0: str, 
-        sent1: str, 
-        sent2: str, 
-        sent3: str, 
-        sent4: str, 
-        sent5: str
+        sent_list: List[str],
     ) -> str:
 
         out_msj = ""
-        all_sents = [sent0, sent1, sent2, sent3, sent4, sent5]
 
         mandatory_sents = [0,1]
-        for sent_id, sent in enumerate(all_sents):
+        for sent_id, sent in enumerate(sent_list):
             c_sent = sent.strip()
             if c_sent:
                 if not self.pllScore.sentIsCorrect(c_sent):
@@ -35,28 +29,22 @@ class CrowsPairs:
                     break
             else:
                 if sent_id in mandatory_sents:
-                    out_msj = f"Error: La farse Nº{sent_id+1} no puede estar vacia!"
+                    out_msj = f"Error: La frase Nº{sent_id+1} no puede ser vacia!"
                     break
         
         return out_msj
 
     def rank(
         self, 
-        sent0: str, 
-        sent1: str, 
-        sent2: str, 
-        sent3: str, 
-        sent4: str, 
-        sent5: str
+        sent_list: List[str],
     ) -> Dict[str, float]:
 
-        err = self.errorChecking(sent0, sent1, sent2, sent3, sent4, sent5)
+        err = self.errorChecking(sent_list)
         if err:
             raise Exception(err)
         
-        all_sents = [sent0, sent1, sent2, sent3, sent4, sent5]
         all_plls_scores = {}
-        for sent in all_sents:
+        for sent in sent_list:
             if sent:
                 all_plls_scores[sent] = self.pllScore.compute(sent)
 

modules/module_languageModel.py

@@ -1,22 +1,23 @@
-# --- Imports libs ---
 from transformers import AutoTokenizer, AutoModelForMaskedLM
 
 class LanguageModel:
     def __init__(
         self, 
-        model_name: str
+        model_name
     ) -> None:
-     
+    
         print("Downloading language model...")
         self.__tokenizer = AutoTokenizer.from_pretrained(model_name)
         self.__model = AutoModelForMaskedLM.from_pretrained(model_name)
     
     def initTokenizer(
         self
-    ):
+    ) -> AutoTokenizer:
+
         return self.__tokenizer
     
     def initModel(
         self
-    ):
+    ) -> AutoModelForMaskedLM:
+
         return self.__model

modules/module_pllScore.py

@@ -84,7 +84,7 @@ class PllScore:
         sent: str
     ) -> float:
 
-        assert(self.sentIsCorrect(sent)), f"Error: La frase ({sent}) no posee el formato correcto!"
+        assert(self.sentIsCorrect(sent)), f"Error: The sentence '{sent}' does not have the correct format!"
 
         outside_words = re.sub("\<.*?\>", "", sent.replace("<", " < ").replace(">", " > "))
         outside_words = [w for w in outside_words.split() if w != ""]

modules/module_rankSents.py

@@ -21,7 +21,7 @@ class RankSents:
         )
         self.softmax = torch.nn.Softmax(dim=-1)
 
-        if lang == "spanish":
+        if lang == "es":
             self.articles = [
                 'un','una','unos','unas','el','los','la','las','lo'
             ]
@@ -32,7 +32,7 @@ class RankSents:
                 'y','o','ni','que','pero','si'
             ]
 
-        elif lang == "english":
+        elif lang == "en":
             self.articles = [
                 'a','an', 'the'
             ]
@@ -50,16 +50,16 @@ class RankSents:
 
         out_msj = ""
         if not sent:
-            out_msj = "Error: Debe ingresar una frase!"
+            out_msj = "Error: Debes ingresar una frase!"
         elif sent.count("*") > 1:
             out_msj= " Error: La frase ingresada debe contener solo un ' * '!"
         elif sent.count("*") == 0:
-            out_msj= " Error: La frase ingresada necesita contener un ' * ' para poder predecir la palabra!"
+            out_msj= " Error: La frase ingresada necesita contener un ' * ' para poder inferir la palabra!"
         else:
             sent_len = len(self.tokenizer.encode(sent.replace("*", self.tokenizer.mask_token)))
             max_len = self.tokenizer.max_len_single_sentence
             if sent_len > max_len:
-                out_msj = f"Error: La sentencia posee mas de {max_len} tokens!"
+                out_msj = f"Error: La frase ingresada posee mas de {max_len} tokens!"
         
         return out_msj
 
@@ -135,11 +135,11 @@ class RankSents:
 
     def rank(self, 
         sent: str, 
-        word_list: List[str], 
-        banned_word_list: List[str], 
-        articles: bool, 
-        prepositions: bool, 
-        conjunctions: bool
+        word_list: List[str]=[], 
+        banned_word_list: List[str]=[], 
+        articles: bool=False, 
+        prepositions: bool=False, 
+        conjunctions: bool=False
     ) -> Dict[str, float]:
         
         err = self.errorChecking(sent)

tool.cfg

@@ -0,0 +1,11 @@
+[INTERFACE]
+# ['es' | 'en']
+language            = es
+
+[LMODEL]
+# [bert-base-uncased | dccuchile/bert-base-spanish-wwm-uncased]
+language_model      = dccuchile/bert-base-spanish-wwm-uncased
+
+[LOGS]
+# [True | False]
+available_logs      = True