preprocess resume

app.py

@@ -9,23 +9,35 @@ from langchain.chat_models import ChatOpenAI
 import recruiting_assistant  # Assuming this module provides the required reversed functionality
 import skills
 import utils
+import preprocess
 
 llm = ChatOpenAI(temperature=0.0, openai_api_key=os.environ["OPENAI"])
 
 
-def search(resume):
+def preprocess_resume(llm, resume) -> str:
+    result = preprocess.preprocess_resume(llm, resume)
+    resume_preprocess = result["resume_preprocess"]
+    return resume_preprocess
+
+
+def call_endpoint(resume_preprocessed):
     url = f"https://3jxjznzonb.execute-api.eu-west-1.amazonaws.com/dev/prediction"  # vervang met uw API-eindpunt
     headers = {
         "Content-Type": "application/json",
         "x-api-key": os.environ["API_KEY"],
     }  # pas headers indien nodig aan
     response = requests.post(
-        url, headers=headers, data=json.dumps({"text": resume, "limit": 10})
+        url,
+        headers=headers,
+        data=json.dumps({"text": resume_preprocessed, "limit": 10}),
     )
     response_data = response.json()
+    return response_data
 
-    if "prediction" in response_data:
-        prediction = response_data["prediction"]
+
+def postprocess_vancy(vacancies, resume):
+    if "prediction" in vacancies:
+        prediction = vacancies["prediction"]
         if isinstance(prediction, list):
             # Convert prediction to HTML table
             html_table = "<table>"
@@ -52,63 +64,32 @@ def search(resume):
                         skills_match, "skills_match_predicted"
                     )
                     for skill in skills_match_predicted:
-                        vacancy = vacancy.lower().replace(skill.lower(), f'<span style="background-color: yellow;">{skill}</span>')
+                        vacancy = vacancy.lower().replace(
+                            skill.lower(),
+                            f'<span style="background-color: yellow;">{skill}</span>',
+                        )
                     formatted_vacancy = vacancy.replace(".,", "<br/>")
                     formatted_vacancy = f"VACATURE {i + 1}:<br/>{formatted_vacancy}"
                     html_table += f"<tr><td>{formatted_vacancy}</td><td>{len(skills_match_predicted)}</td><td>{', '.join(skills_match_predicted)}</td></tr>"
             html_table += "</table>"
             return html_table
 
-    return "niets teruggevonden ..."
+    return "niets teruggevonden, probeer nogmaals ..."
+
+
+def search(resume):
+    original_resume = resume
+    resume_preprocessed = preprocess_resume(llm, resume)
+    vacancies = call_endpoint(resume_preprocessed)
+    vacancies_formatted = postprocess_vancy(vacancies, original_resume)
+    return vacancies_formatted
+
 
 examples = [
-    """
-    Naam: John Doe
-    Adres: Parkstraat 123, 1000 Stadsveld
-    Telefoon: +31 6 1234 5678
-    E-mail: john.doe@email.com
-    Geboortedatum: 15 juli 1985
-    Nationaliteit: Nederlandse
-    
-    Profiel:
-    Een toegewijde en bekwame koeltechnieker met 8 jaar ervaring in het ontwerpen, installeren, onderhouden en repareren van koelsystemen. Technisch onderlegd en bekend met verschillende koeltechnieken. Een probleemoplosser die snel storingen kan diagnosticeren en efficiënte oplossingen kan implementeren. Goed in teamverband en klantgericht.
-    
-    Werkervaring:
-    
-    Service Technicus bij KoelTech B.V. - januari 2018 tot heden
-    
-    Verantwoordelijk voor het installeren en onderhouden van commerciële en industriële koelsystemen.
-    Diagnose stellen en repareren van storingen in koelapparatuur.
-    Uitvoeren van preventief onderhoud om de prestaties van koelinstallaties te optimaliseren.
-    Klantgerichte aanpak om vragen en problemen van klanten op te lossen.
-    Assistent Koeltechnieker bij CoolAir Installaties - maart 2014 tot december 2017
-    
-    Betrokken bij het ontwerp en de installatie van nieuwe koelsystemen in residentiële gebouwen.
-    Uitvoeren van druk- en temperatuurmetingen om de juiste werking van de systemen te waarborgen.
-    Oplossen van technische problemen en het vervangen van defecte onderdelen.
-    Het trainen van klanten in het juiste gebruik en onderhoud van koelapparatuur.
-    Opleiding:
-    
-    MBO Koeltechniek - Technische School Stadsveld - 2014
-    Certificaat Veilig werken met koelinstallaties - Koelacademie Nederland - 2014
-    Vaardigheden:
-    
-    Uitgebreide kennis van verschillende koeltechnieken en -systemen.
-    Sterk technisch inzicht en probleemoplossend vermogen.
-    Bekend met veiligheidsvoorschriften en -procedures in de koeltechniek.
-    Goede communicatieve vaardigheden om effectief te kunnen samenwerken met collega's en klanten.
-    Bekwaamheid in het lezen van technische tekeningen en schema's.
-    Talen:
-    
-    Nederlands: Moedertaal
-    Engels: Goed
-    Referenties:
-    Beschikbaar op verzoek.
-    
-    Opmerking: Dit CV bevat fictieve gegevens en dient alleen ter illustratie. Gebruik het als een sjabloon en vervang de gegevens door je eigen informatie bij het maken van een CV.
-    """,
     """
     Jan De Vries
+    Magazijnier
+    
     Adres: Hoofdstraat 123, 1000 Brussel
     Telefoon: +32 123 456 789
     E-mail: jan.devries@email.com
@@ -155,6 +136,8 @@ examples = [
     """,
     """
     Johannes van der Meer
+    Chef-kok
+    
     Adres: Klaverstraat 45, 3000 Leiden
     Telefoon: +31 6 1234 5678
     E-mail: johannesvdm@email.nl
@@ -204,7 +187,54 @@ examples = [
     Engels (Vloeiend)
     Frans (Basis)
 
+    """,
     """
+     Naam: John Doe
+     Koeltechnieker
+     
+     Adres: Parkstraat 123, 1000 Stadsveld
+     Telefoon: +31 6 1234 5678
+     E-mail: john.doe@email.com
+     Geboortedatum: 15 juli 1985
+     Nationaliteit: Nederlandse
+    
+     Profiel:
+     Een toegewijde en bekwame koeltechnieker met 8 jaar ervaring in het ontwerpen, installeren, onderhouden en repareren van koelsystemen. Technisch onderlegd en bekend met verschillende koeltechnieken. Een probleemoplosser die snel storingen kan diagnosticeren en efficiënte oplossingen kan implementeren. Goed in teamverband en klantgericht.
+    
+     Werkervaring:
+    
+     Service Technicus bij KoelTech B.V. - januari 2018 tot heden
+    
+     Verantwoordelijk voor het installeren en onderhouden van commerciële en industriële koelsystemen.
+     Diagnose stellen en repareren van storingen in koelapparatuur.
+     Uitvoeren van preventief onderhoud om de prestaties van koelinstallaties te optimaliseren.
+     Klantgerichte aanpak om vragen en problemen van klanten op te lossen.
+     Assistent Koeltechnieker bij CoolAir Installaties - maart 2014 tot december 2017
+    
+     Betrokken bij het ontwerp en de installatie van nieuwe koelsystemen in residentiële gebouwen.
+     Uitvoeren van druk- en temperatuurmetingen om de juiste werking van de systemen te waarborgen.
+     Oplossen van technische problemen en het vervangen van defecte onderdelen.
+     Het trainen van klanten in het juiste gebruik en onderhoud van koelapparatuur.
+     Opleiding:
+    
+     MBO Koeltechniek - Technische School Stadsveld - 2014
+     Certificaat Veilig werken met koelinstallaties - Koelacademie Nederland - 2014
+     Vaardigheden:
+    
+     Uitgebreide kennis van verschillende koeltechnieken en -systemen.
+     Sterk technisch inzicht en probleemoplossend vermogen.
+     Bekend met veiligheidsvoorschriften en -procedures in de koeltechniek.
+     Goede communicatieve vaardigheden om effectief te kunnen samenwerken met collega's en klanten.
+     Bekwaamheid in het lezen van technische tekeningen en schema's.
+     Talen:
+    
+     Nederlands: Moedertaal
+     Engels: Goed
+     Referenties:
+     Beschikbaar op verzoek.
+    
+     Opmerking: Dit CV bevat fictieve gegevens en dient alleen ter illustratie. Gebruik het als een sjabloon en vervang de gegevens door je eigen informatie bij het maken van een CV.
+     """,
 ]
 
 demo = gr.Blocks(theme=gr.themes.Soft())

preprocess.py

@@ -0,0 +1,44 @@
+import os
+
+from langchain import LLMChain
+from langchain.chains import SequentialChain
+from langchain.chat_models import ChatOpenAI
+from langchain.prompts import ChatPromptTemplate
+
+
+def preprocess_resume(llm, resume) -> SequentialChain:
+
+    template_get_skills_intersection = """
+
+      ```
+      {resume}
+      ```
+
+    Can you summarize the above resume in the template below and fill in eveything that is delimited by '<' '>'?
+    Return only the filled in template nothing else.
+      
+    position: < the job name or role >
+    location: < where does the person live >
+    description: < the description or the person's job or role and description of it's experience. >
+    profile: < can you describe the sector the person is working in >
+    competences: < can you describe some hard skills of the person>
+    """
+
+    prompt_get_skills_intersection = ChatPromptTemplate.from_template(
+        template=template_get_skills_intersection
+    )
+    skills_match_chain = LLMChain(
+        llm=llm,
+        prompt=prompt_get_skills_intersection,
+        output_key="resume_preprocess",
+    )
+
+    chain = SequentialChain(
+        chains=[skills_match_chain],
+        input_variables=["resume"],
+        output_variables=[
+            skills_match_chain.output_key,
+        ],
+        verbose=False,
+    )
+    return chain({"resume": resume})

scripts/convert-csv-to-parquet.py

@@ -3,4 +3,4 @@ import pathlib
 
 current_directory = pathlib.Path(__file__).resolve().parent
 df = pd.read_csv(current_directory / "vacancies-full-dataset-jobfixers.csv")
-df.to_parquet(current_directory / "vacancies-full-dataset-jobfixers.parquet")
+df.to_parquet(current_directory / "vacancies-full-dataset-jobfixers.parquet")

scripts/preprocess-vacancies.py

@@ -1,9 +1,12 @@
 import pandas as pd
 import pathlib
+
 current_directory = pathlib.Path(__file__).resolve().parent
 df = pd.read_csv(current_directory / "vacancies.csv")
 df = df[["Vacancy"]]
+print(df.shape)
 df = df.drop_duplicates(subset=["Vacancy"])
+print(df.shape)
 # Remove all the new lines from each cell of the 'Resume' column
 df["Vacancy"] = df["Vacancy"].replace("\n", ".,", regex=True)
-df.to_csv(current_directory/"jobfixers.csv", index=False, header=False)
+df.to_csv(current_directory / "jobfixers.csv", index=False, header=False)