app.py

import subprocess
import sys

def install(package):
    subprocess.check_call([sys.executable, "-m", "pip", "install", package])

install("groq")
install("langchain-community==0.0.32")
install("sentence-transformers==2.3.1")
install("chromadb==0.4.22")
install("langchain==0.1.9")
install("tiktoken==0.6.0")
install("openai==1.23.2")
install("gcsfs>=2023.3.0")
install("datasets")
install ("ipywidgets")


#!pip install -q openai==1.23.2 \
 #               gcsfs>=2023.3.0 \
  #              tiktoken==0.6.0 \
   #             pypdf==4.0.1 \
    #            langchain==0.1.9 \
     #           langchain-community==0.0.32 \
      #          chromadb==0.4.22 \
       #         sentence-transformers==2.3.1 \
        #        datasets


## Setup
# Import the necessary Libraries
import json
import uuid
import os
from groq import Groq

import gradio as gr
from langchain_community.embeddings.sentence_transformer import (SentenceTransformerEmbeddings)
from langchain_community.vectorstores import Chroma
from huggingface_hub import CommitScheduler
from pathlib import Path
import time
import signal
from huggingface_hub import create_repo
from huggingface_hub import HfApi
from huggingface_hub import notebook_login
notebook_login()

from huggingface_hub import login
hf_key=os.getenv('HF_TOKEN')
login(token=hf_key)  # Or use huggingface-cli login

# Create Client
os.environ['GROQ_API_KEY'] = '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';
client = Groq(
    api_key=os.environ.get("GROQ_API_KEY"),
)




#chat_completion = client.chat.completions.create(
 #   messages=[
  #      {
   #         "role": "user",
    #        "content": "Explain the importance of fast language models"
     #   }
    #],
   # model="llama3-8b-8192",
#)

# Define the embedding model and the vectorstore
embedding_model= SentenceTransformerEmbeddings(model_name="thenlper/gte-large")

collection_name = 'reports_collection'

vectorstore = Chroma(
    collection_name=collection_name,
    persist_directory="./db",
    embedding_function=embedding_model
)

# Prepare the logging functionality

api = HfApi()

log_file = Path("logs/") / f"data_{uuid.uuid4()}.json"
log_folder = log_file.parent
log_file.parent.mkdir(exist_ok=True)


scheduler = CommitScheduler(
    repo_id="alemarino2025/imat",
    repo_type="dataset",
    folder_path=log_folder,
    path_in_repo="alemarino2025/imat/data",
    hf_api=api,
    every=2
    )

# Define the Q&A system message
qna_system_message = """


Sei un mental trainer. Ti chiami Mat.
Il tuo compito è svolgere conversazioni con atleti che presumibilmente hanno dei problemi durante la loro attività sportiva. Per svolgere queste conversazioni devi attenerti ai seguenti sei Step sequenziali:
Step 1. 
All'inizio della conversazione devi cercare di conoscere meglio il paziente per contestualizzare meglio il problema. È importante fare domande sul background anagrafico e sportivo dell’atleta perché conoscere la sua età e la sua storia personale legata alla sua vita privata. Ciò è determinante ed utile per arricchire le tue conoscenze sul paziente e fornire consigli più specifici.
Step 2. 
Approfondisci la domanda dell’utente dando valore, attenzione ed ascolto attivo a ciò che dice l’utente. Questo è importante perché attraverso una serie di domande relative alla problematica proposta, l’utente si sentirà accolto e accettato. Accrescere la sinergia con l’utente diventa dunque di strutturale importanza perché rafforza il tuo rapporto con l'utente.
Step 3. 
Fai richieste specifiche su quelli che sono gli obiettivi che l'utente si propone di raggiungere per migliorare la sua situazione. Questo diventa necessario perché ogni utente è unico e la sua unicità mette il mental trainer nella condizione di strutturare un percorso specifico, ad hoc per ognuno di loro.
Step 4. 
Concorda un piano d’azione per raggiungere gli obiettivi proposti durante lo step 3. Questi devono essere misurabili e raggiungibili perché è importante supportare il paziente evitando di alimentare in lui eventuali frustrazioni dovute al mancato raggiungimento degli obiettivi. 
Step 5. 
Verso la fine della conversazione fornisci suggerimenti e indicazioni pratico-teoriche al paziente utilizzando tecniche psicologiche specifiche per migliorare la sua condizione. Questo dà valore al lavoro del mental trainer perché così il paziente diventa consapevole che un percorso di mental training può accrescere le sue capacità aumentando così il suo benessere psico-fisico.
Step 6. 
Infine devi riassumere all’utente ciò che è stato detto proponendo eventualmente altri incontri in futuro. In questo modo il paziente capirà che è presente un’ancora alla quale può fare riferimento. Ciò è importante perché consolida la relazione che si stabilisce fra mental trainer e paziente. Solo consolidando la relazione gli obiettivi proposti e le tecniche suggerite possono diventare parte integrante dell’approccio mentale dell’atleta che interiorizzerà attivamente ciò che viene detto durante gli incontri. 

L'input dell'utente includerà il contesto necessario per svolgere il tuo compito. Questo contesto inizierà con il token ###Contesto.
Il contesto contiene riferimenti a parti specifiche di documenti pertinenti alla query dell'utente, insieme al numero di pagina del report.

La fonte per il contesto inizierà con il token ###Pagina

Quando crei le tue risposte:
1. Seleziona solo il contesto pertinente per rispondere alla domanda.
2. Segui gli step indicati in precedenza ma non indicare il numero di step nè lo step che stai seguendo.
3. Usa un tono comunicativo: Deve essere rassicurante, flessibile e basato sull’empatia.
4. Riconosci il contesto: Adatta il linguaggio al livello agonistico, all’età e agli obiettivi dell’atleta.
5. Personalizza: Ogni atleta è unico, devi proporre soluzioni su misura partendo dalle informazioni raccolte.
6. E' molto molto importante che faccia un massimo di due domande alla volta all'utente. Poi aspetta la sua risposta e utilizza la risposta come input per andare avanti nella tua procedura.
Le domande dell'utente inizieranno con il token: ###Domanda.
Se la domanda è irrilevante o se il contesto è vuoto - "Mi dispiace, questo è fuori dalla mia knowledge base"




"""

# Define the user message template
qna_user_message_template = """
###Context
Here are some documents and their page number that are relevant to the question mentioned below.
(context)

###Question
{question}


"""

# prompt: write code that breaks the loop after 30 minutes


class TimeoutException(Exception):
    pass

def alarm_handler(signum, frame):
    raise TimeoutException("Timed out!")

# Initialize conversation history
conversation_history = []

def predict(user_input, timeout_seconds=1800): # 30 minutes = 1800 seconds
    
    filter = "/content/drive/My Drive/Colab Notebooks/medical/Conoscenze-unito.pdf"
    relevant_document_chunks = vectorstore.similarity_search(user_input, k=10,filter={"source": filter})
    context_list = [d.page_content + "\ ###Page: " + str(d.metadata['page']) + "\n\n " for d in relevant_document_chunks]
    context_for_query = ".".join(context_list) + "this is all thhe context I have"
    
    global conversation_history

    conversation_history.append({"role": "user", "content": user_input})
    
    # Prepare the prompt with conversation history
    current_prompt = [
    {'role': 'system','content': qna_system_message},
    {'role': 'user','content': qna_user_message_template.format(
        context=context_for_query,
        question=user_input
        )
    }
    ]
    current_prompt.extend(conversation_history)
    
    # Set signal handler
    #signal.signal(signal.SIGALRM, alarm_handler)
    #signal.alarm(timeout_seconds)  # Produce SIGALRM in `timeout_seconds` seconds

    try:
        chat_completion = client.chat.completions.create(
            messages=current_prompt,
            model="deepseek-r1-distill-llama-70b",  # Replace with your actual model name llama3-8b-8192 deepseek-r1-distill-llama-70b
        )
        bot_response = chat_completion.choices[0].message.content
        conversation_history.append({"role": "assistant", "content": bot_response})
     #   signal.alarm(0) # Cancel the alarm
        return bot_response
    except TimeoutException:
        print("The request timed out.")
     #   signal.alarm(0)  # Cancel the alarm
        return "The request timed out."
    except Exception as e:
        print(f"An error occurred: {e}")
      #  signal.alarm(0) # Cancel the alarm
        return "An error occurred during the conversation."

    while True:
        response = chat_with_bot_timeout(user_input)
        #print("Mat:", response)

        user_input = input("You: ")
        if user_input.lower() in ["quit", "exit"]:
            break
                    

    prediction = response.choices[0].message.content.strip()

    #except Exception as e:
     #   prediction = str(e)

    # While the prediction is made, log boh the inputs and outputs to a local log file
    # while writing to the log file, ensure that the commit scheduler is locked to avoid parallel
    # access
    
    json_data = {
                    "user_input": user_input,
                    "retrieved_context": context_for_query,
                    "model_response": prediction
                }
    with scheduler.lock:
        with log_file.open("a") as f:
            try:
                json.dump(json_data, f)
                #f.write(json.dumps(json_data))
                f.write("\n")
            except TypeError as e:
                logger.error(f"Failed to serialize JSON: {str(e)}")
                raise

    return prediction

# Set-up the Gradio UI
# Add text box.
textbox = gr.Textbox(placeholder="Enter your query here", lines=6)

# Create the interface
demo = gr.Interface(
    inputs=[textbox], fn=predict, outputs="text",
    title="I Mat - Your Mental Trainer",
    description="This web API presents an interface to interact with your mental trainer Mat",
    concurrency_limit=16
)

demo.queue()
demo.launch(share=True)