Update app.py

app.py

@@ -16,17 +16,6 @@ install("datasets")
 install ("ipywidgets")
 
 
-#!pip install -q openai==1.23.2 \
- #               gcsfs>=2023.3.0 \
-  #              tiktoken==0.6.0 \
-   #             pypdf==4.0.1 \
-    #            langchain==0.1.9 \
-     #           langchain-community==0.0.32 \
-      #          chromadb==0.4.22 \
-       #         sentence-transformers==2.3.1 \
-        #        datasets
-
-
 ## Setup
 # Import the necessary Libraries
 import json
@@ -57,18 +46,6 @@ client = Groq(
 )
 
 
-
-
-#chat_completion = client.chat.completions.create(
- #   messages=[
-  #      {
-   #         "role": "user",
-    #        "content": "Explain the importance of fast language models"
-     #   }
-    #],
-   # model="llama3-8b-8192",
-#)
-
 # Define the embedding model and the vectorstore
 embedding_model= SentenceTransformerEmbeddings(model_name="thenlper/gte-large")
 
@@ -123,22 +100,23 @@ Il contesto contiene riferimenti a parti specifiche di documenti pertinenti alla
 La fonte per il contesto inizierà con il token ###Pagina
 
 Quando crei le tue risposte:
-1. Seleziona solo il contesto pertinente per rispondere alla domanda.
+1. Per rispondere all'utente basati principalmente sul contesto fornito nell'input che inizia con il token ###Contesto e in aggiunta usa anche le tue conoscenze di psicologia clinica.
 2. Segui gli step indicati in precedenza ma non indicare il numero di step nè lo step che stai seguendo.
 3. Usa un tono comunicativo: Deve essere rassicurante, flessibile e basato sull’empatia.
-4. Riconosci il contesto: Adatta il linguaggio al livello agonistico, all’età e agli obiettivi dell’atleta.
+4. Adatta il linguaggio al livello agonistico, all’età e agli obiettivi dell’atleta.
 5. Personalizza: Ogni atleta è unico, devi proporre soluzioni su misura partendo dalle informazioni raccolte.
 6. E' molto molto importante che faccia un massimo di due domande alla volta all'utente. Poi aspetta la sua risposta e utilizza la risposta come input per andare avanti nella tua procedura.
+7. Per ogni domanda successiva progredisci nei sei step in modo che la conversazione non si dilunghi eccessivamente. 
+
 Le domande dell'utente inizieranno con il token: ###Domanda.
 Se la domanda è irrilevante o se il contesto è vuoto - "Mi dispiace, questo è fuori dalla mia knowledge base"
 
-
-
-
 """
 
 # Define the user message template
+
 qna_user_message_template = """
+
 ###Context
 Here are some documents and their page number that are relevant to the question mentioned below.
 (context)
@@ -155,9 +133,6 @@ Here are some documents and their page number that are relevant to the question
 class TimeoutException(Exception):
     pass
 
-def alarm_handler(signum, frame):
-    raise TimeoutException("Timed out!")
-
 # Define the function that will be called when the user submits its feedback (to be called in Gradio)
 def save_feedback(user_input:str, context_for_query: str, prediction:str) -> None:
     """
@@ -168,20 +143,14 @@ def save_feedback(user_input:str, context_for_query: str, prediction:str) -> Non
             f.write(json.dumps({"user_input": user_input,"retrieved_context": context_for_query,"model_response": prediction}))
             f.write("\n")
 
-# json_data = {
- #               "user_input": user_input,
-  #              "retrieved_context": context_for_query,
-   #             "model_response": prediction
-    #            }
-
-
 # Initialize conversation history
+
 conversation_history = []
 
 def predict(user_input, timeout_seconds=1800): # 30 minutes = 1800 seconds
     
     filter = "/content/drive/My Drive/Colab Notebooks/medical/Conoscenze-unito.pdf"
-    relevant_document_chunks = vectorstore.similarity_search(user_input, k=10)
+    relevant_document_chunks = vectorstore.similarity_search(user_input, k=5)
     context_list = [d.page_content + "\ ###Page: " + str(d.metadata['page']) + "\n\n " for d in relevant_document_chunks]
     context_for_query = ".".join(context_list) + "this is all the context I have"
     
@@ -190,29 +159,22 @@ def predict(user_input, timeout_seconds=1800): # 30 minutes = 1800 seconds
     conversation_history.append({"role": "user", "content": user_input})
     
     # Prepare the prompt with conversation history
+    
     current_prompt = [
     {'role': 'system','content': qna_system_message},
-    {'role': 'user','content': qna_user_message_template.format(
-        context=context_for_query,
-        question=user_input
-        )
-    }
+    {'role': 'user','content': qna_user_message_template.format(context=context_for_query, question=user_input)}
     ]
+    
     current_prompt.extend(conversation_history)
     
-    # Set signal handler
-    #signal.signal(signal.SIGALRM, alarm_handler)
-    #signal.alarm(timeout_seconds)  # Produce SIGALRM in `timeout_seconds` seconds
-
     try:
         chat_completion = client.chat.completions.create(
             messages=current_prompt,
             model="deepseek-r1-distill-llama-70b",  # Replace with your actual model name llama3-8b-8192 deepseek-r1-distill-llama-70b
         )
         bot_response = chat_completion.choices[0].message.content
+        
         conversation_history.append({"role": "assistant", "content": bot_response})
-     #   signal.alarm(0) # Cancel the alarm
-        #return bot_response
         
     except TimeoutException:
         print("The request timed out.")
@@ -224,28 +186,13 @@ def predict(user_input, timeout_seconds=1800): # 30 minutes = 1800 seconds
       #  signal.alarm(0) # Cancel the alarm
         return "An error occurred during the conversation."
 
-    #while True:
-     #   response = chat_with_bot_timeout(user_input)
-        #print("Mat:", response)
-
-      #  user_input = input("You: ")
-       # if user_input.lower() in ["quit", "exit"]:
-        #    break
-
     prediction = bot_response
     
     #prediction = bot_response.choices[0].message.content.strip()
 
     save_feedback(user_input, context_for_query, prediction)
     
-    #except Exception as e:
-     #   prediction = str(e)
-
-    # While the prediction is made, log boh the inputs and outputs to a local log file
-    # while writing to the log file, ensure that the commit scheduler is locked to avoid parallel
-    # access
-
-    return prediction
+    return prediction, conversation_history
 
 # Set-up the Gradio UI
 # Add text box.