added introductory prompt

backend.py

@@ -69,14 +69,44 @@ def build_index(path: str):
     return index
 
 
-@spaces.GPU(duration=20)
+# Global variables
+global_index = None
+global_session_state = {}
+
+def initialize_global_state():
+    global global_index, global_session_state
+    global_index = None
+    global_session_state = {
+        "documents_loaded": False,
+        "document_db": None,
+        "original_message": None,
+        "clarification": False,
+        "conversation": []
+    }
+
+# Call this at the start of your script
+initialize_global_state()
+
+@spaces.GPU(duration=30)
 def handle_query(query_str: str, 
                  chat_history: list[tuple[str, str]], 
                  session: dict[str, Any]) -> Iterator[str]:
+    global global_index, global_session_state
     
-    global index
+    # Update global session state with any new information from the passed session
+    global_session_state.update(session)
     
-    if not session["index"]:
+    # Update conversation history
+    for user, assistant in chat_history:
+        global_session_state["conversation"].extend([
+            ChatMessage(role=MessageRole.USER, content=user),
+            ChatMessage(role=MessageRole.ASSISTANT, content=assistant),
+        ])
+    
+    # Add current query to conversation
+    global_session_state["conversation"].append(ChatMessage(role=MessageRole.USER, content=query_str))
+    
+    if global_index is None:
         matched_path = None
         words = query_str.lower()
         for key, path in documents_paths.items():
@@ -84,67 +114,39 @@ def handle_query(query_str: str,
                 matched_path = path
                 break
         if matched_path:
-            index = build_index(matched_path)
-            session["index"] = True
-            
-        else: ## CHIEDI CHIARIMENTO
-            conversation: List[ChatMessage] = []
-            for user, assistant in chat_history:
-                conversation.extend(
-                    [
-                        ChatMessage(role=MessageRole.USER, content=user),
-                        
-                        ChatMessage(role=MessageRole.ASSISTANT, content=assistant),
-                    ]
-                )
-            index = build_index("data/chiarimento.txt")     
-    
-    else:
-        # The index is already built, no need to rebuild it.
-        conversation: List[ChatMessage] = []
-        for user, assistant in chat_history:
-            conversation.extend(
-                [
-                    ChatMessage(role=MessageRole.USER, content=user),
-                    
-                    ChatMessage(role=MessageRole.ASSISTANT, content=assistant),
-                ]
-            )
-        #conversation.append( ChatMessage(role=MessageRole.USER, content=query_str))
-        #pass    
+            global_index = build_index(matched_path)
+            global_session_state["documents_loaded"] = True
+        else:
+            global_index = build_index("data/chiarimento.txt")
+            global_session_state["clarification"] = True
 
     try:
-          
         memory = ChatMemoryBuffer.from_defaults(token_limit=None)
         
-        
-        chat_engine = index.as_chat_engine(
-        chat_mode="condense_plus_context",
-        memory=memory,
-        similarity_top_k=4, 
-        response_mode="tree_summarize", #Good for summarization purposes
-
-        context_prompt = (
-        "Sei un assistente Q&A italiano di nome Odi, che risponde solo alle domande o richieste pertinenti in modo preciso."
-        " Quando un utente ti chiede informazioni su di te o sul tuo creatore puoi dire che sei un assistente ricercatore creato dagli Osservatori Digitali e fornire gli argomenti di cui sei esperto."
-        " Ecco i documenti rilevanti per il contesto:\n"
-        "{context_str}"
-        "\nIstruzione: Usa la cronologia delle chat precedenti, o il contesto sopra, per interagire e aiutare l'utente a rispondere alla sua domanda."
-          ),
-        verbose=False,
+        chat_engine = global_index.as_chat_engine(
+            chat_mode="condense_plus_context",
+            memory=memory,
+            similarity_top_k=4,
+            response_mode="tree_summarize",
+            context_prompt = (
+                "Sei un assistente Q&A italiano di nome Odi, che risponde solo alle domande o richieste pertinenti in modo preciso."
+                " Quando un utente ti chiede informazioni su di te o sul tuo creatore puoi dire che sei un assistente ricercatore creato dagli Osservatori Digitali e fornire gli argomenti di cui sei esperto."
+                " Ecco i documenti rilevanti per il contesto:\n"
+                "{context_str}"
+                "\nIstruzione: Usa la cronologia delle chat precedenti, o il contesto sopra, per interagire e aiutare l'utente a rispondere alla sua domanda."
+            ),
+            verbose=False,
         )
         
+        response = chat_engine.stream_chat(query_str, global_session_state["conversation"])
         
         outputs = []
-        response = chat_engine.stream_chat(query_str, conversation)
-        #response = chat_engine.chat(query_str)
         for token in response.response_gen:
-          #if not token.startswith("system:") and not token.startswith("user:"):
-          
             outputs.append(token)
-            #print(f"Generated token: {token}")
             yield "".join(outputs)
-          
+        
+        # Update the session with any changes
+        session.update(global_session_state)
         
     except Exception as e:
         yield f"Error processing query: {str(e)}"