HuggingFaceLLM

app-last.py

@@ -52,10 +52,7 @@ documents_paths = {
 
 global session_state
 session_state = {"index": False,
-                 "documents_loaded": False, 
-                 "document_db": None, 
-                 "original_message": None, 
-                 "clarification": False}
+                 "documents_loaded": False}
 
 INSTRUCTION_1 = 'In italiano, chiedi sempre se la domanda si riferisce agli "Osservatori Blockchain", "Osservatori Payment" oppure "Osservatori Metaverse".'
 INSTRUCTION_2 = 'Sei un assistente che risponde sempre in italiano alle domande basandosi solo sulle informazioni fornite nel contesto che ti darò. Se non trovi informazioni, rispondi "Puoi chiedere maggiori informazioni all\'ufficio di riferimento.". Se invece la domanda è completamente fuori contesto, non rispondere e rammenta il topic del contesto'
@@ -110,6 +107,7 @@ def generate(
             print("*** sources ***", sources)
             gr.Info("doc preparati con ", sources)
             
+            
             conversation.append({"role": "user", "content": f'Contesto: {context}\n\n Domanda: {message}. Rispondi in italiano'})
 
             ######
@@ -125,6 +123,7 @@ def generate(
                 print(info_message)
                 gr.Info(info_message)"""
             
+            session_state["documents_loaded"] = True
             session_state["index"] = True
             
         else: ## CHIEDI CHIARIMENTO

backend.py

@@ -17,6 +17,7 @@ from IPython.display import Markdown, display
 #from langchain.embeddings.huggingface import HuggingFaceEmbeddings
 #from llama_index import LangchainEmbedding, ServiceContext
 from llama_index.llms.huggingface import HuggingFaceLLM
+from llama_index.embeddings.huggingface import HuggingFaceEmbedding
 
 
 
@@ -36,8 +37,11 @@ model.tokenizer = AutoTokenizer.from_pretrained("google/gemma-2b-it")
 model.eval()"""
 
 # what models will be used by LlamaIndex:
-Settings.embed_model = InstructorEmbedding(model_name="hkunlp/instructor-base")
+#Settings.embed_model = InstructorEmbedding(model_name="hkunlp/instructor-base")
 #Settings.embed_model = LangchainEmbedding(HuggingFaceEmbeddings(model_name='sentence-transformers/all-MiniLM-L6-v2'))
+Settings.embed_model = HuggingFaceEmbedding(model_name="BAAI/bge-small-en-v1.5")
+
+
 
 SYSTEM_PROMPT = """You are an AI assistant that answers questions in a friendly manner, based on the given source documents. Here are some rules you always follow:
 - Generate human readable output, avoid creating output with gibberish text.
@@ -56,7 +60,7 @@ model_id = "google/gemma-2-2b-it"
 llm = HuggingFaceLLM(
     context_window=4096,
     max_new_tokens=2048,
-    generate_kwargs={"temperature": 0.0, "do_sample": False},
+    generate_kwargs={"temperature": 0.1, "do_sample": False},
     query_wrapper_prompt=query_wrapper_prompt,
     tokenizer_name=model_id,
     model_name=model_id,