.....

tabs/chatbot_tab.py

@@ -3,15 +3,13 @@ import os
 from datetime import datetime
 from extra_streamlit_components import tab_bar, TabBarItemData
 import io
-import base64
 from gtts import gTTS
 import soundfile as sf
-import sounddevice as sd
-import numpy as np
-import scipy.io.wavfile as wav
+import wavio
+from audio_recorder_streamlit import audio_recorder
 import speech_recognition as sr
-import time
-from sentence_transformers import SentenceTransformer
+import whisper
+import numpy as np
 from translate_app import tr
 import getpass
 from langchain_mistralai import ChatMistralAI
@@ -80,10 +78,11 @@ app = workflow.compile(checkpointer=memory)
 
 # @st.cache_data
 def init():
-    global config,thread_id, context,human_message1,ai_message1,language, app
+    global config,thread_id, context,human_message1,ai_message1,language, app, model_speech
     
     thread_id = datetime.now().strftime("%Y-%m-%d %H:%M:%S")
     config = {"configurable": {"thread_id": thread_id}}
+    model_speech = whisper.load_model("base") 
     
     context = """Tu es un Directeur Commercial, mal organisé, d'une entreprise qui commercialise une solution technologique B2B. """    
     human_message1 = """Je souhaites que nous ayons une conversation verbale entre un commercial de mon entreprise, Marc (moi),  et toi que je prospecte.
@@ -119,10 +118,11 @@ et mon équipe de vente n'est pas performante.
  
 Attention: Ce n'est pas toi qui m'aide, c'est moi qui t'aide avec ma solution.
 """
-    ai_message1 = "J'ai bien compris, je suis un Directeur Commercial prospecté et je réponds seulement à mes questions"   
+    ai_message1 = "J'ai bien compris, je suis un Directeur Commercial prospecté et je réponds seulement à tes questions. Je réponds à une seule question à la fois"   
 
     context = st.text_area(label=tr("Contexte:"), value=context)
     human_message1 = st.text_area(label=tr("Consigne"), value=human_message1,height=300)
+    ai_message1 = st.text_area(label=tr("Réponse du prospect"), value=ai_message1)
     messages = [
         SystemMessage(content=context),
         HumanMessage(content=human_message1),
@@ -174,60 +174,10 @@ def play_audio(custom_sentence, Lang_target, speed=1.0):
     # Lire l'audio dans Streamlit
     st.audio(new_audio_stream_bytesio, autoplay=True)
 
-def is_silent(data, threshold=0.01):
-    """Vérifie si le niveau audio est inférieur à un certain seuil (silence)"""
-    return np.abs(data).mean() < threshold
-
-def record_audio_until_silence(fs=44100, silence_duration=2):
-    # st.write("Enregistrement en cours... Parlez maintenant.")
-    audio_data = []
-    silence_start = None
-
-    while True:
-        # Enregistre un petit bout de son
-        data = sd.rec(int(fs * 2), samplerate=fs, channels=1, dtype='float32')
-        sd.wait()
-
-        # Ajoute le morceau au tableau d'audio
-        audio_data.append(data)
-
-        # Vérifie si le morceau est en silence
-        if is_silent(data):
-            if silence_start is None:
-                silence_start = time.time()  # Démarre le chronomètre du silence
-            elif time.time() - silence_start > silence_duration:
-                print("Silence détecté. Fin de l'enregistrement.")
-                break  # Arrête l'enregistrement si le silence dure suffisamment longtemps
-        else:
-            silence_start = None  # Réinitialise le chronomètre si le son est détecté
-
-    # Convertit la liste de tableaux en un seul tableau NumPy
-    audio_data = np.concatenate(audio_data)
-    audio_data = np.int16(audio_data * 32767)
-
-    # Sauvegarde le fichier audio en format WAV
-    wav.write("enregistrement.wav", fs, audio_data)
-    st.write("Enregistrement sauvegardé")
-
-def convert_audio_to_text(filename):
-    recognizer = sr.Recognizer()
-    with sr.AudioFile(filename) as source:
-        audio = recognizer.record(source)  # Lit le fichier audio
-
-    try:
-        # Utilise l'API Google pour la reconnaissance vocale
-        text = recognizer.recognize_google(audio, language='fr-FR')
-        return text
-    except sr.UnknownValueError:
-        st.write("Google Speech Recognition n'a pas pu comprendre l'audio.")
-        return ""
-    except sr.RequestError as e:
-        st.write(f"Erreur avec le service Google Speech Recognition; {e}")
-        return ""
 
 
 def run():
-    global thread_id, config
+    global thread_id, config, model_speech
    
     st.write("")
     st.write("")
@@ -243,7 +193,7 @@ def run():
         config,thread_id = init()
         query = ""
         st.button(label=tr("Validez"), type="primary")
-    else:
+    else:  # tab2
         try:
             config
             # On ne fait rien
@@ -253,27 +203,56 @@ def run():
         st.write("**thread_id:** "+thread_id)
         # query = st.text_area(label=tr("Vendeur:"), value="")
         query = ""
-        if st.button(label=tr("Cliquer pour enregistrer"), type="primary"):
-            record_audio_until_silence()  # Enregistre jusqu'à ce qu'il y ait 2 secondes de silence
-            query = convert_audio_to_text("enregistrement.wav") # Convertit l'audio en texte   
-            st.write("**Vendeur :** "+query)
-            # st.button(label=tr("Validez"), type="primary")
-            input_messages = [HumanMessage(query)]
-            
-        if query != "":
-            output = app.invoke(
-                {"messages": input_messages, "language": language},
-                config,
-            )
-            st.write("**Prospect :** "+output["messages"][-1].content)
+        audio_bytes = audio_recorder (pause_threshold=2.0,  sample_rate=16000, text=tr("Cliquez pour parler, puis attendre 2sec."), \
+                                      recording_color="#e8b62c", neutral_color="#1ec3bc", icon_size="6x",)
+    
+        if audio_bytes:
+            st.write("**"+tr("Vendeur")+" :**\n")
             # Fonction pour générer et jouer le texte en speech
+            st.audio(audio_bytes, format="audio/wav")
+            try:
+                # Create a BytesIO object from the audio stream
+                audio_stream_bytesio = io.BytesIO(audio_bytes)
+
+                # Read the WAV stream using wavio
+                wav = wavio.read(audio_stream_bytesio) 
 
+                # Extract the audio data from the wavio.Wav object
+                audio_data = wav.data
 
-            # Prononciation de la réponse
-            custom_sentence = output["messages"][-1].content
-            Lang_target = "fr"  # Exemple de langue détectée
-            # Joue l'audio
-            play_audio(custom_sentence, Lang_target, 1)
+                # Convert the audio data to a NumPy array
+                audio_input = np.array(audio_data, dtype=np.float32)
+                audio_input = np.mean(audio_input, axis=1)/32768
+                        
+                result = model_speech.transcribe(audio_input)
+                Lang_detected = result["language"]
+                query = result["text"]
+                st.write(tr("Langue détectée")+" : "+Lang_detected)
+                # Transcription Whisper (si result a été préalablement calculé)
+                st.write("**Vendeur :** "+query)
+            
+                if query != "":
+                    input_messages = [HumanMessage(query)]
+                    output = app.invoke(
+                        {"messages": input_messages, "language": language},
+                        config,
+                    )
+
+                    # Récupération de la réponse
+                    custom_sentence = output["messages"][-1].content
+                    
+                    # Joue l'audio
+                    if language=="French": Lang_target = "fr"  # Langue de la réponse
+                    play_audio(custom_sentence, Lang_target, 1)
+                    
+                    st.write("**Prospect :** "+custom_sentence)
+                    
+
+                    
+            except KeyboardInterrupt:
+                st.write(tr("Arrêt de la reconnaissance vocale."))
+            except:
+                st.write(tr("Problème, essayer de nouveau.."))
 
         
         '''