Update app.py

app.py

@@ -1,59 +1,106 @@
 import streamlit as st
-import sounddevice as sd
-from pydub import AudioSegment
+import base64
+import io
+from huggingface_hub import InferenceClient
+from gtts import gTTS
+from audiorecorder import audiorecorder
 import speech_recognition as sr
 
-input_devices = sd.query_devices(kind='input')
-print("Dispositivos de entrada de audio disponibles:")
-for i, device in enumerate(input_devices):
-    print(f"{i + 1}. {device['name']}")
-
-# Selecciona el dispositivo de audio
-selected_device_index = int(input("Selecciona el número del dispositivo de entrada de audio: ")) - 1
-selected_device = input_devices[selected_device_index]
-
-# Imprime la información del dispositivo seleccionado
-print(f"\nDispositivo seleccionado: {selected_device['name']}")
-print(f"Índice: {selected_device['index']}")
-print(f"Canales: {selected_device['max_input_channels']}")
-print(f"Frecuencia de muestreo: {selected_device['default_samplerate']} Hz")
-
-# Configuración del grabador de audio
-fs = 44100  # Frecuencia de muestreo
-duration = 10  # Duración máxima de la grabación en segundos
-
-# Muestra el botón para iniciar/parar la grabación
-if st.button("Iniciar/Parar Grabación"):
-    st.write("Grabando...")
-
-    # Grabar audio
-    audio_data = sd.rec(int(fs * duration), samplerate=fs, channels=1, dtype="int16")
-    sd.wait()
-
-    st.write("Grabación completada.")
-
-    # Guarda la grabación en un archivo temporal
-    with st.spinner("Procesando grabación..."):
-        temp_file_path = "grabacion.wav"
-        audio_segment = AudioSegment.from_int(signal=audio_data, sample_width=2, frame_rate=fs, channels=1)
-        audio_segment.export(temp_file_path, format="wav")
-
-        # Reproduce la grabación
-        st.audio(temp_file_path, format="audio/wav", start_time=0)
-
-        # Reconocimiento de voz con Google
-        recognizer = sr.Recognizer()
-        audio_file = sr.AudioFile(temp_file_path)
-        with audio_file as source:
-            try:
-                audio_text = recognizer.recognize_google(
-                    source, language="es-ES", show_all=False
-                )
-                st.write("Texto reconocido:", audio_text)
-            except sr.UnknownValueError:
-                st.warning("No se detectó ninguna entrada de audio.")
-            except sr.RequestError as e:
-                st.error(f"Error en la solicitud al servicio de reconocimiento de voz: {e}")
-
-        # Elimina el archivo temporal
-        st.audio_recorder_cleanup()
+if "history" not in st.session_state:
+    st.session_state.history = []
+
+def recognize_speech(audio_data, show_messages=True):
+    recognizer = sr.Recognizer()
+    audio_recording = sr.AudioFile(audio_data)
+
+    with audio_recording as source:
+        audio = recognizer.record(source)
+
+    try:
+        audio_text = recognizer.recognize_google(audio, language="es-ES")
+        if show_messages:
+            st.subheader("Texto Reconocido:")
+            st.write(audio_text)
+            st.success("Reconocimiento de voz completado.")
+    except sr.UnknownValueError:
+        st.warning("No se pudo reconocer el audio. ¿Intentaste grabar algo?")
+        audio_text = ""
+    except sr.RequestError:
+        st.error("Hablame para comenzar!")
+        audio_text = ""
+
+    return audio_text
+
+def format_prompt(message, history):
+    prompt = "<s>"
+
+    for user_prompt, bot_response in history:
+        prompt += f"[INST] {user_prompt} [/INST]"
+        prompt += f" {bot_response}</s> "
+
+    prompt += f"[INST] {message} [/INST]"
+    return prompt
+
+def generate(audio_text, history, temperature=None, max_new_tokens=512, top_p=0.95, repetition_penalty=1.0):
+    client = InferenceClient("mistralai/Mixtral-8x7B-Instruct-v0.1")
+
+    temperature = float(temperature) if temperature is not None else 0.9
+    if temperature < 1e-2:
+        temperature = 1e-2
+    top_p = float(top_p)
+
+    generate_kwargs = dict(
+        temperature=temperature,
+        max_new_tokens=max_new_tokens,
+        top_p=top_p,
+        repetition_penalty=repetition_penalty,
+        do_sample=True,
+        seed=42,)
+
+    formatted_prompt = format_prompt(audio_text, history)
+    stream = client.text_generation(formatted_prompt, **generate_kwargs, stream=True, details=True, return_full_text=True)
+    response = ""
+
+    for response_token in stream:
+        response += response_token.token.text
+    
+    response = ' '.join(response.split()).replace('</s>', '')
+    audio_file = text_to_speech(response, speed=1.3)
+    return response, audio_file
+
+def text_to_speech(text, speed=1.3):
+    tts = gTTS(text=text, lang='es')
+    audio_fp = io.BytesIO()
+    tts.write_to_fp(audio_fp)
+    audio_fp.seek(0)
+    return audio_fp
+
+def audio_play(audio_fp):
+    st.audio(audio_fp.read(), format="audio/mp3", start_time=0)
+
+def display_recognition_result(audio_text, output, audio_file):
+    if audio_text:
+        st.session_state.history.append((audio_text, output))  
+
+    if audio_file is not None:
+        st.markdown(
+            f"""<audio autoplay="autoplay" controls="controls" src="data:audio/mp3;base64,{base64.b64encode(audio_file.read()).decode()}" type="audio/mp3" id="audio_player"></audio>""",
+            unsafe_allow_html=True)
+
+def main():
+    st.title("Chatbot +VAD to TTS")
+    audio_data = audiorecorder("Habla para grabar", "Deteniendo la grabación...")
+    icon_path = "https://www.iconfinder.com/icons/171506/download/png/512"
+    st.image(icon_path, caption='Habla para grabar', use_column_width=True)
+    
+    if not audio_data.empty():
+        st.audio(audio_data.export().read(), format="audio/wav")
+        audio_data.export("audio.wav", format="wav")
+        audio_text = recognize_speech("audio.wav")
+
+        if audio_text:
+            output, audio_file = generate(audio_text, history=st.session_state.history)  
+            display_recognition_result(audio_text, output, audio_file)
+
+if __name__ == "__main__":
+    main()