app.py

# JBHF/VERTAAL-APP-EAGLE-SHELTER/app.py - 16-04-2024, 14u00m CET
# WERKT AL: DE OPGENOMEN AUDIO MBV DEZE APP, audio.wav, HOEFT NIET PERSÉ GEPERSISTEERD TE WORDEN !!!!!!

# https://github.com/theevann/streamlit-audiorecorder
# An audio Recorder for streamlit
#
# Description
# Audio recorder component for streamlit.
# It creates a button to start the recording and takes three arguments:
# the start button text, the stop button text, and the pause button text.
# If the pause button text is not specified, the pause button is not displayed.
#
# Parameters
# The signature of the component is:
# audiorecorder(start_prompt="Start recording", stop_prompt="Stop recording", pause_prompt="", key=None):
# The prompt parameters are self-explanatory, and the optional key parameter is used internally by streamlit 
# to properly distinguish multiple audiorecorders on the page.
#
# Return value
# The component's return value is a pydub AudioSegment.
#
# All AudioSegment methods are available, in particular you can:
# - Play the audio in the frontend with st.audio(audio.export().read())
# - Save the audio to a file with audio.export("audio.wav", format="wav")
#   JB: Waarom zie ik in mijn HF Spaces omgeving de file "audio.wav" niet terug ?
#   JB: 08-04-2024 - Mogelijk is caching al voldoende (anders file persistence)#
#                    Zie hiervoor:
#
# CACHING:
# ========
# STREAMLIT - Caching overview - Streamlit Docs - 07-04-2024 !!!!!
# https://docs.streamlit.io/develop/concepts/architecture/caching
#
# EVERNOTE :
# https://www.evernote.com/shard/s313/nl/41973486/31880952-8bd9-41ef-8047-ca844143e833/
# STREAMLIT - Caching overview - Streamlit Docs - 07-04-2024 !!!!!
#
# 08-04-2024
#
# EN
#
# PERSISTENCE:
# ============
# HF SPACES STREAMLIT APPS - GET PASSWORDS AND ACCESS TOKENS FROM HF ENVIRONMENT ! - PERSISTENT STORAGE ON HF SPACES ! - EAGLE SHELTER VERTAAL APP ETC ! - app.py · julien-c/persistent-data at main - 20-03-2024 !!!!! !!!!! !!!!!
# https://huggingface.co/spaces/julien-c/persistent-data/blob/main/app.py
#
# ——->
#
# DUPLICATED TO:
# https://huggingface.co/spaces/JBHF/persistent-data?logs=container
#
# EVERNOTE :
# https://www.evernote.com/shard/s313/nl/41973486/1b07098e-3376-4316-abb3-b3d0996ebf03/
# HF SPACES STREAMLIT APPS - GET PASSWORDS AND ACCESS TOKENS FROM HF ENVIRONMENT ! - PERSISTENT STORAGE ON HF SPACES ! - EAGLE SHELTER VERTAAL APP ETC ! - app.py · julien-c/persistent-data at main - 20-03-2024 !!!!! !!!!! !!!!!
#
# 08-04-2024
#

import os
import streamlit as st

###########################################################################################################
# VERTALING
# DAADWERKELIJK MET MIC OPGENOMEN EN GETRANSCRIBEERD STUKJE OEKRAÍENSE TEKST TER TEST 
# OM HIERONDER NAAR NEDERLANDS TE VERTALEN MBV LLM MIXTRAL-8x7b-GROQ! :
# text_to_transcribe: 
# князем Данилом Романовичем біля Звенигорода і названий на честь його сина Лева Сьогодні Львів має площу 155 квадратних кілометрів з безліччю громадських будинків, кафе, магазинів
# ...

# TEXTS FROM UKRAIN TO TRANSLATE:
# 1 - Short text from https://youtu.be/1_vO60OkkrY?list=PLeeQI3aTmCn9Lu9mgSCmmc-KkGI95-Ie6 :
text_to_transcribe = """князем Данилом Романовичем біля Звенигорода і названий на честь його сина Лева Сьогодні Львів має площу 155 квадратних кілометрів з безліччю громадських будинків, кафе, магазинів"""
#
# 2 - complete, long text from https://youtu.be/1_vO60OkkrY?list=PLeeQI3aTmCn9Lu9mgSCmmc-KkGI95-Ie6 :
text_to_transcribe = """

Львів – одне з моїх найулюбленіших міст України. Я вже відвідувала це місто п’ять разів, але хочу повертатися туди знову і знову. Львів – це історична столиця Галичини і Західної України. Це великий культурний, політичний і релігійний центр України.
Львів був заснований у середині XIII ст. князем Данилом Романовичем біля Звенигорода і названий на честь його сина, Лева. Сьогодні Львів має площу 155 км. кв. Найбільш виразна частина Львова включає проспект Шевченка і Городецьку вулицю, з безліччю громадських будинків, готелів, кафе, магазинів і банків у стилі ХІХ-ХХ ст.
Львів – дивовижне місто, яке наскрізь просякнуте п’янким ароматом кави і шоколаду. Світ візит я починаю із серця Львова – Площа ринок, потім я підіймаюся на Ратушу. Я люблю відвідувати заклади, які стали візитівкою міста такі як: Копальня кави, Майстерня шоколаду, Гасова Лямпа, Дім Легенд. Львів — єдине в Україні місто, у якому збереглися архітектурні споруди часів Ренесансу. Найбільш яскравими прикладами цього стилю служать церква Успіння і каплиця Трьох Святих. 
Основні пам'ятники міста — пам'ятник А. Міцкевичу, І. Франку, В. Стефанику, С. Бандері. Екскурсія середньовічними замками також не залишає нікого байдужим.
Неможливо передати словами всю красу і велич Львова, треба бачити це самостійно. Це старовинне місто, яке зачаровує своїми традиціями, красою та шармом. 

"""
st.write("text_to_transcribe: ", text_to_transcribe)

# Groq in Langchain
# Groq is even compatible with LangChain. To begin using Groq in LangChain, download the library:
# !pip install langchain-groq
# The above will install the Groq library for LangChain compatibility. Now let’s try it out in code:

# Import the necessary libraries.
from langchain_core.prompts import ChatPromptTemplate
from langchain_groq import ChatGroq

groq_api_key = os.environ['GROQ_API_KEY']
# groq_api_key = "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" # os.environ['GROQ_API_KEY']
# groq_api_key = "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" # JB OK 24-03-2024
st.write("groq_api_key: ", groq_api_key)

# Initialize a ChatGroq object with a temperature of 0 and the "mixtral-8x7b-32768" model.
llm = ChatGroq(temperature=0, model_name="mixtral-8x7b-32768")
# The above code does the following:
# -Creates a new ChatGroq object named llm
# -Sets the temperature parameter to 0, indicating that the responses should be more predictable
# -Sets the model_name parameter to “mixtral-8x7b-32768“, specifying the language model to use

# Define the system message introducing the AI assistant's capabilities.
# system = "You are an expert Coding Assistant."
# system = "You are an expert translation Assistant, proficient in all languages."
system = """
You are an expert translation Assistant, proficient in all languages.
You only deliver the translation as output, nothing else. No comments or explanations.
"""

# Define a placeholder for the user's input.
human = "{text}"

# Create a chat prompt consisting of the system and human messages.
prompt = ChatPromptTemplate.from_messages([("system", system), ("human", human)])

# Invoke the chat chain with the user's input.
chain = prompt | llm

# response = chain.invoke({"text": "Write a simple code to generate Fibonacci numbers in Rust?"}) # ORIGINAL
# response = chain.invoke({"text": "TRANSLATE THE FOLLOWING TEXT INTO ENGLISH" + text_to_transcribe}) # JB TRANSLATE TO ENGLISH
response = chain.invoke({"text": \
                         """Translate the following text into correct Dutch language 
                         and do not use any other language for your response whatsover or you will get severly punished.
                         Do not translate names of places, towns and other geographical names.
                         Do not translate names of people.
                         Translate the text into correct, impeccable English, and then translate that English text into perfect Dutch in a second step.
                         """ + text_to_transcribe}) # JB TRANSLATE TO DUTCH


text_to_transcribe = response.content

response = chain.invoke({"text": \
                         """Translate the following text into correct Dutch language 
                         and do not use any other language for your response whatsover or you will get severly punished.
                         Do not translate names of places, towns and other geographical names.
                         Do not translate names of people.
                         Translate the text into correct, impeccable perfect Dutch.
                         """ + text_to_transcribe}) # JB TRANSLATE TO DUTCH

# Print the Response.
# print(response.content)
st.write(response.content)

# - The code generates a Chat Prompt using the ChatPromptTemplate class.
# - The prompt comprises two messages: one from the “system” (the AI assistant) and one from the “human” (the user).
# - The system message presents the AI assistant as an expert Coding Assistant.
# - The human message serves as a placeholder for the user’s input.
# - The llm method invokes the llm chain to produce a response based on the provided Prompt and the user’s input.



###########################################################################################################


###########################################################################################################
#
# Installation:
# pip install streamlit-audiorecorder
# Note: This package uses ffmpeg, so it should be installed for this audiorecorder to work properly.
#
# On ubuntu/debian: sudo apt update && sudo apt install ffmpeg
# On mac: brew install ffmpeg

import streamlit as st
from audiorecorder import audiorecorder

st.title("Audio Recorder")
# audiorecorder(start_prompt="Start recording", stop_prompt="Stop recording", pause_prompt="", key=None):
audio = audiorecorder("Click to record", "Click to stop recording", "Click to pause recording")


# JB:
# https://docs.streamlit.io/develop/concepts/architecture/caching
# @st.cache_data
# @st.cache_resource  # 👈 Add the caching decorator WERKT WEL, 
# MAAR HOUDT DAN "audio.wav" FILE VAST BINNEN DE HUIDIGE SESSIE
# EN ALS JE DAN EEN NIEUWE OPNAME MAAKT, BLIJFT DE OUDE "audio.wav" BESTAAN
# EN WORDT DAN NIET MET DE NIEUWE OPNAME OVERSCHREVEN !
#@st.cache_resource  # 👈 Add the caching decorator
def audio_export(audio_wav_file, format):
    # audio.export("audio.wav", format="wav") # ORIGINAL
    audio.export(audio_wav_file, format=format)

if len(audio) > 0:
    # To play audio in frontend:
    st.audio(audio.export().read())  

    # To save audio to a file, use pydub export method:
    # https://docs.streamlit.io/develop/concepts/architecture/caching
    # @st.cache_data
    # @st.cache_data
    # audio.export("audio.wav", format="wav") # ORIGINAL
    audio_export("audio.wav", format="wav")   # JB 08-04-2024

    # To get audio properties, use pydub AudioSegment properties:
    st.write(f"Frame rate: {audio.frame_rate}, Frame width: {audio.frame_width}, Duration: {audio.duration_seconds} seconds")


st.button("Rerun")
###########################################################################################################


###########################################################################################################
# TEST
# ZIE:
# infer_faster_whisper_large_v2 (CPU VERSIE !) 08-04-2024-COLAB-CPU-PYTHON3-tvscitechtalk.ipynb
# https://colab.research.google.com/drive/1EreiFx825oIrR2P43XSXjHXx01EWi6ZH#scrollTo=vuLjbPxexPDj&uniqifier=5

from faster_whisper import WhisperModel

model_size = "large-v2"

# Run on GPU with FP16
# model = WhisperModel(model_size, device="cuda", compute_type="float16") # ORIGINAL, DRAAIT OP COLAB T4 GPU OK

# TEST: Run on CPU
# model = WhisperModel(model_size, device="cpu", compute_type="float16") # JB, DRAAIT OP COLAB CPU OK ?
# ValueError: Requested float16 compute type, but the target device or backend do not support efficient float16 computation.
#
# st.write("Loading the WhisperModel: model = WhisperModel(model_size, device=\"cpu\")")
# model = WhisperModel(model_size, device="cpu") # , compute_type="float16") # JB, DRAAIT OP COLAB CPU OK: JA; HF SPACES STREAMLIT FREE TIER: JB OK !
# JB: Dit gebruikt mijn HF Token !
# st.write("Ready Loading the WhisperModel: model = WhisperModel(model_size, device=\"cpu\")")

st.write("Loading the WhisperModel: model = WhisperModel(model_size, device=\"cpu\", compute_type=\"int8\")")
model = WhisperModel(model_size, device="cpu", compute_type="int8") # , compute_type="float16") # JB
# JB: Dit gebruikt mijn HF Token !
# st.write("Ready Loading the WhisperModel: model = WhisperModel(model_size, device=\"cpu\")")
# LOADING OF model = WhisperModel(model_size, device="cpu") TAKES ABOUT 1 MINUTE ON HF SPACES STREAMLIT FREE TIER
#
st.write("Ready Loading the WhisperModel: model = WhisperModel(model_size, device=\"cpu\", compute_type=\"int8\")")
# LOADING OF model = WhisperModel(model_size, device=\"cpu\", compute_type=\"int8\") TAKES ABOUT 33 sec (Na RERUN 1 minute) ON HF SPACES STREAMLIT FREE TIER


# USING:
# model = WhisperModel(model_size, device="cpu", compute_type="int8") # JB
# segments, info = model.transcribe("sam_altman_lex_podcast_367.flac", beam_size=1)

# /content/Ukrainian podcast #10 Traveling to Lviv - Подорож до Льова. SLOW UKRAINIAN.mp3
# segments, info = model.transcribe("Ukrainian podcast #10 Traveling to Lviv - Подорож до Льова. SLOW UKRAINIAN.mp3", beam_size=1)
# TEST:
segments, info = model.transcribe("audio.wav", beam_size=1) # DIT WERKT: GEDURENDE DE SESSIE BLIJFT audio.wav FILE BESCHIKBAAR IN DEZE APP !!!!!


# print("Detected language '%s' with probability %f" % (info.language, info.language_probability))
st.write("Detected language '%s' with probability %f" % (info.language, info.language_probability))
st.write("")
st.write("info.all_language_probs     : ", info.all_language_probs)
st.write("len(info.all_language_probs): ", len(info.all_language_probs))
# 99

st.write("")

st.write("info: ", info)

# Ukrainian podcast #10 Traveling to Lviv - Подорож до Льова. SLOW UKRAINIAN.mp3 :
st.write("info.duration: ", info.duration)
# 233.8249375
# time: 3.98 ms (started: 2024-03-15 10:55:15 +00:00)
# minutes = int(info.duration / 60)
# seconds = info.duration - minutes*60
minutes = int(info.duration / 60)
seconds = info.duration - minutes*60

st.write(minutes," minutes and ", seconds, " seconds")


text_to_transcribe = ""
for segment in segments:
    # print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))
    st.write("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))
    text_to_transcribe = text_to_transcribe + " " + segment.text

st.write("---------------------------------------------------------------------")

#text_to_transcribe = ""
#st.write("TOTAL TEXT TO TRANSCRIBE:")
#for segment in segments:
#    st.write(segment.text)
#    text_to_transcribe = text_to_transcribe + " " + segment
#    # print(segment)

#st.write("text_to_transcribe: ", text_to_transcribe)
# DAADWERKELIJK MET MIC OPGENOMEN EN GETRANSCRIBEERD STUKJE OEKRAÍENSE TEKST TER TEST 
# OM HIERONDER NAAR NEDERLANDS TE VERTALEN MBV LLM MIXTRAL-8x7b-GROQ! :
# text_to_transcribe: 
# князем Данилом Романовичем біля Звенигорода і названий на честь його сина Лева Сьогодні Львів має площу 155 квадратних кілометрів з безліччю громадських будинків, кафе, магазинів

###########################################################################################################
# VERTALEN NAAR NEDERLANDS VAN DE CONTENT IN text_to_transcribe:
# (PROBEER OOK EEN 2 STAPS VERTALING: EERST NAAR ENGELS,
#  EN DAN DIE ENGELSE TEKST NAAR NEDERLANDS TE VERTALEN.
#  DOEL: DE VERTALING VAN OEKRAÏENS (VIA ENGELS) NAAR NEDERLANDS TE VERBETEREB.)
response = chain.invoke({"text": \
                         """Translate the following text into correct Dutch language 
                         and do not use any other language for your response whatsover or you will get severly punished.
                         Do not translate names of places, towns and other geographical names.
                         Do not translate names of people.
                         Only give the translation and not anything else!
                         No comments, no explanations, only give the translated text!
                         """ + text_to_transcribe}) # JB TRANSLATE TO DUTCH

# Print the Response.
# print(response.content)
st.write("ORIGINELE TEKST              : ", text_to_transcribe)
st.write("NEDERLANDSE VERTALING HIERVAN: ", response.content)