gsvann commited on
Commit
83b5be8
·
1 Parent(s): b0adbe9

Update for Russian speech app.py

Browse files
Files changed (1) hide show
  1. app.py +4 -3
app.py CHANGED
@@ -27,7 +27,7 @@ def translate_text(text):
27
  return translated_text[0]['translation_text']
28
 
29
  # load text-to-speech checkpoint
30
- model = VitsModel.from_pretrained("voxxer/speecht5_finetuned_commonvoice_ru_translit")
31
  tokenizer = VitsTokenizer.from_pretrained("facebook/mms-tts-rus")
32
 
33
  def synthesise(text):
@@ -47,12 +47,13 @@ def speech_to_speech_translation(audio):
47
  return 16000, synthesised_speech[0]
48
 
49
 
50
- title = "Cascaded STST"
51
  description = """
52
  * В начале происходит распознавание речи с помощью модели openai/whisper-small.
53
  * Затем полученный текст переводится сначала на английский с помощью Helsinki-NLP/opus-mt-mul-en, а потом на русский с помощью Helsinki-NLP/opus-mt-en-ru
54
  * На последнем шаге полученный текст озвучивается с помощью fine-tune-говой версии microsoft/speecht5_tts - voxxer/speecht5_finetuned_commonvoice_ru_translit
55
- Demo for cascaded speech-to-speech translation (STST), mapping from source speech in any language to target speech in Russian. Demo uses facebook/mms-tts-rus model for text-to-speech:
 
56
  ![Cascaded STST](https://huggingface.co/datasets/huggingface-course/audio-course-images/resolve/main/s2st_cascaded.png "Diagram of cascaded speech to speech translation")
57
  """
58
 
 
27
  return translated_text[0]['translation_text']
28
 
29
  # load text-to-speech checkpoint
30
+ model = VitsModel.from_pretrained("facebook/mms-tts-rus")
31
  tokenizer = VitsTokenizer.from_pretrained("facebook/mms-tts-rus")
32
 
33
  def synthesise(text):
 
47
  return 16000, synthesised_speech[0]
48
 
49
 
50
+ title = "Cascaded STST for Russian"
51
  description = """
52
  * В начале происходит распознавание речи с помощью модели openai/whisper-small.
53
  * Затем полученный текст переводится сначала на английский с помощью Helsinki-NLP/opus-mt-mul-en, а потом на русский с помощью Helsinki-NLP/opus-mt-en-ru
54
  * На последнем шаге полученный текст озвучивается с помощью fine-tune-говой версии microsoft/speecht5_tts - voxxer/speecht5_finetuned_commonvoice_ru_translit
55
+
56
+ Demo for cascaded speech-to-speech translation (STST), mapping from source speech in any language to target speech in Russian. Demo uses openai/whisper-small for speech-to-text and facebook/mms-tts-rus model for text-to-speech:
57
  ![Cascaded STST](https://huggingface.co/datasets/huggingface-course/audio-course-images/resolve/main/s2st_cascaded.png "Diagram of cascaded speech to speech translation")
58
  """
59