yuvscherbatov
commited on
Commit
•
ec0d8fb
1
Parent(s):
439b79b
Update app.py
Browse files
app.py
CHANGED
@@ -33,7 +33,7 @@ def translator(text):
|
|
33 |
translated_text = translation_pipe(text)
|
34 |
return translated_text[0]['translation_text']
|
35 |
|
36 |
-
def
|
37 |
translated_text = translator(translated_text)
|
38 |
inputs = vits_tokenizer(translated_text, return_tensors="pt")
|
39 |
with torch.no_grad():
|
@@ -42,13 +42,13 @@ def synthesise(translated_text):
|
|
42 |
|
43 |
def speech_to_speech_translation(audio):
|
44 |
translated_text = transform_audio_to_speech_en(audio)
|
45 |
-
synthesised_speech =
|
46 |
synthesised_speech = (synthesised_speech.numpy() * 32767).astype(np.int16)
|
47 |
return 16000, synthesised_speech[0]
|
48 |
|
49 |
title = "Cascaded STST"
|
50 |
description = """
|
51 |
-
В
|
52 |
распознающая английскую речь и преобразующая ее в строку. Затем с помощью модели Helsinki-NLP/opus-mt-en-ru(https://huggingface.co/Helsinki-NLP/opus-mt-en-ru) текст
|
53 |
переводится на русский язык и преобразуется в русскую речь с помощью модели facebook/mms-tts-rus(https://huggingface.co/facebook/mms-tts-rus).
|
54 |
"""
|
|
|
33 |
translated_text = translation_pipe(text)
|
34 |
return translated_text[0]['translation_text']
|
35 |
|
36 |
+
def transform_audio_to_speech_ru(translated_text):
|
37 |
translated_text = translator(translated_text)
|
38 |
inputs = vits_tokenizer(translated_text, return_tensors="pt")
|
39 |
with torch.no_grad():
|
|
|
42 |
|
43 |
def speech_to_speech_translation(audio):
|
44 |
translated_text = transform_audio_to_speech_en(audio)
|
45 |
+
synthesised_speech = transform_audio_to_speech_ru(translated_text)
|
46 |
synthesised_speech = (synthesised_speech.numpy() * 32767).astype(np.int16)
|
47 |
return 16000, synthesised_speech[0]
|
48 |
|
49 |
title = "Cascaded STST"
|
50 |
description = """
|
51 |
+
В приложении используется модель SEW-D-tiny(https://huggingface.co/asapp/sew-d-tiny-100k-ft-ls100h),
|
52 |
распознающая английскую речь и преобразующая ее в строку. Затем с помощью модели Helsinki-NLP/opus-mt-en-ru(https://huggingface.co/Helsinki-NLP/opus-mt-en-ru) текст
|
53 |
переводится на русский язык и преобразуется в русскую речь с помощью модели facebook/mms-tts-rus(https://huggingface.co/facebook/mms-tts-rus).
|
54 |
"""
|