Spaces:
Sleeping
Sleeping
Abdurahman
commited on
Commit
•
77775b5
1
Parent(s):
6a8d513
app
Browse files
util.py
CHANGED
@@ -13,7 +13,8 @@ long_texts = [
|
|
13 |
"يېزا مەنزىرىسى ھەقىقەتەن گۈزەل.",
|
14 |
"بىزنىڭ ئۆيدە تۆت تەكچە، تۆتىلىسى تەك-تەكچە",
|
15 |
"تۆۋەندە ئالىمنىڭ تەرجىمىھالى بىلەن تونۇشۇپ ئۆتەيلى.",
|
16 |
-
"شېئىردىكى تۇيغۇ ئورنىنى تاپالمىغان ئىستىلىستىكىلىق ۋاسىتە كۆزگە چېلىقمايدۇ."
|
|
|
17 |
]
|
18 |
|
19 |
# Front-End Utils
|
@@ -86,9 +87,9 @@ def calculate_pronunciation_accuracy(reference_text, output_text, language_code=
|
|
86 |
out_segment = output_text_clean[j1:j2]
|
87 |
|
88 |
if opcode == 'equal': # Matching characters
|
89 |
-
comparison_md += f'<span style="color: blue;">{ref_segment}</span>'
|
90 |
elif opcode in ['replace', 'delete', 'insert']: # Mismatched or missing
|
91 |
-
comparison_md += f'<span style="color:
|
92 |
|
93 |
comparison_md = f"<div>{comparison_md}</div>"
|
94 |
|
@@ -96,4 +97,7 @@ def calculate_pronunciation_accuracy(reference_text, output_text, language_code=
|
|
96 |
|
97 |
def remove_punctuation(text):
|
98 |
"""Helper function to remove punctuation from text."""
|
99 |
-
|
|
|
|
|
|
|
|
13 |
"يېزا مەنزىرىسى ھەقىقەتەن گۈزەل.",
|
14 |
"بىزنىڭ ئۆيدە تۆت تەكچە، تۆتىلىسى تەك-تەكچە",
|
15 |
"تۆۋەندە ئالىمنىڭ تەرجىمىھالى بىلەن تونۇشۇپ ئۆتەيلى.",
|
16 |
+
"شېئىردىكى تۇيغۇ ئورنىنى تاپالمىغان ئىستىلىستىكىلىق ۋاسىتە كۆزگە چېلىقمايدۇ.",
|
17 |
+
"قىلىچ قان تامغۇزسا، بەگ ئەل ئالىدۇ؛ قەلەمدىن سىياھتانسا، ئالتۇن كېلىدۇ."
|
18 |
]
|
19 |
|
20 |
# Front-End Utils
|
|
|
87 |
out_segment = output_text_clean[j1:j2]
|
88 |
|
89 |
if opcode == 'equal': # Matching characters
|
90 |
+
comparison_md += f'<span style="color: blue; font-size: 20px;">{ref_segment}</span>'
|
91 |
elif opcode in ['replace', 'delete', 'insert']: # Mismatched or missing
|
92 |
+
comparison_md += f'<span style="color: red; font-size: 20px;">{ref_segment}</span>'
|
93 |
|
94 |
comparison_md = f"<div>{comparison_md}</div>"
|
95 |
|
|
|
97 |
|
98 |
def remove_punctuation(text):
|
99 |
"""Helper function to remove punctuation from text."""
|
100 |
+
extra_punctuation = "–؛;،؟?«»‹›−—¬”“" # Add your additional custom punctuation from the training set here
|
101 |
+
all_punctuation = string.punctuation + extra_punctuation
|
102 |
+
|
103 |
+
return text.translate(str.maketrans('', '', all_punctuation))
|