Abdurahman commited on
Commit
77775b5
1 Parent(s): 6a8d513
Files changed (1) hide show
  1. util.py +8 -4
util.py CHANGED
@@ -13,7 +13,8 @@ long_texts = [
13
  "يېزا مەنزىرىسى ھەقىقەتەن گۈزەل.",
14
  "بىزنىڭ ئۆيدە تۆت تەكچە، تۆتىلىسى تەك-تەكچە",
15
  "تۆۋەندە ئالىمنىڭ تەرجىمىھالى بىلەن تونۇشۇپ ئۆتەيلى.",
16
- "شېئىردىكى تۇيغۇ ئورنىنى تاپالمىغان ئىستىلىستىكىلىق ۋاسىتە كۆزگە چېلىقمايدۇ."
 
17
  ]
18
 
19
  # Front-End Utils
@@ -86,9 +87,9 @@ def calculate_pronunciation_accuracy(reference_text, output_text, language_code=
86
  out_segment = output_text_clean[j1:j2]
87
 
88
  if opcode == 'equal': # Matching characters
89
- comparison_md += f'<span style="color: blue;">{ref_segment}</span>'
90
  elif opcode in ['replace', 'delete', 'insert']: # Mismatched or missing
91
- comparison_md += f'<span style="color: orange;">{ref_segment}</span>'
92
 
93
  comparison_md = f"<div>{comparison_md}</div>"
94
 
@@ -96,4 +97,7 @@ def calculate_pronunciation_accuracy(reference_text, output_text, language_code=
96
 
97
  def remove_punctuation(text):
98
  """Helper function to remove punctuation from text."""
99
- return text.translate(str.maketrans('', '', string.punctuation))
 
 
 
 
13
  "يېزا مەنزىرىسى ھەقىقەتەن گۈزەل.",
14
  "بىزنىڭ ئۆيدە تۆت تەكچە، تۆتىلىسى تەك-تەكچە",
15
  "تۆۋەندە ئالىمنىڭ تەرجىمىھالى بىلەن تونۇشۇپ ئۆتەيلى.",
16
+ "شېئىردىكى تۇيغۇ ئورنىنى تاپالمىغان ئىستىلىستىكىلىق ۋاسىتە كۆزگە چېلىقمايدۇ.",
17
+ "قىلىچ قان تامغۇزسا، بەگ ئەل ئالىدۇ؛ قەلەمدىن سىياھتانسا، ئالتۇن كېلىدۇ."
18
  ]
19
 
20
  # Front-End Utils
 
87
  out_segment = output_text_clean[j1:j2]
88
 
89
  if opcode == 'equal': # Matching characters
90
+ comparison_md += f'<span style="color: blue; font-size: 20px;">{ref_segment}</span>'
91
  elif opcode in ['replace', 'delete', 'insert']: # Mismatched or missing
92
+ comparison_md += f'<span style="color: red; font-size: 20px;">{ref_segment}</span>'
93
 
94
  comparison_md = f"<div>{comparison_md}</div>"
95
 
 
97
 
98
  def remove_punctuation(text):
99
  """Helper function to remove punctuation from text."""
100
+ extra_punctuation = "–؛;،؟?«»‹›−—¬”“" # Add your additional custom punctuation from the training set here
101
+ all_punctuation = string.punctuation + extra_punctuation
102
+
103
+ return text.translate(str.maketrans('', '', all_punctuation))