haruyuu commited on
Commit
1a8a2ea
1 Parent(s): 3b1b2bb

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +29 -3
README.md CHANGED
@@ -21,11 +21,37 @@ Finetuned model from viT5 for Chinese MMORPG translation.
21
  Sino-Vietnamese phrases to normal conversation style while preserving named entities.
22
 
23
  ## Uses
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
24
 
25
- <!-- Address questions around how the model is intended to be used, including the foreseeable users of the model and those affected by the model. -->
26
- Step 1: Map all Chinese word from original text to Sino-Vietnamese with <code>map.json</code> file
27
 
28
- Step 2: Load model and generate
 
 
 
 
 
 
29
 
30
  ## Training Data
31
 
 
21
  Sino-Vietnamese phrases to normal conversation style while preserving named entities.
22
 
23
  ## Uses
24
+ Step 1: Map all Chinese word from original text to Sino-Vietnamese with [map.json](https://huggingface.co/haruyuu/viT5_han-vie_v1.1/blob/main/map.json) file
25
+ ```python
26
+ with open('map.json', encoding = 'utf-8') as f:
27
+ map = json.load(f)
28
+ global map
29
+
30
+ def mapping(text):
31
+ for i in text:
32
+ try:
33
+ x = ' ' + map[i] + ' '
34
+ text = text.replace(i, x)
35
+ except:
36
+ continue
37
+ return text.strip()
38
+
39
+ input_text = mapping('谁知道 “ 你三更半夜回家发现自己忘记带钥匙,家里又没有其他人在,这时你最大的愿望是什么? ” 的正确答案是什么呀?')
40
+ ```
41
+ Step 2: Load model and generate
42
+ ```python
43
+ from transformers import T5ForConditionalGeneration, T5Tokenizer
44
 
45
+ model = T5ForConditionalGeneration.from_pretrained('haruyuu/viT5_han-vie_v1.0')
46
+ tokenizer = T5Tokenizer.from_pretrained('haruyuu/viT5_han-vie_v1.0')
47
 
48
+ input_ids = tokenizer.encode(input_text, return_tensors="pt")
49
+ translated_ids = model.generate(input_ids)
50
+ translated_text = tokenizer.decode(translated_ids[0], skip_special_tokens=True)
51
+
52
+ print("Vietnamese Translation:", translated_text) # 'Ai biết, nửa đêm về nhà phát hiện ra mình quên chìa khóa, trong nhà không có ai, lúc này nguyện vọng lớn nhất của ngươi là gì? Đáp án chính xác là gì?'
53
+ print("\nTruth:", truth) # 'Ai biết nửa đêm về nhà phát hiện mình quên chìa khoá , trong nhà lại không có ai thì lúc này muốn nhất là cái gì ? Câu trả lời là gì thế anh em ?'
54
+ ```
55
 
56
  ## Training Data
57