cllatMTK commited on
Commit
5c181ca
1 Parent(s): bd59338

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +7 -1
README.md CHANGED
@@ -204,7 +204,13 @@ We also integrate `chat_template` into [tokenizer_config.json](tokenizer_config.
204
  # ['▁', '你好', ',', '我', '可以', '幫助', '您', '解決', '各種', '問題', '、', '提供', '資訊', '和', '協助', '您', '完成', '許多', '不同', '的', '任務', '。', '例如', ':', '回答', '技術', '問題', '、', '提供', '建議', '、', '翻譯', '文字', '、', '尋找', '資料', '或', '協助', '您', '安排', '行程', '等', '。', '請', '告訴', '我', '如何', '能', '幫助', '您', '。']
205
  # ['▁', '太', '棒', '了', '!']
206
 
207
- >>> outputs = model.generate(tokenizer.apply_chat_template(chat, return_tensors="pt"), max_new_tokens=128)
 
 
 
 
 
 
208
  >>> print(tokenizer.decode(outputs[0]))
209
 
210
  ```
 
204
  # ['▁', '你好', ',', '我', '可以', '幫助', '您', '解決', '各種', '問題', '、', '提供', '資訊', '和', '協助', '您', '完成', '許多', '不同', '的', '任務', '。', '例如', ':', '回答', '技術', '問題', '、', '提供', '建議', '、', '翻譯', '文字', '、', '尋找', '資料', '或', '協助', '您', '安排', '行程', '等', '。', '請', '告訴', '我', '如何', '能', '幫助', '您', '。']
205
  # ['▁', '太', '棒', '了', '!']
206
 
207
+ >>> outputs = model.generate(tokenizer.apply_chat_template(chat, return_tensors="pt"),
208
+ >>> # adjust below parameters if necessary
209
+ >>> max_new_tokens=128,
210
+ >>> top_p=0.01,
211
+ >>> top_k=85,
212
+ >>> temperature=0.01)
213
+ >>>
214
  >>> print(tokenizer.decode(outputs[0]))
215
 
216
  ```