Create bert_token_handler.py

bert_token_handler.py

@@ -0,0 +1,15 @@
+from transformers import BertTokenizer
+
+tokenizer = BertTokenizer.from_pretrained(
+    pretrained_model_name_or_path='bert-base-chinese',
+    cache_dir=None,
+    force_download=False
+)
+
+sents = ['选择珠江花园的原因就是方便。',
+'笔记本的键盘确实爽。',
+'房间太小。其他的都一般。',
+'今天才知道这书还有第6卷，真有点郁闷。',
+'机器背面似平被撕了张什么标签，残胶还在。']
+
+tokenizer, sents