update

util.py

@@ -42,7 +42,8 @@ def tokenize(text, tokenizer_type, color_num=5):
             token_bytes = bytes(token_str, "utf-8")
             # json_dumps = json.dumps(token_str)
         else:
-            return
+            logger.error(f"typeError for token {token_id} with {type(token)} " + json.dumps({"text": text, "tokenizer_type": tokenizer_type}, ensure_ascii=False))
+            continue
 
         # ⭐
         table.append(