tokenizer_config.json

{
  "additional_special_tokens": [
    "<mask_1>",
    "<unk_2>",
    "<unk_3>",
    "<unk_4>",
    "<unk_5>",
    "<unk_6>",
    "<unk_7>",
    "<unk_8>",
    "<unk_9>",
    "<unk_10>",
    "<unk_11>",
    "<unk_12>",
    "<unk_13>",
    "<unk_14>",
    "<unk_15>",
    "<unk_16>",
    "<unk_17>",
    "<unk_18>",
    "<unk_19>",
    "<unk_20>",
    "<unk_21>",
    "<unk_22>",
    "<unk_23>",
    "<unk_24>",
    "<unk_25>",
    "<unk_26>",
    "<unk_27>",
    "<unk_28>",
    "<unk_29>",
    "<unk_30>",
    "<unk_31>",
    "<unk_32>",
    "<unk_33>",
    "<unk_34>",
    "<unk_35>",
    "<unk_36>",
    "<unk_37>",
    "<unk_38>",
    "<unk_39>",
    "<unk_40>",
    "<unk_41>",
    "<unk_42>",
    "<unk_43>",
    "<unk_44>",
    "<unk_45>",
    "<unk_46>",
    "<unk_47>",
    "<unk_48>",
    "<unk_49>",
    "<unk_50>",
    "<unk_51>",
    "<unk_52>",
    "<unk_53>",
    "<unk_54>",
    "<unk_55>",
    "<unk_56>",
    "<unk_57>",
    "<unk_58>",
    "<unk_59>",
    "<unk_60>",
    "<unk_61>",
    "<unk_62>",
    "<unk_63>",
    "<unk_64>",
    "<unk_65>",
    "<unk_66>",
    "<unk_67>",
    "<unk_68>",
    "<unk_69>",
    "<unk_70>",
    "<unk_71>",
    "<unk_72>",
    "<unk_73>",
    "<unk_74>",
    "<unk_75>",
    "<unk_76>",
    "<unk_77>",
    "<unk_78>",
    "<unk_79>",
    "<unk_80>",
    "<unk_81>",
    "<unk_82>",
    "<unk_83>",
    "<unk_84>",
    "<unk_85>",
    "<unk_86>",
    "<unk_87>",
    "<unk_88>",
    "<unk_89>",
    "<unk_90>",
    "<unk_91>",
    "<unk_92>",
    "<unk_93>",
    "<unk_94>",
    "<unk_95>",
    "<unk_96>",
    "<unk_97>",
    "<unk_98>",
    "<unk_99>",
    "<unk_100>",
    "<unk_101>",
    "<unk_102>"
  ],
  "eos_token": "</s>",
  "full_tokenizer_file": null,
  "mask_token": "<mask_2>",
  "mask_token_sent": "<mask_1>",
  "model_max_length": 1024,
  "name_or_path": "/mnt/container/ckpt/pegasusx-arxiv-8192-28052023114556/checkpoint-2400",
  "offset": 103,
  "pad_token": "<pad>",
  "sp_model_kwargs": {},
  "special_tokens_map_file": null,
  "tokenizer_class": "PegasusTokenizer",
  "unk_token": "<unk>"
}