leo-hessianai-70b-chat / added_tokens.json
bjoernp's picture
Upload tokenizer
1ef6e41
raw
history blame
4.23 kB
{
"<|im_end|>": 32001,
"<|im_start|>": 32000,
"<|padding_token_0|>": 32002,
"<|padding_token_100|>": 32102,
"<|padding_token_101|>": 32103,
"<|padding_token_102|>": 32104,
"<|padding_token_103|>": 32105,
"<|padding_token_104|>": 32106,
"<|padding_token_105|>": 32107,
"<|padding_token_106|>": 32108,
"<|padding_token_107|>": 32109,
"<|padding_token_108|>": 32110,
"<|padding_token_109|>": 32111,
"<|padding_token_10|>": 32012,
"<|padding_token_110|>": 32112,
"<|padding_token_111|>": 32113,
"<|padding_token_112|>": 32114,
"<|padding_token_113|>": 32115,
"<|padding_token_114|>": 32116,
"<|padding_token_115|>": 32117,
"<|padding_token_116|>": 32118,
"<|padding_token_117|>": 32119,
"<|padding_token_118|>": 32120,
"<|padding_token_119|>": 32121,
"<|padding_token_11|>": 32013,
"<|padding_token_120|>": 32122,
"<|padding_token_121|>": 32123,
"<|padding_token_122|>": 32124,
"<|padding_token_123|>": 32125,
"<|padding_token_124|>": 32126,
"<|padding_token_125|>": 32127,
"<|padding_token_12|>": 32014,
"<|padding_token_13|>": 32015,
"<|padding_token_14|>": 32016,
"<|padding_token_15|>": 32017,
"<|padding_token_16|>": 32018,
"<|padding_token_17|>": 32019,
"<|padding_token_18|>": 32020,
"<|padding_token_19|>": 32021,
"<|padding_token_1|>": 32003,
"<|padding_token_20|>": 32022,
"<|padding_token_21|>": 32023,
"<|padding_token_22|>": 32024,
"<|padding_token_23|>": 32025,
"<|padding_token_24|>": 32026,
"<|padding_token_25|>": 32027,
"<|padding_token_26|>": 32028,
"<|padding_token_27|>": 32029,
"<|padding_token_28|>": 32030,
"<|padding_token_29|>": 32031,
"<|padding_token_2|>": 32004,
"<|padding_token_30|>": 32032,
"<|padding_token_31|>": 32033,
"<|padding_token_32|>": 32034,
"<|padding_token_33|>": 32035,
"<|padding_token_34|>": 32036,
"<|padding_token_35|>": 32037,
"<|padding_token_36|>": 32038,
"<|padding_token_37|>": 32039,
"<|padding_token_38|>": 32040,
"<|padding_token_39|>": 32041,
"<|padding_token_3|>": 32005,
"<|padding_token_40|>": 32042,
"<|padding_token_41|>": 32043,
"<|padding_token_42|>": 32044,
"<|padding_token_43|>": 32045,
"<|padding_token_44|>": 32046,
"<|padding_token_45|>": 32047,
"<|padding_token_46|>": 32048,
"<|padding_token_47|>": 32049,
"<|padding_token_48|>": 32050,
"<|padding_token_49|>": 32051,
"<|padding_token_4|>": 32006,
"<|padding_token_50|>": 32052,
"<|padding_token_51|>": 32053,
"<|padding_token_52|>": 32054,
"<|padding_token_53|>": 32055,
"<|padding_token_54|>": 32056,
"<|padding_token_55|>": 32057,
"<|padding_token_56|>": 32058,
"<|padding_token_57|>": 32059,
"<|padding_token_58|>": 32060,
"<|padding_token_59|>": 32061,
"<|padding_token_5|>": 32007,
"<|padding_token_60|>": 32062,
"<|padding_token_61|>": 32063,
"<|padding_token_62|>": 32064,
"<|padding_token_63|>": 32065,
"<|padding_token_64|>": 32066,
"<|padding_token_65|>": 32067,
"<|padding_token_66|>": 32068,
"<|padding_token_67|>": 32069,
"<|padding_token_68|>": 32070,
"<|padding_token_69|>": 32071,
"<|padding_token_6|>": 32008,
"<|padding_token_70|>": 32072,
"<|padding_token_71|>": 32073,
"<|padding_token_72|>": 32074,
"<|padding_token_73|>": 32075,
"<|padding_token_74|>": 32076,
"<|padding_token_75|>": 32077,
"<|padding_token_76|>": 32078,
"<|padding_token_77|>": 32079,
"<|padding_token_78|>": 32080,
"<|padding_token_79|>": 32081,
"<|padding_token_7|>": 32009,
"<|padding_token_80|>": 32082,
"<|padding_token_81|>": 32083,
"<|padding_token_82|>": 32084,
"<|padding_token_83|>": 32085,
"<|padding_token_84|>": 32086,
"<|padding_token_85|>": 32087,
"<|padding_token_86|>": 32088,
"<|padding_token_87|>": 32089,
"<|padding_token_88|>": 32090,
"<|padding_token_89|>": 32091,
"<|padding_token_8|>": 32010,
"<|padding_token_90|>": 32092,
"<|padding_token_91|>": 32093,
"<|padding_token_92|>": 32094,
"<|padding_token_93|>": 32095,
"<|padding_token_94|>": 32096,
"<|padding_token_95|>": 32097,
"<|padding_token_96|>": 32098,
"<|padding_token_97|>": 32099,
"<|padding_token_98|>": 32100,
"<|padding_token_99|>": 32101,
"<|padding_token_9|>": 32011
}