| {"bos_token": "<s>", "eos_token": "</s>", "unk_token": "<unk>", "sep_token": "</s>", "pad_token": "<pad>", "cls_token": "<s>", "mask_token": {"content": "<mask>", "single_word": false, "lstrip": true, "rstrip": false, "normalized": false}, "additional_special_tokens": ["<ar>", "<he>", "<vi>", "<id>", "<jv>", "<ms>", "<tl>", "<eu>", "<ml>", "<ta>", "<te>", "<af>", "<nl>", "<en>", "<de>", "<el>", "<bn>", "<hi>", "<mr>", "<ur>", "<fa>", "<fr>", "<it>", "<pt>", "<es>", "<bg>", "<ru>", "<ja>", "<ka>", "<ko>", "<th>", "<sw>", "<my>", "<zh>", "<kk>", "<tr>", "<et>", "<fi>", "<hu>", "</ar>", "</he>", "</vi>", "</id>", "</jv>", "</ms>", "</tl>", "</eu>", "</ml>", "</ta>", "</te>", "</af>", "</nl>", "</en>", "</de>", "</el>", "</bn>", "</hi>", "</mr>", "</ur>", "</fa>", "</fr>", "</it>", "</pt>", "</es>", "</bg>", "</ru>", "</ja>", "</ka>", "</ko>", "</th>", "</sw>", "</my>", "</zh>", "</kk>", "</tr>", "</et>", "</fi>", "</hu>"]} |