michelleyunun commited on
Commit
7b2cccc
1 Parent(s): 83f3b5b

Upload tokenizer

Browse files
Files changed (1) hide show
  1. tokenizer.json +354 -2
tokenizer.json CHANGED
@@ -1290,7 +1290,183 @@
1290
  "нÑĭ": 1228,
1291
  "ĠгÑĮей": 1229,
1292
  "ĠкÑĬалай": 1230,
1293
- "ĠÑħÑĮанава": 1231
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1294
  },
1295
  "merges": [
1296
  "Ð °",
@@ -2424,7 +2600,183 @@
2424
  "н Ñĭ",
2425
  "ĠгÑĮ ей",
2426
  "ĠкÑĬ алай",
2427
- "ĠÑħÑĮан ава"
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
2428
  ]
2429
  }
2430
  }
 
1290
  "нÑĭ": 1228,
1291
  "ĠгÑĮей": 1229,
1292
  "ĠкÑĬалай": 1230,
1293
+ "ĠÑħÑĮанава": 1231,
1294
+ "ĠСеб": 1232,
1295
+ "ĠÐĴаÑĬ": 1233,
1296
+ "Ġвине": 1234,
1297
+ "беÑĤда": 1235,
1298
+ "ĠâĢĶ": 1236,
1299
+ "Ġпекни": 1237,
1300
+ "ĠкÑĬенин": 1238,
1301
+ "ĠÑĩипин": 1239,
1302
+ "нÑĭй": 1240,
1303
+ "ĠгÑĮейеÑĤ": 1241,
1304
+ "ĠСебÑĢ": 1242,
1305
+ "ÑĤÓĢ": 1243,
1306
+ "аÑĢиз": 1244,
1307
+ "ĠдаÑģÑĤ": 1245,
1308
+ "ĠгÑĬавÑĥÑĢ": 1246,
1309
+ "акÑĮÑĥна": 1247,
1310
+ "кÑĬе": 1248,
1311
+ "ĠкÑĥÑĮÑĤÑıÑħ": 1249,
1312
+ "ĠдаÑģÑĤан": 1250,
1313
+ "ĠгÑĬавÑĥÑĢда": 1251,
1314
+ "неда": 1252,
1315
+ "ĠгÑĢан": 1253,
1316
+ "еÑĢна": 1254,
1317
+ "ĠÑįк": 1255,
1318
+ "ĠÑįÑģкеÑĢвил": 1256,
1319
+ "ĠÑħкадаÑĢ": 1257,
1320
+ "ĠЧан": 1258,
1321
+ "ĠкÑħÑĮана": 1259,
1322
+ "ĠÑģегÑĮнеда": 1260,
1323
+ "ĠгÑĢаниÑĨадиз": 1261,
1324
+ "еÑĢе": 1262,
1325
+ "Ġамани": 1263,
1326
+ "дÑĥÑĢни": 1264,
1327
+ "ĠккÓĢ": 1265,
1328
+ "ĠÑħаÑĢ": 1266,
1329
+ "адай": 1267,
1330
+ "ĠÑģÑĥÑĢа": 1268,
1331
+ "ĠаваÑĤда": 1269,
1332
+ "ĠÑħÑĬван": 1270,
1333
+ "ĠÑĨвана": 1271,
1334
+ "ĠкÑĮилиÑħÑĬ": 1272,
1335
+ "ийа": 1273,
1336
+ "ĠÑĤÓĢÑĥн": 1274,
1337
+ "беÑĢеда": 1275,
1338
+ "ĠÑĢекÑĮе": 1276,
1339
+ "ĠкÑĬÑĥлдÑĥÑĢни": 1277,
1340
+ "ĠÑĤÓĢваÑĢни": 1278,
1341
+ "ĠÑħкÑıгÑĬда": 1279,
1342
+ "ĠÑĢаÑħкÑĥда": 1280,
1343
+ "ĠкÑĬакÑĬаÑĤна": 1281,
1344
+ "ĠÐłÑĥÑĪ": 1282,
1345
+ "ĠкÑĥÑĮмекда": 1283,
1346
+ "ÑħÑĬийа": 1284,
1347
+ "Ġгададив": 1285,
1348
+ "ĠÐĶж": 1286,
1349
+ "ĠккÓĢида": 1287,
1350
+ "агÑĮи": 1288,
1351
+ "Ġаг": 1289,
1352
+ "ĠгÑĮиÑģ": 1290,
1353
+ "ĠгÑĮанал": 1291,
1354
+ "зе": 1292,
1355
+ "ĠдагÑĮи": 1293,
1356
+ "ĠнеÑĦ": 1294,
1357
+ "абзава": 1295,
1358
+ "вайди": 1296,
1359
+ "ĠÐĵÑĮакÓĢ": 1297,
1360
+ "ĠÑįÑĢзе": 1298,
1361
+ "ĠÑĪеÑĬ": 1299,
1362
+ "ĠÑĩÑĥбандивай": 1300,
1363
+ "ĠгÑĮиÑģабзава": 1301,
1364
+ "ае": 1302,
1365
+ "дж": 1303,
1366
+ "айдж": 1304,
1367
+ "ĠкÑĮÑĥл": 1305,
1368
+ "ĠкÑĬаÑĩÑĥда": 1306,
1369
+ "ĠкÑĬаÑĩÑĥÑĢла": 1307,
1370
+ "еÑĢбайдж": 1308,
1371
+ "ĠÐĽÐ¸ÑĤв": 1309,
1372
+ "Ñĥп": 1310,
1373
+ "ĠкÑĬаÑĤ": 1311,
1374
+ "Ġне": 1312,
1375
+ "ĠÐIJкÑĬ": 1313,
1376
+ "кÑĮван": 1314,
1377
+ "ĠÑĩÓĢалаÑħ": 1315,
1378
+ "Ġ(": 1316,
1379
+ "ĠгаÑĤ": 1317,
1380
+ "ĠбаÑĪ": 1318,
1381
+ "ÑĨа": 1319,
1382
+ "ĠпаÑĤал": 1320,
1383
+ "ĠÑĦенава": 1321,
1384
+ "ĠÐĽÐµÐ¶": 1322,
1385
+ "ĠÑįвеÑĨа": 1323,
1386
+ "ĠÑĩпин": 1324,
1387
+ "ĠбаÑĪламиÑĪ": 1325,
1388
+ "ĠÐĽÐµÐ¶ÐµÑĤ": 1326,
1389
+ "Ñĥв": 1327,
1390
+ "икÑĬ": 1328,
1391
+ "ĠÐijак": 1329,
1392
+ "Ġок": 1330,
1393
+ "ĠУ": 1331,
1394
+ "ĠкÑĢаÑĢ": 1332,
1395
+ "агÑĮан": 1333,
1396
+ "егÑĬ": 1334,
1397
+ "Ġзем": 1335,
1398
+ "ĠÑĩав": 1336,
1399
+ "ÑĥÑĮд": 1337,
1400
+ "ĠгÑĮина": 1338,
1401
+ "лÑı": 1339,
1402
+ "ĠаÑĤÓĢÑĥз": 1340,
1403
+ "ĠÐĶжагÑĮан": 1341,
1404
+ "ĠземлÑı": 1342,
1405
+ "ĠземлÑıк": 1343,
1406
+ "ĠкÑĥдна": 1344,
1407
+ "ÑĥÑĢÑĥл": 1345,
1408
+ "ĠмеÑĢÑĤ": 1346,
1409
+ "Ġбина": 1347,
1410
+ "ĠбÑĥÑĢÑĥл": 1348,
1411
+ "ĠкÓĢÑĥкÓĢ": 1349,
1412
+ "оÑĢо": 1350,
1413
+ "ÑĥÑĮнелди": 1351,
1414
+ "абÑĢиз": 1352,
1415
+ "ĠбÑĥбадини": 1353,
1416
+ "Ġдидени": 1354,
1417
+ "ĠаÑĢабÑĢиз": 1355,
1418
+ "ебели": 1356,
1419
+ "бÑĥÑĢÑĥни": 1357,
1420
+ "ĠвилаÑıÑĤда": 1358,
1421
+ "Ġгададивай": 1359,
1422
+ "ĠмÑĥÑĮкÑĥÑĮбÑĥÑĢÑĥни": 1360,
1423
+ "ĠТагиев": 1361,
1424
+ "ĠÑĤавÑĥнвай": 1362,
1425
+ "ĠÑįкÑĥÑĮнелди": 1363,
1426
+ "ĠмеÑĢÑĤебели": 1364,
1427
+ "ĠбÑĥÑĢÑĥлгÑĬан": 1365,
1428
+ "ĠкÓĢÑĥкÓĢвал": 1366,
1429
+ "ĠаниÑħÑĬ": 1367,
1430
+ "ĠмÑĥгÑĮÑĥбаÑĤдин": 1368,
1431
+ "ĠÑģÑĤанÑĨиÑıдин": 1369,
1432
+ "ĠакÑĬваздай": 1370,
1433
+ "ĠÑħÑĥÑĪ": 1371,
1434
+ "азни": 1372,
1435
+ "аÑĤнавай": 1373,
1436
+ "ĠгалаÑĤнавай": 1374,
1437
+ "ĠаÑĤай": 1375,
1438
+ "ĠÑįвел": 1376,
1439
+ "ĠкÑĬÑĥлаз": 1377,
1440
+ "ĠÐŃв": 1378,
1441
+ "Ġжедай": 1379,
1442
+ "най": 1380,
1443
+ "ееÑģ": 1381,
1444
+ "ĠиÑĤ": 1382,
1445
+ "ĠÑģив": 1383,
1446
+ "Ġзал": 1384,
1447
+ "иникай": 1385,
1448
+ "ĠÑĤийиз": 1386,
1449
+ "ĠÑıда": 1387,
1450
+ "ĠбееÑģ": 1388,
1451
+ "аваÑĢиз": 1389,
1452
+ "ĠÑĨаваÑĢиз": 1390,
1453
+ "ĠСев": 1391,
1454
+ "ĠйиÑĤ": 1392,
1455
+ "Ġанавай": 1393,
1456
+ "ĠÑĨÓĢайиникай": 1394,
1457
+ "ĠкÑħÑĮидай": 1395,
1458
+ "ĠÑĦейиÑĤÓĢа": 1396,
1459
+ "ĠкÓĢваÑĩел": 1397,
1460
+ "ĠÑĩизваÑĩ": 1398,
1461
+ "ĠкÑĬеÑĤнен": 1399,
1462
+ "ĠкÓĢевнавай": 1400,
1463
+ "ÑĤÓĢани": 1401,
1464
+ "ĠиÑĤем": 1402,
1465
+ "ĠÑģивиз": 1403,
1466
+ "ĠйиÑĤаÑĢ": 1404,
1467
+ "адивай": 1405,
1468
+ "ĠÑĩавай": 1406,
1469
+ "оÑĦ": 1407
1470
  },
1471
  "merges": [
1472
  "Ð °",
 
2600
  "н Ñĭ",
2601
  "ĠгÑĮ ей",
2602
  "ĠкÑĬ алай",
2603
+ "ĠÑħÑĮан ава",
2604
+ "ĠС еб",
2605
+ "ĠÐĴ аÑĬ",
2606
+ "Ġвин е",
2607
+ "б еÑĤда",
2608
+ "ĠâĢ Ķ",
2609
+ "Ġпек ни",
2610
+ "ĠкÑĬен ин",
2611
+ "ĠÑĩип ин",
2612
+ "нÑĭ й",
2613
+ "ĠгÑĮей еÑĤ",
2614
+ "ĠСеб ÑĢ",
2615
+ "ÑĤ ÓĢ",
2616
+ "аÑĢ из",
2617
+ "Ġд аÑģÑĤ",
2618
+ "ĠгÑĬ авÑĥÑĢ",
2619
+ "акÑĮ Ñĥна",
2620
+ "кÑĬ е",
2621
+ "ĠкÑĥÑĮÑĤÑı Ñħ",
2622
+ "ĠдаÑģÑĤ ан",
2623
+ "ĠгÑĬавÑĥÑĢ да",
2624
+ "н еда",
2625
+ "Ġг ÑĢан",
2626
+ "еÑĢ на",
2627
+ "ĠÑį к",
2628
+ "ĠÑį ÑģкеÑĢвил",
2629
+ "ĠÑħк адаÑĢ",
2630
+ "ĠЧ ан",
2631
+ "ĠкÑħÑĮ ана",
2632
+ "ĠÑģегÑĮ неда",
2633
+ "ĠгÑĢан иÑĨадиз",
2634
+ "еÑĢ е",
2635
+ "Ġам ани",
2636
+ "д ÑĥÑĢни",
2637
+ "Ġк кÓĢ",
2638
+ "ĠÑħ аÑĢ",
2639
+ "ад ай",
2640
+ "ĠÑģ ÑĥÑĢа",
2641
+ "Ġав аÑĤда",
2642
+ "ĠÑħÑĬ ван",
2643
+ "ĠÑĨ вана",
2644
+ "ĠкÑĮил иÑħÑĬ",
2645
+ "ий а",
2646
+ "ĠÑĤÓĢ Ñĥн",
2647
+ "б еÑĢеда",
2648
+ "ĠÑĢекÑĮ е",
2649
+ "ĠкÑĬÑĥл дÑĥÑĢни",
2650
+ "ĠÑĤÓĢваÑĢ ни",
2651
+ "ĠÑħкÑıгÑĬ да",
2652
+ "ĠÑĢаÑħ кÑĥда",
2653
+ "ĠкÑĬакÑĬ аÑĤна",
2654
+ "ĠÐł ÑĥÑĪ",
2655
+ "ĠкÑĥÑĮмек да",
2656
+ "ÑħÑĬ ийа",
2657
+ "Ġгадад ив",
2658
+ "ĠÐĶ ж",
2659
+ "ĠккÓĢ ида",
2660
+ "агÑĮ и",
2661
+ "ĠаР³",
2662
+ "ĠгÑĮ иÑģ",
2663
+ "ĠгÑĮ анал",
2664
+ "з е",
2665
+ "Ġд агÑĮи",
2666
+ "Ġн еÑĦ",
2667
+ "аб зава",
2668
+ "вай ди",
2669
+ "ĠÐĵÑĮ акÓĢ",
2670
+ "ĠÑįÑĢ зе",
2671
+ "ĠÑĪе ÑĬ",
2672
+ "ĠÑĩÑĥбан дивай",
2673
+ "ĠгÑĮиÑģ абзава",
2674
+ "аРµ",
2675
+ "д ж",
2676
+ "ай дж",
2677
+ "ĠкÑĮ Ñĥл",
2678
+ "ĠкÑĬаÑĩ Ñĥда",
2679
+ "ĠкÑĬаÑĩ ÑĥÑĢла",
2680
+ "еÑĢб айдж",
2681
+ "ĠÐĽÐ¸ÑĤ в",
2682
+ "ÑĥÐ ¿",
2683
+ "ĠкÑĬ аÑĤ",
2684
+ "Ġн е",
2685
+ "ĠÐIJ кÑĬ",
2686
+ "кÑĮ ван",
2687
+ "ĠÑĩÓĢал аÑħ",
2688
+ "Ġ (",
2689
+ "Ġг аÑĤ",
2690
+ "Ġб аÑĪ",
2691
+ "ÑĨ а",
2692
+ "ĠпаÑĤ ал",
2693
+ "ĠÑĦен ава",
2694
+ "ĠÐĽ еж",
2695
+ "ĠÑįве ÑĨа",
2696
+ "ĠÑĩп ин",
2697
+ "ĠбаÑĪ ламиÑĪ",
2698
+ "ĠÐĽÐµÐ¶ еÑĤ",
2699
+ "Ñĥ в",
2700
+ "ик ÑĬ",
2701
+ "ĠÐij ак",
2702
+ "Ġо к",
2703
+ "ĠÐ £",
2704
+ "Ġк ÑĢаÑĢ",
2705
+ "агÑĮ ан",
2706
+ "еР³ÑĬ",
2707
+ "Ġз ем",
2708
+ "ĠÑĩ ав",
2709
+ "ÑĥÑĮ д",
2710
+ "ĠгÑĮ ина",
2711
+ "л Ñı",
2712
+ "ĠаÑĤ ÓĢÑĥз",
2713
+ "ĠÐĶж агÑĮан",
2714
+ "Ġзем лÑı",
2715
+ "ĠземлÑı к",
2716
+ "Ġк Ñĥдна",
2717
+ "ÑĥÑĢ Ñĥл",
2718
+ "Ġм еÑĢÑĤ",
2719
+ "Ġб ина",
2720
+ "Ġб ÑĥÑĢÑĥл",
2721
+ "ĠкÓĢ ÑĥкÓĢ",
2722
+ "о ÑĢо",
2723
+ "ÑĥÑĮн елди",
2724
+ "аб ÑĢиз",
2725
+ "ĠбÑĥб адини",
2726
+ "Ġдиде ни",
2727
+ "ĠаÑĢ абÑĢиз",
2728
+ "еб ели",
2729
+ "бÑĥÑĢ Ñĥни",
2730
+ "ĠвилаÑıÑĤ да",
2731
+ "Ġгадад ивай",
2732
+ "ĠмÑĥÑĮкÑĥÑĮ бÑĥÑĢÑĥни",
2733
+ "ĠТаги ев",
2734
+ "ĠÑĤавÑĥн вай",
2735
+ "ĠÑįк ÑĥÑĮнелди",
2736
+ "ĠмеÑĢÑĤ ебели",
2737
+ "ĠбÑĥÑĢÑĥл гÑĬан",
2738
+ "ĠкÓĢÑĥкÓĢ вал",
2739
+ "Ġан иÑħÑĬ",
2740
+ "ĠмÑĥгÑĮÑĥбаÑĤ дин",
2741
+ "ĠÑģÑĤанÑĨиÑı дин",
2742
+ "ĠакÑĬваз дай",
2743
+ "ĠÑħ ÑĥÑĪ",
2744
+ "аз ни",
2745
+ "аÑĤ навай",
2746
+ "Ġгал аÑĤнавай",
2747
+ "ĠаÑĤ ай",
2748
+ "ĠÑįв ел",
2749
+ "ĠкÑĬÑĥл аз",
2750
+ "ĠÐŃ Ð²",
2751
+ "Ġжед ай",
2752
+ "н ай",
2753
+ "е еÑģ",
2754
+ "Ġи ÑĤ",
2755
+ "ĠÑģ ив",
2756
+ "Ġз ал",
2757
+ "ин икай",
2758
+ "ĠÑĤ ийиз",
2759
+ "ĠÑı да",
2760
+ "Ġб ееÑģ",
2761
+ "ав аÑĢиз",
2762
+ "ĠÑĨ аваÑĢиз",
2763
+ "ĠС ев",
2764
+ "Ġй иÑĤ",
2765
+ "Ġан авай",
2766
+ "ĠÑĨÓĢай иникай",
2767
+ "ĠкÑħÑĮ идай",
2768
+ "ĠÑĦей иÑĤÓĢа",
2769
+ "ĠкÓĢваÑĩ ел",
2770
+ "ĠÑĩиз ваÑĩ",
2771
+ "ĠкÑĬеÑĤн ен",
2772
+ "ĠкÓĢев навай",
2773
+ "ÑĤÓĢ ани",
2774
+ "ĠиÑĤ ем",
2775
+ "ĠÑģив из",
2776
+ "ĠйиÑĤ аÑĢ",
2777
+ "ад ивай",
2778
+ "ĠÑĩ авай",
2779
+ "о ÑĦ"
2780
  ]
2781
  }
2782
  }