poonehmousavi commited on
Commit
3ec0562
1 Parent(s): 9e18b9f

Upload 2 files

Browse files
Files changed (2) hide show
  1. 500_unigram.vocab +500 -0
  2. normalizer.ckpt +3 -0
500_unigram.vocab ADDED
@@ -0,0 +1,500 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ <unk> 0
2
+ S -2.88235
3
+ ▁ -3.58593
4
+ E -3.63853
5
+ ▁DE -3.77958
6
+ ' -3.82185
7
+ T -4.01718
8
+ R -4.15337
9
+ U -4.29558
10
+ ▁LA -4.30786
11
+ ▁L -4.32102
12
+ I -4.37497
13
+ A -4.41527
14
+ É -4.41611
15
+ N -4.49243
16
+ ▁LE -4.50752
17
+ ▁EST -4.51213
18
+ O -4.51599
19
+ C -4.52696
20
+ P -4.58634
21
+ ▁IL -4.66918
22
+ ▁D -4.67445
23
+ ▁A -4.67767
24
+ G -4.74767
25
+ ▁À -4.82041
26
+ ON -4.86261
27
+ ▁ET -4.91762
28
+ ▁S -4.96847
29
+ ▁EN -4.97547
30
+ L -5.01103
31
+ ▁C -5.06597
32
+ D -5.11056
33
+ ▁LES -5.14526
34
+ ER -5.14566
35
+ Y -5.17062
36
+ IN -5.18296
37
+ ▁UN -5.19802
38
+ B -5.20758
39
+ RE -5.2828
40
+ ▁DU -5.2896
41
+ RI -5.30488
42
+ ▁PAR -5.30893
43
+ ▁B -5.31085
44
+ ▁F -5.31184
45
+ IT -5.32316
46
+ ES -5.32465
47
+ LE -5.32593
48
+ IS -5.35872
49
+ ▁SE -5.38259
50
+ RA -5.38444
51
+ H -5.41167
52
+ ▁DES -5.41401
53
+ ▁RE -5.42134
54
+ ANT -5.44528
55
+ ▁AU -5.44806
56
+ F -5.45871
57
+ V -5.46102
58
+ AL -5.4841
59
+ TE -5.49683
60
+ ▁P -5.51025
61
+ ▁UNE -5.5194
62
+ UR -5.5579
63
+ ENT -5.581
64
+ M -5.60816
65
+ ▁G -5.62046
66
+ ME -5.64809
67
+ ▁DANS -5.66453
68
+ ▁CON -5.69161
69
+ ▁ELLE -5.6936
70
+ ATION -5.71252
71
+ MENT -5.71409
72
+ AN -5.72102
73
+ OU -5.72679
74
+ LI -5.73299
75
+ ▁T -5.73797
76
+ OR -5.76793
77
+ ÉE -5.79042
78
+ TI -5.8224
79
+ Z -5.82256
80
+ ▁MA -5.83768
81
+ ▁N -5.83972
82
+ È -5.84262
83
+ CE -5.84544
84
+ ▁SA -5.8523
85
+ RO -5.86178
86
+ NT -5.8713
87
+ ▁CE -5.91471
88
+ ▁IN -5.91896
89
+ NE -5.92129
90
+ ▁SON -5.94746
91
+ CH -5.95192
92
+ ND -5.96537
93
+ ▁POUR -5.9695
94
+ K -5.9824
95
+ LA -6.02599
96
+ ▁PRO -6.02791
97
+ DE -6.04618
98
+ ▁CA -6.0462
99
+ ▁DÉ -6.05555
100
+ ▁É -6.05778
101
+ DI -6.05955
102
+ QUE -6.06501
103
+ IQUE -6.06704
104
+ X -6.07622
105
+ AR -6.11457
106
+ ▁SONT -6.1192
107
+ ▁RÉ -6.13304
108
+ CI -6.13426
109
+ TRE -6.13855
110
+ ▁QU -6.14164
111
+ CHE -6.14986
112
+ ▁SUR -6.15805
113
+ ▁MO -6.18156
114
+ IE -6.18812
115
+ UL -6.20546
116
+ AIRE -6.21351
117
+ LO -6.21908
118
+ J -6.23926
119
+ ▁PO -6.23973
120
+ ▁O -6.26682
121
+ AIT -6.27285
122
+ RÉ -6.27809
123
+ OL -6.29914
124
+ MA -6.30134
125
+ TA -6.31335
126
+ ▁VI -6.31508
127
+ EL -6.3174
128
+ ION -6.32013
129
+ TÉ -6.32774
130
+ ▁AR -6.34714
131
+ INE -6.36038
132
+ ÈRE -6.3619
133
+ ▁QUE -6.371
134
+ ▁PAS -6.37325
135
+ ▁DI -6.38812
136
+ ▁SU -6.41595
137
+ MP -6.41732
138
+ ▁M -6.41997
139
+ MI -6.42651
140
+ IR -6.4273
141
+ ▁CH -6.43151
142
+ CETTE -6.43506
143
+ ALE -6.45147
144
+ US -6.453
145
+ ▁CHA -6.45476
146
+ ▁PLUS -6.45728
147
+ ILLE -6.45808
148
+ VI -6.46049
149
+ GE -6.46082
150
+ UT -6.46994
151
+ ▁EX -6.47734
152
+ IL -6.48259
153
+ EN -6.49679
154
+ TH -6.49802
155
+ ▁NE -6.50831
156
+ EUR -6.50998
157
+ EMENT -6.51878
158
+ ▁RO -6.52846
159
+ ELLE -6.53664
160
+ QU -6.5376
161
+ ▁BA -6.54094
162
+ IM -6.5457
163
+ AGE -6.54969
164
+ ▁DEUX -6.57041
165
+ ▁VO -6.57223
166
+ VE -6.57948
167
+ ▁AVEC -6.57986
168
+ ▁CO -6.60067
169
+ AT -6.60556
170
+ IC -6.6181
171
+ ITÉ -6.61908
172
+ ▁AV -6.62056
173
+ VER -6.62304
174
+ OIS -6.62726
175
+ TO -6.63003
176
+ SSE -6.64601
177
+ PORT -6.64613
178
+ MB -6.65251
179
+ PH -6.6632
180
+ ▁SOU -6.66778
181
+ FF -6.67198
182
+ NA -6.67383
183
+ ▁COMME -6.67454
184
+ ▁QUI -6.67976
185
+ TION -6.6854
186
+ ▁JE -6.69969
187
+ ▁OU -6.72334
188
+ ▁MAR -6.73709
189
+ ▁ÉTÉ -6.74273
190
+ CT -6.74319
191
+ PE -6.76167
192
+ CTION -6.76333
193
+ ▁RA -6.77337
194
+ LU -6.78706
195
+ LL -6.78859
196
+ NI -6.79663
197
+ AIS -6.80207
198
+ ARD -6.80999
199
+ ▁MI -6.8109
200
+ TER -6.81362
201
+ DU -6.82466
202
+ ▁ÉTAIT -6.8266
203
+ NÉ -6.8287
204
+ IGN -6.8389
205
+ ▁Y -6.84139
206
+ TIQUE -6.84801
207
+ ▁AC -6.84965
208
+ ISTE -6.85066
209
+ ▁DO -6.85549
210
+ ▁TRA -6.85828
211
+ MÉ -6.86299
212
+ ▁FA -6.87082
213
+ ▁COM -6.87536
214
+ ORD -6.87594
215
+ MO -6.87603
216
+ ▁APP -6.88329
217
+ ▁ÉT -6.88783
218
+ IF -6.89103
219
+ ▁ÉGALEMENT -6.89553
220
+ CO -6.90035
221
+ ▁ME -6.9063
222
+ LÉ -6.90695
223
+ ▁PA -6.90754
224
+ IER -6.91361
225
+ AUX -6.91387
226
+ UE -6.92254
227
+ ▁VA -6.92313
228
+ ▁SES -6.92795
229
+ RES -6.93183
230
+ ▁AN -6.93375
231
+ Ô -6.93809
232
+ W -6.94651
233
+ ▁K -6.95481
234
+ ANG -6.96591
235
+ ÉRI -6.97936
236
+ ▁NOM -6.98496
237
+ ▁MAIS -6.99944
238
+ ▁COMP -7.00146
239
+ TU -7.00669
240
+ ANCE -7.01429
241
+ ENCE -7.02238
242
+ DA -7.02419
243
+ MAN -7.02747
244
+ ▁FAIT -7.04633
245
+ IVE -7.05796
246
+ TEUR -7.06357
247
+ ▁TOUT -7.06502
248
+ IÈRE -7.06521
249
+ ITE -7.07067
250
+ ▁SI -7.07304
251
+ AND -7.07585
252
+ ▁FOR -7.08095
253
+ ▁TO -7.081
254
+ MIN -7.08145
255
+ ▁PLA -7.08465
256
+ EUX -7.08495
257
+ TURE -7.09304
258
+ POS -7.09586
259
+ ABLE -7.09867
260
+ IRE -7.09979
261
+ ▁AUX -7.09981
262
+ ▁HA -7.11286
263
+ Ç -7.11559
264
+ ▁AUSSI -7.11898
265
+ UV -7.11936
266
+ ÉES -7.11971
267
+ LES -7.13175
268
+ ▁ON -7.13296
269
+ OIR -7.14552
270
+ EAU -7.15293
271
+ ▁MON -7.15342
272
+ ENS -7.15369
273
+ ÉS -7.15465
274
+ ONNE -7.15874
275
+ ▁JA -7.16225
276
+ ▁CENT -7.16805
277
+ ▁GRAND -7.17051
278
+ ▁DIS -7.17198
279
+ ID -7.17358
280
+ ▁ÉC -7.1791
281
+ ▁NO -7.18726
282
+ ▁PRÉ -7.18739
283
+ ▁RU -7.19007
284
+ TTE -7.20017
285
+ TRO -7.20057
286
+ Î -7.20252
287
+ TEN -7.20663
288
+ VEN -7.2103
289
+ ▁DÉC -7.21551
290
+ ▁LUI -7.2163
291
+ TRI -7.21733
292
+ ILL -7.21896
293
+ ▁MÉ -7.22109
294
+ RIE -7.23107
295
+ VENT -7.23539
296
+ ▁MU -7.23879
297
+ ÊT -7.24886
298
+ AGN -7.25827
299
+ ▁FUT -7.2602
300
+ Â -7.26194
301
+ AIENT -7.26197
302
+ AM -7.26341
303
+ ▁PRI -7.2645
304
+ ▁ALORS -7.26735
305
+ GUE -7.27135
306
+ TRA -7.27415
307
+ ▁ONT -7.27417
308
+ ▁TROIS -7.28166
309
+ VA -7.29358
310
+ ▁PER -7.29723
311
+ ▁NA -7.30002
312
+ BA -7.30448
313
+ URE -7.31045
314
+ ▁AB -7.3198
315
+ ▁LEUR -7.32503
316
+ ▁W -7.33534
317
+ ÈS -7.33801
318
+ ▁ÊTRE -7.34348
319
+ ▁MÊME -7.3782
320
+ IDE -7.3802
321
+ ▁FIN -7.38171
322
+ ▁APRÈS -7.38685
323
+ ▁LI -7.39557
324
+ VÉ -7.3999
325
+ ▁SAINT -7.40109
326
+ ▁COUR -7.42135
327
+ ▁JU -7.42573
328
+ ▁PEU -7.4398
329
+ PAR -7.44043
330
+ ▁CES -7.44276
331
+ NO -7.45503
332
+ IEN -7.45928
333
+ CUL -7.46271
334
+ ▁VILLE -7.46905
335
+ ▁JO -7.47826
336
+ ▁ENTRE -7.48849
337
+ ▁INTER -7.48866
338
+ ▁VOUS -7.49951
339
+ ▁PARTIE -7.51989
340
+ TIN -7.5199
341
+ ▁PLUSIEURS -7.53102
342
+ ▁TE -7.53839
343
+ ▁OB -7.54149
344
+ ▁SITUÉ -7.54248
345
+ ▁HO -7.55305
346
+ ▁HE -7.56954
347
+ IENNE -7.58441
348
+ TRÈS -7.58443
349
+ ▁TOUR -7.58863
350
+ ▁FRANC -7.61136
351
+ HUI -7.62457
352
+ ▁SÉ -7.63425
353
+ ▁PREMIER -7.63436
354
+ ▁QUATRE -7.65199
355
+ ▁CLA -7.65268
356
+ ▁ATT -7.66519
357
+ VIENT -7.66895
358
+ ▁PEUT -7.67363
359
+ STRU -7.67523
360
+ ▁COMMUNE -7.67992
361
+ ▁ANNÉE -7.68895
362
+ ▁ÉV -7.70477
363
+ OMM -7.72235
364
+ FORM -7.72527
365
+ À -7.74379
366
+ ▁BIEN -7.7443
367
+ Ê -7.74557
368
+ ▁MONT -7.75343
369
+ ▁AUTRES -7.7543
370
+ ▁PI -7.75838
371
+ ▁JOUR -7.76397
372
+ ATEUR -7.77242
373
+ IBLE -7.79082
374
+ ▁UTILIS -7.79271
375
+ VRE -7.79324
376
+ ISSE -7.79641
377
+ ▁PREMIÈRE -7.79925
378
+ ▁TROUVE -7.80535
379
+ ▁CINQ -7.81071
380
+ LEMENT -7.81922
381
+ ▁EU -7.83251
382
+ ▁DONC -7.84492
383
+ ▁JOUE -7.84639
384
+ ▁VERS -7.85405
385
+ ▁GROUPE -7.85474
386
+ ▁ESPÈCE -7.875
387
+ ▁EMP -7.88279
388
+ ▁FRANÇAIS -7.88906
389
+ ▁ÉTAT -7.8932
390
+ ▁PETIT -7.9135
391
+ ▁ENSUITE -7.91658
392
+ EUSE -7.9191
393
+ ▁LORS -7.92133
394
+ ▁PUIS -7.92306
395
+ ▁AINSI -7.93635
396
+ ▁EFF -7.93758
397
+ ▁NOUS -7.93803
398
+ ▁TRAVAIL -7.93972
399
+ ▁LIEU -7.94473
400
+ ▁RENCONTRE -7.96101
401
+ ▁ÉQUIPE -7.96747
402
+ ▁CERTAIN -7.96747
403
+ ▁FAMILLE -7.97161
404
+ ▁PRÉSENT -7.97185
405
+ ▁COLL -7.97715
406
+ ▁FILS -7.9893
407
+ ▁VINGT -8.0125
408
+ ▁GÉNÉRAL -8.0161
409
+ ▁PAYS -8.05267
410
+ Ï -8.05537
411
+ ▁ANCIEN -8.05638
412
+ ▁ÉGLISE -8.0708
413
+ ▁PRINCIPAL -8.07248
414
+ ▁GUERRE -8.09234
415
+ ▁ESP -8.09582
416
+ ▁CEPENDANT -8.14452
417
+ ▁RESTE -8.15609
418
+ ▁PENDANT -8.17858
419
+ ▁TEMPS -8.18712
420
+ ▁RÉGION -8.19917
421
+ ▁JEUNE -8.20441
422
+ ▁HABIT -8.20661
423
+ Û -8.21411
424
+ ▁ENFANT -8.21569
425
+ ▁CLUB -8.21786
426
+ ▁MEMBRE -8.22277
427
+ ▁AGIT -8.22427
428
+ ▁HOMME -8.25242
429
+ ▁SUCC -8.25812
430
+ ▁VILLAGE -8.26046
431
+ BERT -8.26082
432
+ ▁DEPUIS -8.26399
433
+ ▁RÉALIS -8.29354
434
+ ▁ENCORE -8.30531
435
+ Ù -8.31422
436
+ ▁AUJOURD -8.32929
437
+ ▁SECOND -8.32975
438
+ UNIVERSITÉ -8.33426
439
+ ▁HISTOIRE -8.33582
440
+ ▁UVRE -8.33654
441
+ POSITION -8.33667
442
+ ▁IMPORTANT -8.34553
443
+ ▁REPRÉSENT -8.34616
444
+ ▁NOUVELLE -8.34869
445
+ ▁ORGANIS -8.34932
446
+ ▁FRÈRE -8.35086
447
+ ▁ORIGINE -8.35217
448
+ ▁FILM -8.36806
449
+ ▁ÎLE -8.37963
450
+ ▁PARTICIP -8.39558
451
+ ▁FEMME -8.41497
452
+ ▁ÉCOLE -8.41794
453
+ ▁DERNIER -8.42586
454
+ ▁PERMET -8.44089
455
+ ▁JUSQU -8.44195
456
+ ▁CARRIÈRE -8.44651
457
+ ▁NOMBREUX -8.46373
458
+ ▁MONSIEUR -8.46657
459
+ Á -9.05535
460
+ Í -9.39349
461
+ Ö -9.39528
462
+ Ü -9.40978
463
+ Ë -9.42357
464
+ Ó -9.54652
465
+ Q -9.59991
466
+ Ä -10.0889
467
+ Ñ -10.8423
468
+ Ú -10.9386
469
+ Ã -11.3242
470
+ Æ -11.4494
471
+ Å -11.4635
472
+ Ý -12.2897
473
+ Ð -12.3745
474
+ Ò -12.4479
475
+ Õ -13.2952
476
+ Ì -13.3882
477
+ Þ -13.7344
478
+ А -15.1526
479
+ Ј -15.486
480
+ І -15.986
481
+ Е -15.986
482
+ Р -15.986
483
+ К -16.9858
484
+ Г -16.9859
485
+ Ø -16.986
486
+ ́ -16.986
487
+ Є -16.986
488
+ Џ -16.986
489
+ З -16.986
490
+ И -16.986
491
+ М -16.986
492
+ Н -16.986
493
+ П -16.986
494
+ С -16.986
495
+ Ц -16.986
496
+ Ч -16.986
497
+ Э -16.986
498
+ Я -16.986
499
+ Ҫ -16.986
500
+ Ӌ -16.986
normalizer.ckpt ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:5a981c379f2602425c7fe56f670c9321f5dbc6a930cc988ef236930f9548265f
3
+ size 1779