bond005 commited on
Commit
7fed5a6
1 Parent(s): 98eef82

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +26 -22
README.md CHANGED
@@ -88,7 +88,10 @@ SAMPLES = 20
88
  nltk.download('punkt')
89
  num_processes = max(1, os.cpu_count())
90
 
91
- test_dataset = load_dataset("common_voice", LANG_ID, split=f"test[:{SAMPLES}]")
 
 
 
92
  processor = Wav2Vec2ProcessorWithLM.from_pretrained(MODEL_ID)
93
  model = Wav2Vec2ForCTC.from_pretrained(MODEL_ID)
94
 
@@ -106,7 +109,8 @@ def speech_file_to_array_fn(batch):
106
 
107
  with warnings.catch_warnings():
108
  warnings.simplefilter("ignore")
109
- test_dataset = test_dataset.map(speech_file_to_array_fn, num_proc=num_processes)
 
110
 
111
  inputs = processor(test_dataset["speech"], sampling_rate=16_000,
112
  return_tensors="pt", padding=True)
@@ -128,64 +132,64 @@ with warnings.catch_warnings():
128
 
129
  ```text
130
  ----------------------------------------------------------------------------------------------------
131
- Reference: я беру маленький кусочек бумажки
132
  Prediction: либерман чик сочи бумажки
133
  ----------------------------------------------------------------------------------------------------
134
- Reference: о потерях пока не сообщается
135
  Prediction: о потерях пока не сообщается оооо
136
  ----------------------------------------------------------------------------------------------------
137
- Reference: ваша воля
138
  Prediction: ваша воля
139
  ----------------------------------------------------------------------------------------------------
140
- Reference: мы высоко ценим ее роль в этом отношении
141
  Prediction: урс ока цене не роль в этом отношении
142
  ----------------------------------------------------------------------------------------------------
143
- Reference: вот это вызывало у нас жуткое отторжение
144
  Prediction: от это вызвал у нас жутко отторжения
145
  ----------------------------------------------------------------------------------------------------
146
- Reference: он положил ей букет на книгу
147
  Prediction: он положил букет на книгу
148
  ----------------------------------------------------------------------------------------------------
149
- Reference: ну и положу обиделась женя
150
  Prediction: ну я положу обиделась женя
151
  ----------------------------------------------------------------------------------------------------
152
- Reference: благодарю представителя австралии за ее заявление
153
  Prediction: богатырю представитель австралии зае заявления
154
  ----------------------------------------------------------------------------------------------------
155
- Reference: для меня это не было неожиданностью
156
  Prediction: дай мне это не было неожиданностью
157
  ----------------------------------------------------------------------------------------------------
158
- Reference: поздняя ночь
159
  Prediction: поздняя ночь
160
  ----------------------------------------------------------------------------------------------------
161
- Reference: тем не менее нужно вновь вычленить некоторые элементы наших политических установок
162
  Prediction: тем не менее нужно мыслить снег корыэлементанажихпалиотических установок
163
  ----------------------------------------------------------------------------------------------------
164
- Reference: мы не можем позволить себе упустить эту возможность
165
  Prediction: мы не можем под болить чи опустить эту возможность
166
  ----------------------------------------------------------------------------------------------------
167
- Reference: в пред��тоящие месяцы суд примет решение по ордеру на арест министра обороны хусейна
168
  Prediction: в предстоящие месяцы суд примет решение по ордеру на арест министра обороны хусейна
169
  ----------------------------------------------------------------------------------------------------
170
- Reference: валерия живет в старом панельном доме советских времен
171
  Prediction: валерия живето в старом панель тона советских времян
172
  ----------------------------------------------------------------------------------------------------
173
- Reference: я вернусь скоро
174
  Prediction: я вернусь скоро
175
  ----------------------------------------------------------------------------------------------------
176
- Reference: слово предоставляется его превосходительству принцу зайду
177
  Prediction: слово предоставляется его превосходительство принцу зайду
178
  ----------------------------------------------------------------------------------------------------
179
- Reference: ну конечно тебе бы этого хотелось
180
  Prediction: ну конечно тебе этого хотелось
181
  ----------------------------------------------------------------------------------------------------
182
- Reference: общественные объединения равны перед законом
183
  Prediction: общественные объединения равны перед законом
184
  ----------------------------------------------------------------------------------------------------
185
- Reference: ну что же нету этики эстетики
186
  Prediction: ну что же не то натеки невротики
187
  ----------------------------------------------------------------------------------------------------
188
- Reference: сразу же она легла в постель
189
  Prediction: сразу же она легла в пасти
190
  ```
191
 
 
88
  nltk.download('punkt')
89
  num_processes = max(1, os.cpu_count())
90
 
91
+ test_dataset = load_dataset(
92
+ "common_voice",
93
+ LANG_ID, split=f"test[:{SAMPLES}]"
94
+ )
95
  processor = Wav2Vec2ProcessorWithLM.from_pretrained(MODEL_ID)
96
  model = Wav2Vec2ForCTC.from_pretrained(MODEL_ID)
97
 
 
109
 
110
  with warnings.catch_warnings():
111
  warnings.simplefilter("ignore")
112
+ test_dataset = test_dataset.map(speech_file_to_array_fn,
113
+ num_proc=num_processes)
114
 
115
  inputs = processor(test_dataset["speech"], sampling_rate=16_000,
116
  return_tensors="pt", padding=True)
 
132
 
133
  ```text
134
  ----------------------------------------------------------------------------------------------------
135
+ Reference: я беру маленький кусочек бумажки
136
  Prediction: либерман чик сочи бумажки
137
  ----------------------------------------------------------------------------------------------------
138
+ Reference: о потерях пока не сообщается
139
  Prediction: о потерях пока не сообщается оооо
140
  ----------------------------------------------------------------------------------------------------
141
+ Reference: ваша воля
142
  Prediction: ваша воля
143
  ----------------------------------------------------------------------------------------------------
144
+ Reference: мы высоко ценим ее роль в этом отношении
145
  Prediction: урс ока цене не роль в этом отношении
146
  ----------------------------------------------------------------------------------------------------
147
+ Reference: вот это вызывало у нас жуткое отторжение
148
  Prediction: от это вызвал у нас жутко отторжения
149
  ----------------------------------------------------------------------------------------------------
150
+ Reference: он положил ей букет на книгу
151
  Prediction: он положил букет на книгу
152
  ----------------------------------------------------------------------------------------------------
153
+ Reference: ну и положу обиделась женя
154
  Prediction: ну я положу обиделась женя
155
  ----------------------------------------------------------------------------------------------------
156
+ Reference: благодарю представителя австралии за ее заявление
157
  Prediction: богатырю представитель австралии зае заявления
158
  ----------------------------------------------------------------------------------------------------
159
+ Reference: для меня это не было неожиданностью
160
  Prediction: дай мне это не было неожиданностью
161
  ----------------------------------------------------------------------------------------------------
162
+ Reference: поздняя ночь
163
  Prediction: поздняя ночь
164
  ----------------------------------------------------------------------------------------------------
165
+ Reference: тем не менее нужно вновь вычленить некоторые элементы наших политических установок
166
  Prediction: тем не менее нужно мыслить снег корыэлементанажихпалиотических установок
167
  ----------------------------------------------------------------------------------------------------
168
+ Reference: мы не можем позволить себе упустить эту возможность
169
  Prediction: мы не можем под болить чи опустить эту возможность
170
  ----------------------------------------------------------------------------------------------------
171
+ Reference: в предстоящие месяцы суд примет решение по ордеру на арест министра обороны хусейна
172
  Prediction: в предстоящие месяцы суд примет решение по ордеру на арест министра обороны хусейна
173
  ----------------------------------------------------------------------------------------------------
174
+ Reference: валерия живет в старом панельном доме советских времен
175
  Prediction: валерия живето в старом панель тона советских времян
176
  ----------------------------------------------------------------------------------------------------
177
+ Reference: я вернусь скоро
178
  Prediction: я вернусь скоро
179
  ----------------------------------------------------------------------------------------------------
180
+ Reference: слово предоставляется его превосходительству принцу зайду
181
  Prediction: слово предоставляется его превосходительство принцу зайду
182
  ----------------------------------------------------------------------------------------------------
183
+ Reference: ну конечно тебе бы этого хотелось
184
  Prediction: ну конечно тебе этого хотелось
185
  ----------------------------------------------------------------------------------------------------
186
+ Reference: общественные объединения равны перед законом
187
  Prediction: общественные объединения равны перед законом
188
  ----------------------------------------------------------------------------------------------------
189
+ Reference: ну что же нету этики эстетики
190
  Prediction: ну что же не то натеки невротики
191
  ----------------------------------------------------------------------------------------------------
192
+ Reference: сразу же она легла в постель
193
  Prediction: сразу же она легла в пасти
194
  ```
195