Update README.md
Browse files
README.md
CHANGED
@@ -88,7 +88,10 @@ SAMPLES = 20
|
|
88 |
nltk.download('punkt')
|
89 |
num_processes = max(1, os.cpu_count())
|
90 |
|
91 |
-
test_dataset = load_dataset(
|
|
|
|
|
|
|
92 |
processor = Wav2Vec2ProcessorWithLM.from_pretrained(MODEL_ID)
|
93 |
model = Wav2Vec2ForCTC.from_pretrained(MODEL_ID)
|
94 |
|
@@ -106,7 +109,8 @@ def speech_file_to_array_fn(batch):
|
|
106 |
|
107 |
with warnings.catch_warnings():
|
108 |
warnings.simplefilter("ignore")
|
109 |
-
test_dataset = test_dataset.map(speech_file_to_array_fn,
|
|
|
110 |
|
111 |
inputs = processor(test_dataset["speech"], sampling_rate=16_000,
|
112 |
return_tensors="pt", padding=True)
|
@@ -128,64 +132,64 @@ with warnings.catch_warnings():
|
|
128 |
|
129 |
```text
|
130 |
----------------------------------------------------------------------------------------------------
|
131 |
-
Reference:
|
132 |
Prediction: либерман чик сочи бумажки
|
133 |
----------------------------------------------------------------------------------------------------
|
134 |
-
Reference:
|
135 |
Prediction: о потерях пока не сообщается оооо
|
136 |
----------------------------------------------------------------------------------------------------
|
137 |
-
Reference:
|
138 |
Prediction: ваша воля
|
139 |
----------------------------------------------------------------------------------------------------
|
140 |
-
Reference:
|
141 |
Prediction: урс ока цене не роль в этом отношении
|
142 |
----------------------------------------------------------------------------------------------------
|
143 |
-
Reference:
|
144 |
Prediction: от это вызвал у нас жутко отторжения
|
145 |
----------------------------------------------------------------------------------------------------
|
146 |
-
Reference:
|
147 |
Prediction: он положил букет на книгу
|
148 |
----------------------------------------------------------------------------------------------------
|
149 |
-
Reference:
|
150 |
Prediction: ну я положу обиделась женя
|
151 |
----------------------------------------------------------------------------------------------------
|
152 |
-
Reference:
|
153 |
Prediction: богатырю представитель австралии зае заявления
|
154 |
----------------------------------------------------------------------------------------------------
|
155 |
-
Reference:
|
156 |
Prediction: дай мне это не было неожиданностью
|
157 |
----------------------------------------------------------------------------------------------------
|
158 |
-
Reference:
|
159 |
Prediction: поздняя ночь
|
160 |
----------------------------------------------------------------------------------------------------
|
161 |
-
Reference:
|
162 |
Prediction: тем не менее нужно мыслить снег корыэлементанажихпалиотических установок
|
163 |
----------------------------------------------------------------------------------------------------
|
164 |
-
Reference:
|
165 |
Prediction: мы не можем под болить чи опустить эту возможность
|
166 |
----------------------------------------------------------------------------------------------------
|
167 |
-
Reference:
|
168 |
Prediction: в предстоящие месяцы суд примет решение по ордеру на арест министра обороны хусейна
|
169 |
----------------------------------------------------------------------------------------------------
|
170 |
-
Reference:
|
171 |
Prediction: валерия живето в старом панель тона советских времян
|
172 |
----------------------------------------------------------------------------------------------------
|
173 |
-
Reference:
|
174 |
Prediction: я вернусь скоро
|
175 |
----------------------------------------------------------------------------------------------------
|
176 |
-
Reference:
|
177 |
Prediction: слово предоставляется его превосходительство принцу зайду
|
178 |
----------------------------------------------------------------------------------------------------
|
179 |
-
Reference:
|
180 |
Prediction: ну конечно тебе этого хотелось
|
181 |
----------------------------------------------------------------------------------------------------
|
182 |
-
Reference:
|
183 |
Prediction: общественные объединения равны перед законом
|
184 |
----------------------------------------------------------------------------------------------------
|
185 |
-
Reference:
|
186 |
Prediction: ну что же не то натеки невротики
|
187 |
----------------------------------------------------------------------------------------------------
|
188 |
-
Reference:
|
189 |
Prediction: сразу же она легла в пасти
|
190 |
```
|
191 |
|
|
|
88 |
nltk.download('punkt')
|
89 |
num_processes = max(1, os.cpu_count())
|
90 |
|
91 |
+
test_dataset = load_dataset(
|
92 |
+
"common_voice",
|
93 |
+
LANG_ID, split=f"test[:{SAMPLES}]"
|
94 |
+
)
|
95 |
processor = Wav2Vec2ProcessorWithLM.from_pretrained(MODEL_ID)
|
96 |
model = Wav2Vec2ForCTC.from_pretrained(MODEL_ID)
|
97 |
|
|
|
109 |
|
110 |
with warnings.catch_warnings():
|
111 |
warnings.simplefilter("ignore")
|
112 |
+
test_dataset = test_dataset.map(speech_file_to_array_fn,
|
113 |
+
num_proc=num_processes)
|
114 |
|
115 |
inputs = processor(test_dataset["speech"], sampling_rate=16_000,
|
116 |
return_tensors="pt", padding=True)
|
|
|
132 |
|
133 |
```text
|
134 |
----------------------------------------------------------------------------------------------------
|
135 |
+
Reference: я беру маленький кусочек бумажки
|
136 |
Prediction: либерман чик сочи бумажки
|
137 |
----------------------------------------------------------------------------------------------------
|
138 |
+
Reference: о потерях пока не сообщается
|
139 |
Prediction: о потерях пока не сообщается оооо
|
140 |
----------------------------------------------------------------------------------------------------
|
141 |
+
Reference: ваша воля
|
142 |
Prediction: ваша воля
|
143 |
----------------------------------------------------------------------------------------------------
|
144 |
+
Reference: мы высоко ценим ее роль в этом отношении
|
145 |
Prediction: урс ока цене не роль в этом отношении
|
146 |
----------------------------------------------------------------------------------------------------
|
147 |
+
Reference: вот это вызывало у нас жуткое отторжение
|
148 |
Prediction: от это вызвал у нас жутко отторжения
|
149 |
----------------------------------------------------------------------------------------------------
|
150 |
+
Reference: он положил ей букет на книгу
|
151 |
Prediction: он положил букет на книгу
|
152 |
----------------------------------------------------------------------------------------------------
|
153 |
+
Reference: ну и положу обиделась женя
|
154 |
Prediction: ну я положу обиделась женя
|
155 |
----------------------------------------------------------------------------------------------------
|
156 |
+
Reference: благодарю представителя австралии за ее заявление
|
157 |
Prediction: богатырю представитель австралии зае заявления
|
158 |
----------------------------------------------------------------------------------------------------
|
159 |
+
Reference: для меня это не было неожиданностью
|
160 |
Prediction: дай мне это не было неожиданностью
|
161 |
----------------------------------------------------------------------------------------------------
|
162 |
+
Reference: поздняя ночь
|
163 |
Prediction: поздняя ночь
|
164 |
----------------------------------------------------------------------------------------------------
|
165 |
+
Reference: тем не менее нужно вновь вычленить некоторые элементы наших политических установок
|
166 |
Prediction: тем не менее нужно мыслить снег корыэлементанажихпалиотических установок
|
167 |
----------------------------------------------------------------------------------------------------
|
168 |
+
Reference: мы не можем позволить себе упустить эту возможность
|
169 |
Prediction: мы не можем под болить чи опустить эту возможность
|
170 |
----------------------------------------------------------------------------------------------------
|
171 |
+
Reference: в предстоящие месяцы суд примет решение по ордеру на арест министра обороны хусейна
|
172 |
Prediction: в предстоящие месяцы суд примет решение по ордеру на арест министра обороны хусейна
|
173 |
----------------------------------------------------------------------------------------------------
|
174 |
+
Reference: валерия живет в старом панельном доме советских времен
|
175 |
Prediction: валерия живето в старом панель тона советских времян
|
176 |
----------------------------------------------------------------------------------------------------
|
177 |
+
Reference: я вернусь скоро
|
178 |
Prediction: я вернусь скоро
|
179 |
----------------------------------------------------------------------------------------------------
|
180 |
+
Reference: слово предоставляется его превосходительству принцу зайду
|
181 |
Prediction: слово предоставляется его превосходительство принцу зайду
|
182 |
----------------------------------------------------------------------------------------------------
|
183 |
+
Reference: ну конечно тебе бы этого хотелось
|
184 |
Prediction: ну конечно тебе этого хотелось
|
185 |
----------------------------------------------------------------------------------------------------
|
186 |
+
Reference: общественные объединения равны перед законом
|
187 |
Prediction: общественные объединения равны перед законом
|
188 |
----------------------------------------------------------------------------------------------------
|
189 |
+
Reference: ну что же нету этики эстетики
|
190 |
Prediction: ну что же не то натеки невротики
|
191 |
----------------------------------------------------------------------------------------------------
|
192 |
+
Reference: сразу же она легла в постель
|
193 |
Prediction: сразу же она легла в пасти
|
194 |
```
|
195 |
|