Update README.md

README.md

@@ -13,6 +13,9 @@ tags:
 - common_voice
 - SberDevices/Golos
 license: apache-2.0
+widget:
+- example_title: test Russian speech "нейросети это хорошо" (in English, "neural networks are good")
+  src: https://huggingface.co/bond005/wav2vec2-large-ru-golos/resolve/main/test_sound_ru.flac
 model-index:
 - name: XLSR Wav2Vec2 Russian with Language Model by Ivan Bondarenko
   results:
@@ -26,10 +29,10 @@ model-index:
     metrics:
        - name: Test WER
          type: wer
-         value: 4.578
+         value: 4.272
        - name: Test CER
          type: cer
-         value: 1.390
+         value: 0.983
   - task:
       name: Speech Recognition
       type: automatic-speech-recognition
@@ -40,10 +43,10 @@ model-index:
     metrics:
        - name: Test WER
          type: wer
-         value: 13.290
+         value: 11.405
        - name: Test CER
          type: cer
-         value: 4.693
+         value: 3.628
   - task:
       name: Automatic Speech Recognition
       type: automatic-speech-recognition
@@ -54,10 +57,10 @@ model-index:
     metrics:
     - name: Test WER
       type: wer
-      value: 25.72051
+      value: 19.053
     - name: Test CER
       type: cer
-      value: 7.39681
+      value: 4.876
 ---
 # Wav2Vec2-Large-Ru-Golos-With-LM
 
@@ -65,12 +68,9 @@ The Wav2Vec2 model is based on [facebook/wav2vec2-large-xlsr-53](https://hugging
 
 The 2-gram language model is built on the Russian text corpus obtained from six open sources:
 
-- random 7% subset of [Taiga](https://tatianashavrina.github.io/taiga_site)
-- random 20% subset of [Russian Wikipedia](https://ru.wikipedia.org)
-- random 70% subset of [Russian Wikinews](https://ru.wikinews.org)
-- text annotations from the training part of [Sberdevices Golos](https://huggingface.co/datasets/SberDevices/Golos)
-- text annotations from the training and validation parts of [CommonVoice 6.0 Ru](https://huggingface.co/datasets/common_voice)
-- text annotations from [SOVA Dataset](https://github.com/sovaai/sova-dataset) (RuDevices and RuAudiobooks only, i.e. without RuYoutube).
+- random 10% subset of [Taiga](https://tatianashavrina.github.io/taiga_site)
+- [Russian Wikipedia](https://ru.wikipedia.org)
+- [Russian Wikinews](https://ru.wikinews.org).
 
 ## Usage
 
@@ -90,36 +90,34 @@ import torch
 from datasets import load_dataset
 from transformers import Wav2Vec2ForCTC, Wav2Vec2ProcessorWithLM
 
-LANG_ID = "ru"
 MODEL_ID = "bond005/wav2vec2-large-ru-golos-with-lm"
+DATASET_ID = "bond005/sberdevices_golos_10h_crowd"
 SAMPLES = 20
 
 nltk.download('punkt')
 num_processes = max(1, os.cpu_count())
 
-test_dataset = load_dataset(
-    "common_voice",
-    LANG_ID, split=f"test[:{SAMPLES}]"
-)
+test_dataset = load_dataset(DATASET_ID, split=f"test[:{SAMPLES}]")
 processor = Wav2Vec2ProcessorWithLM.from_pretrained(MODEL_ID)
 model = Wav2Vec2ForCTC.from_pretrained(MODEL_ID)
 
 # Preprocessing the datasets.
 # We need to read the audio files as arrays
 def speech_file_to_array_fn(batch):
-    speech_array, sampling_rate = librosa.load(batch["path"], sr=16_000)
-    prepared_sentence = ' '.join(list(filter(
-        lambda it: it.isalpha(),
-        nltk.wordpunct_tokenize(batch["sentence"].lower().replace('ё', 'е'))
-    )))
+    speech_array = batch["audio"]["array"]
     batch["speech"] = np.asarray(speech_array, dtype=np.float32)
-    batch["sentence"] = prepared_sentence
     return batch
 
+removed_columns = set(test_dataset.column_names)
+removed_columns -= {'transcription', 'speech'}
+removed_columns = sorted(list(removed_columns))
 with warnings.catch_warnings():
     warnings.simplefilter("ignore")
-    test_dataset = test_dataset.map(speech_file_to_array_fn,
-                                    num_proc=num_processes)
+    test_dataset = test_dataset.map(
+        speech_file_to_array_fn,
+        num_proc=num_processes,
+        remove_columns=removed_columns
+    )
 
 inputs = processor(test_dataset["speech"], sampling_rate=16_000,
                    return_tensors="pt", padding=True)
@@ -135,71 +133,71 @@ with warnings.catch_warnings():
     warnings.simplefilter("ignore")
     for i, predicted_sentence in enumerate(predicted_sentences):
         print("-" * 100)
-        print("Reference:", test_dataset[i]["sentence"])
+        print("Reference:", test_dataset[i]["transcription"])
         print("Prediction:", predicted_sentence)
 ```
 
 ```text
 ----------------------------------------------------------------------------------------------------
-Reference:  я беру маленький кусочек бумажки
-Prediction: либерман чик кусочек бумажки
+Reference:  шестьдесят тысяч тенге сколько будет стоить
+Prediction: шестьдесят тысяч тенге сколько будет стоить
 ----------------------------------------------------------------------------------------------------
-Reference:  о потерях пока не сообщается
-Prediction: о потерях пока не сообщается
+Reference:  покажи мне на смотрешке телеканал синергия тв
+Prediction: покажи мне на смотрешке телеканал синергия тв
 ----------------------------------------------------------------------------------------------------
-Reference:  ваша воля
-Prediction: ваша боля
+Reference:  заказать яблоки зеленые
+Prediction: заказать яблоки зеленые
 ----------------------------------------------------------------------------------------------------
-Reference:  мы высоко ценим ее роль в этом отношении
-Prediction: урсокаценемиюроль об этом отношении
+Reference:  алиса закажи килограммовый торт графские развалины
+Prediction: алиса закажи килограммовый торт графские развалины
 ----------------------------------------------------------------------------------------------------
-Reference:  вот это вызывало у нас жуткое отторжение
-Prediction: от это вызвал у нас жутко отторжения
+Reference:  ищи телеканал про бизнес на тиви
+Prediction: ищи телеканал про бизнес на тви
 ----------------------------------------------------------------------------------------------------
-Reference:  он положил ей букет на книгу
-Prediction: он положил букет на книгу
+Reference:  михаила мурадяна
+Prediction: михаила мурадяна
 ----------------------------------------------------------------------------------------------------
-Reference:  ну и положу обиделась женя
-Prediction: ну я положу обиделась женя
+Reference:  любовницы две тысячи тринадцать пятнадцатый сезон
+Prediction: любовница две тысячи тринадцать пятнадцатый сезон
 ----------------------------------------------------------------------------------------------------
-Reference:  благодарю представителя австралии за ее заявление
-Prediction: богатырю представитель австралии заеззаявления
+Reference:  найди боевики
+Prediction: найди боевики
 ----------------------------------------------------------------------------------------------------
-Reference:  для меня это не было неожиданностью
-Prediction: дай мне это не было неожиданностью
+Reference:  гетто сезон три
+Prediction: гетта сезон три
 ----------------------------------------------------------------------------------------------------
-Reference:  поздняя ночь
-Prediction: поздняя ночь
+Reference:  хочу посмотреть ростов папа на телевизоре
+Prediction: хочу посмотреть ростов папа на телевизоре
 ----------------------------------------------------------------------------------------------------
-Reference:  тем не менее нужно вновь вычленить некоторые элементы наших политических установок
-Prediction: тем не менее нужно мыслить снегорэлемента наших политических установок
+Reference:  сбер какое твое самое ненавистное занятие
+Prediction: сбер какое твое самое ненавистное занятие
 ----------------------------------------------------------------------------------------------------
-Reference:  мы не можем позволить себе упустить эту возможность
-Prediction: мы не можем поболить био пустить эту возможность
+Reference:  афина чем платят у китайцев
+Prediction: афина чем платят у китайцев
 ----------------------------------------------------------------------------------------------------
-Reference:  в предстоящие месяцы суд примет решение по ордеру на арест министра обороны хусейна
-Prediction: в предстоящий месяц суд примет решение по ордеру на арест министра обороны хусейна
+Reference:  джой как работает досрочное погашение кредита
+Prediction: джой как работает досрочное погашение кредита
 ----------------------------------------------------------------------------------------------------
-Reference:  валерия живет в старом панельном доме советских времен
-Prediction: валерия живется старым панельным тон на советских времен
+Reference:  у тебя найдется люк кейдж
+Prediction: у тебя найдется люк кейдж
 ----------------------------------------------------------------------------------------------------
-Reference:  я вернусь скоро
-Prediction: я вернусь скоро
+Reference:  у тебя будет лучшая часть пинк
+Prediction: у тебя будет лучшая часть пинк
 ----------------------------------------------------------------------------------------------------
-Reference:  слово предоставляется его превосходительству принцу зайду
-Prediction: слово предоставляется его превосходительство принцу зайду
+Reference:  пожалуйста пополните мне счет
+Prediction: пожалуйста пополните мне счет
 ----------------------------------------------------------------------------------------------------
-Reference:  ну конечно тебе бы этого хотелось
-Prediction: ну конечно тебе этого хотелось
+Reference:  анне павловне шабуровой
+Prediction: анне павловне шабуровой
 ----------------------------------------------------------------------------------------------------
-Reference:  общественные объединения равны перед законом
-Prediction: общественные объединения равны перед законом
+Reference:  врубай на смотрешке муз тв
+Prediction: врубай на смотрешке муз тиви
 ----------------------------------------------------------------------------------------------------
-Reference:  ну что же нету этики эстетики
-Prediction: ну что же не то атеистетики
+Reference:  найди на смотрешке лдпр тв
+Prediction: найди на смотрешке лдпр тв
 ----------------------------------------------------------------------------------------------------
-Reference:  сразу же она легла в постель
-Prediction: сразу же она легла в пасти
+Reference:  сбер мне нужен педикюр забей мне место
+Prediction: сбер мне нужен педикюр забелье место
 ```