AlexWortega
commited on
Commit
•
a33f5e3
1
Parent(s):
ff38d30
Update README.md
Browse files
README.md
CHANGED
@@ -8,11 +8,22 @@ language:
|
|
8 |
library_name: transformers
|
9 |
---
|
10 |
|
11 |
-
#
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
12 |
|
13 |
-
| dataset |AlexWortega/Vikhr-7b-0.1|mistralai/Mistral-7B-v0.1|
|
14 |
-
| --------- | -------- |------ |
|
15 |
-
| mmlu_ru | 0.51 | 0.49 |
|
16 |
-
| xwinograd | 0.64 | 0.681 |
|
17 |
-
| xnli | 0.3812 | 0.3691 |
|
18 |
|
|
|
8 |
library_name: transformers
|
9 |
---
|
10 |
|
11 |
+
# Vikhr: модель на базе Mistral для русского языка
|
12 |
+
|
13 |
+
Введение в Vikhr: представляем Vikhr, основанную на архитектуре Mistral и предварительно обученную на 400 миллионах токенов в течение трех эпох.
|
14 |
+
|
15 |
+
Она должна быть лучше чем оригинальный мистраль на русских задачах, а вот с кодом скорее всего будут проблемы.
|
16 |
+
|
17 |
+
## Бенчи
|
18 |
+
|
19 |
+
|
20 |
+
|
21 |
+
| Датасет | Vikhr-7b-0.1 | Mistral-7B-v0.1 |
|
22 |
+
|--------------|--------------|-----------------|
|
23 |
+
| mmlu_ru | 0.60 | 0.66 |
|
24 |
+
| xwinograd | 0.72 | 0.68 |
|
25 |
+
| xnli | 0.3812 | 0.3691 |
|
26 |
+
|
27 |
+
|
28 |
|
|
|
|
|
|
|
|
|
|
|
29 |
|