| license: apache-2.0 | |
| datasets: | |
| - IlyaGusev/habr | |
| language: | |
| - ru | |
| # VikhrT5-3b: Улучшенная модель на базе FLAN T5 3b для русского языка | |
| Cкорее всего она лучше чем FRED T5XL | |
| | Dataset | VikhrT5-3b | FRED-T5-XL(1.7b) | FLAN-t5-xl(3b) | | |
| |----------------|------------|------------------|----------------| | |
| | ru_mmlu | 0.32 | 0.252 | 0.28 (лол2) | | |
| | xwinograd_ru | 0.71 (lol) | 0.57 | 0.52 | | |
| | xnli_ru | 0.4280 | 0.34 | 0.33 | |