File size: 2,960 Bytes
4703e8b 97518ad 4703e8b 97518ad 4703e8b 97518ad e94af70 8eb627b 07aae21 8eb627b 97518ad 10c6ba7 e448992 07aae21 97518ad 4703e8b 07aae21 4703e8b 97518ad |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 |
---
library_name: transformers
tags:
- MoE
- Mixtral
license: apache-2.0
datasets:
- togethercomputer/RedPajama-Data-1T
- SpeakLeash
language:
- pl
- en
---
# Mixtral-8x7B-v0.1-pl
<!-- Provide a quick summary of what the model is/does. -->
Mixtral-8x7B-v0.1-pl is a [Mixtral 8x7b](https://huggingface.co./mistralai/Mixtral-8x7B-v0.1) model fine-tuned using 2.2B Polish
tokens selected from the [SpeakLeash](https://speakleash.org/) dataset.
This is, to our knowledge, the first open-weights MoE model fine-tuned on Polish data.
In order to preserve English capabilities, we include about 600M tokens from the [RedPajama dataset](https://huggingface.co./datasets/togethercomputer/RedPajama-Data-1T).
The training was made possible thanks to the [TPU Research Cloud](https://sites.research.google/trc/about/) program. The model was trained on a TPUv3-256.
Our codebase is based on [the Focused Transformer repo](https://github.com/CStanKonrad/long_llama) and [EasyLM](https://github.com/young-geng/EasyLM).
Thanks to Konrad Staniszewski, Bart艂omiej Cupia艂 and Piotr Mi艂o艣, who have contributed greatly to the creation of this model.
## Example outputs
(prompts are in bold)
**Poni偶szy artyku艂 opisuje histori臋 Polski. Polska to kraj, kt贸ry** w ci膮gu wiek贸w by艂 艣wiadkiem wielu
wa偶nych wydarze艅, kt贸re mia艂y wp艂yw na jej rozw贸j. W artykule przedstawiono najwa偶niejsze
wydarzenia z historii Polski, od czas贸w staro偶ytnych do wsp贸艂czesno艣ci. Historia Polski - staro偶ytno艣膰 Polska to kraj,
kt贸ry ma d艂ug膮 i bogat膮 histori臋. Pierwsze wzmianki o Polsce pochodz膮 z czas贸w staro偶ytnych. W 966 roku Mieszko I
przyj膮艂 chrzest, co zapocz膮tkowa艂o proces ...
**Warszawa to stolica Polski. W najludniejszym mie艣cie kraju mo偶na zwiedzi膰 m.in.** Muzeum Powstania Warszawskiego, Muzeum Narodowe, Muzeum Fryderyka Chopina,
Muzeum Historii Polski, Muzeum Wojska Polskiego, Muzeum Pa艂acu Kr贸la Jana III w Wilanowie, Muzeum POLIN, Muzeum Niepodleg艂o艣ci,
Muzeum Katy艅skie, Muzeum Wojska Polskiego, Muzeum Powstania Warszawskiego, Muzeum Fryderyka Chopina, Muzeum Narodowe ...
**Najstarsze historyczne wzmianki o zamku w Bojnicach pochodz膮 z** 1241 roku. W 1245 roku kr贸l w臋gierski Bela IV nada艂 go w lenno biskupowi o艂omunieckiemu.
W 1271 roku kr贸l w臋gierski Stefan V nada艂 go w lenno biskupowi o艂omunieckiemu. W 1302 roku kr贸l w臋gierski Karol Martell nada艂 go w lenno biskupowi o艂omunieckiemu.
W 1304 roku kr贸l w臋gierski Karol Martell nada艂 go w lenno biskupowi o艂omunieckiem
**S艂owacja to pa艅stwo po艂o偶one w Europie 艢rodkowej,** kt贸re graniczy z Polsk膮, Czechami, Ukrain膮, W臋grami, Austri膮 i Rumuni膮. S艂owacja jest pa艅stwem 艣rednio roz-
wini臋tym, kt贸re w 2013 roku liczy艂o 5,4 mln mieszka艅c贸w i zajmowa艂o powierzchni臋 49 035 km2. Stolic膮 pa艅stwa jest Bratys艂awa, kt贸ra jest jednocze艣nie najwi臋kszym miastem
w kraju.
## Model Card Contact
maciej.pioro at ideas-ncbr.pl |