|
--- |
|
library_name: transformers |
|
tags: |
|
- MoE |
|
- Mixtral |
|
license: apache-2.0 |
|
datasets: |
|
- togethercomputer/RedPajama-Data-1T |
|
- SpeakLeash |
|
language: |
|
- pl |
|
- en |
|
--- |
|
|
|
# Mixtral-8x7B-v0.1-pl |
|
|
|
<!-- Provide a quick summary of what the model is/does. --> |
|
|
|
Mixtral-8x7B-v0.1-pl is a [Mixtral 8x7b](https://huggingface.co./mistralai/Mixtral-8x7B-v0.1) model fine-tuned using 2.2B Polish |
|
tokens selected from the [SpeakLeash](https://speakleash.org/) dataset. |
|
This is, to our knowledge, the first open-weights MoE model fine-tuned on Polish data. |
|
In order to preserve English capabilities, we include about 600M tokens from the [RedPajama dataset](https://huggingface.co./datasets/togethercomputer/RedPajama-Data-1T). |
|
|
|
The training was made possible thanks to the [TPU Research Cloud](https://sites.research.google/trc/about/) program. The model was trained on a TPUv3-256. |
|
|
|
Our codebase is based on [the Focused Transformer repo](https://github.com/CStanKonrad/long_llama) and [EasyLM](https://github.com/young-geng/EasyLM). |
|
|
|
Thanks to Konrad Staniszewski, Bart艂omiej Cupia艂 and Piotr Mi艂o艣, who have contributed greatly to the creation of this model. |
|
|
|
## Example outputs |
|
|
|
(prompts are in bold) |
|
|
|
**Poni偶szy artyku艂 opisuje histori臋 Polski. Polska to kraj, kt贸ry** w ci膮gu wiek贸w by艂 艣wiadkiem wielu |
|
wa偶nych wydarze艅, kt贸re mia艂y wp艂yw na jej rozw贸j. W artykule przedstawiono najwa偶niejsze |
|
wydarzenia z historii Polski, od czas贸w staro偶ytnych do wsp贸艂czesno艣ci. Historia Polski - staro偶ytno艣膰 Polska to kraj, |
|
kt贸ry ma d艂ug膮 i bogat膮 histori臋. Pierwsze wzmianki o Polsce pochodz膮 z czas贸w staro偶ytnych. W 966 roku Mieszko I |
|
przyj膮艂 chrzest, co zapocz膮tkowa艂o proces ... |
|
|
|
**Warszawa to stolica Polski. W najludniejszym mie艣cie kraju mo偶na zwiedzi膰 m.in.** Muzeum Powstania Warszawskiego, Muzeum Narodowe, Muzeum Fryderyka Chopina, |
|
Muzeum Historii Polski, Muzeum Wojska Polskiego, Muzeum Pa艂acu Kr贸la Jana III w Wilanowie, Muzeum POLIN, Muzeum Niepodleg艂o艣ci, |
|
Muzeum Katy艅skie, Muzeum Wojska Polskiego, Muzeum Powstania Warszawskiego, Muzeum Fryderyka Chopina, Muzeum Narodowe ... |
|
|
|
**Najstarsze historyczne wzmianki o zamku w Bojnicach pochodz膮 z** 1241 roku. W 1245 roku kr贸l w臋gierski Bela IV nada艂 go w lenno biskupowi o艂omunieckiemu. |
|
W 1271 roku kr贸l w臋gierski Stefan V nada艂 go w lenno biskupowi o艂omunieckiemu. W 1302 roku kr贸l w臋gierski Karol Martell nada艂 go w lenno biskupowi o艂omunieckiemu. |
|
W 1304 roku kr贸l w臋gierski Karol Martell nada艂 go w lenno biskupowi o艂omunieckiem |
|
|
|
**S艂owacja to pa艅stwo po艂o偶one w Europie 艢rodkowej,** kt贸re graniczy z Polsk膮, Czechami, Ukrain膮, W臋grami, Austri膮 i Rumuni膮. S艂owacja jest pa艅stwem 艣rednio roz- |
|
wini臋tym, kt贸re w 2013 roku liczy艂o 5,4 mln mieszka艅c贸w i zajmowa艂o powierzchni臋 49 035 km2. Stolic膮 pa艅stwa jest Bratys艂awa, kt贸ra jest jednocze艣nie najwi臋kszym miastem |
|
w kraju. |
|
|
|
## Model Card Contact |
|
|
|
maciej.pioro at ideas-ncbr.pl |
