--- library_name: transformers tags: - MoE - Mixtral license: apache-2.0 datasets: - togethercomputer/RedPajama-Data-1T - SpeakLeash language: - pl - en --- # Mixtral-8x7B-v0.1-pl Mixtral-8x7B-v0.1-pl is a [Mixtral 8x7b](https://huggingface.co./mistralai/Mixtral-8x7B-v0.1) model fine-tuned using 2.2B Polish tokens selected from the [SpeakLeash](https://speakleash.org/) dataset. This is, to our knowledge, the first open-weights MoE model fine-tuned on Polish data. In order to preserve English capabilities, we include about 600M tokens from the [RedPajama dataset](https://huggingface.co./datasets/togethercomputer/RedPajama-Data-1T). The training was made possible thanks to the [TPU Research Cloud](https://sites.research.google/trc/about/) program. The model was trained on a TPUv3-256. Our codebase is based on [the Focused Transformer repo](https://github.com/CStanKonrad/long_llama) and [EasyLM](https://github.com/young-geng/EasyLM). Thanks to Konrad Staniszewski, Bartłomiej Cupiał and Piotr Miłoś, who have contributed greatly to this model. ## Example outputs (prompts are in bold) **Poniższy artykuł opisuje historię Polski. Polska to kraj, który** w ciągu wieków był świadkiem wielu ważnych wydarzeń, które miały wpływ na jej rozwój. W artykule przedstawiono najważniejsze wydarzenia z historii Polski, od czasów starożytnych do współczesności. Historia Polski - starożytność Polska to kraj, który ma długą i bogatą historię. Pierwsze wzmianki o Polsce pochodzą z czasów starożytnych. W 966 roku Mieszko I przyjął chrzest, co zapoczątkowało proces ... **Warszawa to stolica Polski. W najludniejszym mieście kraju można zwiedzić m.in.** Muzeum Powstania Warszawskiego, Muzeum Narodowe, Muzeum Fryderyka Chopina, Muzeum Historii Polski, Muzeum Wojska Polskiego, Muzeum Pałacu Króla Jana III w Wilanowie, Muzeum POLIN, Muzeum Niepodległości, Muzeum Katyńskie, Muzeum Wojska Polskiego, Muzeum Powstania Warszawskiego, Muzeum Fryderyka Chopina, Muzeum Narodowe ... **Najstarsze historyczne wzmianki o zamku w Bojnicach pochodzą z** 1241 roku. W 1245 roku król węgierski Bela IV nadał go w lenno biskupowi ołomunieckiemu. W 1271 roku król węgierski Stefan V nadał go w lenno biskupowi ołomunieckiemu. W 1302 roku król węgierski Karol Martell nadał go w lenno biskupowi ołomunieckiemu. W 1304 roku król węgierski Karol Martell nadał go w lenno biskupowi ołomunieckiem **Słowacja to państwo położone w Europie Środkowej,** które graniczy z Polską, Czechami, Ukrainą, Węgrami, Austrią i Rumunią. Słowacja jest państwem średnio roz- winiętym, które w 2013 roku liczyło 5,4 mln mieszkańców i zajmowało powierzchnię 49 035 km2. Stolicą państwa jest Bratysława, która jest jednocześnie największym miastem w kraju. ## Model Card Contact maciej.pioro at ideas-ncbr.pl