maciek-pioro lyzell2 commited on
Commit
07aae21
1 Parent(s): e94af70

Update README.md (#1)

Browse files

- Update README.md (319e3c63b2aa8840c3c8b6cfab7fe08ca13b694f)


Co-authored-by: Piotr Miłoś <[email protected]>

Files changed (1) hide show
  1. README.md +16 -2
README.md CHANGED
@@ -21,11 +21,13 @@ tokens selected from the [SpeakLeash](https://speakleash.org/) dataset.
21
  This is, to our knowledge, the first open-weights MoE model fine-tuned on Polish data.
22
  In order to preserve English capabilities, we include about 600M tokens from the [RedPajama dataset](https://huggingface.co/datasets/togethercomputer/RedPajama-Data-1T).
23
 
24
- The training was made possible thanks to TPU Research Cloud program. The model was trained on a TPUv3-256.
25
 
26
  Our codebase is based on [the Focused Transformer repo](https://github.com/CStanKonrad/long_llama) and [EasyLM](https://github.com/young-geng/EasyLM).
27
 
28
- ## Example output
 
 
29
 
30
  **Poniższy artykuł opisuje historię Polski. Polska to kraj, który** w ciągu wieków był świadkiem wielu
31
  ważnych wydarzeń, które miały wpływ na jej rozwój. W artykule przedstawiono najważniejsze
@@ -33,6 +35,18 @@ wydarzenia z historii Polski, od czasów starożytnych do współczesności. His
33
  który ma długą i bogatą historię. Pierwsze wzmianki o Polsce pochodzą z czasów starożytnych. W 966 roku Mieszko I
34
  przyjął chrzest, co zapoczątkowało proces ...
35
 
 
 
 
 
 
 
 
 
 
 
 
 
36
  ## Model Card Contact
37
 
38
  maciej.pioro at ideas-ncbr.pl
 
21
  This is, to our knowledge, the first open-weights MoE model fine-tuned on Polish data.
22
  In order to preserve English capabilities, we include about 600M tokens from the [RedPajama dataset](https://huggingface.co/datasets/togethercomputer/RedPajama-Data-1T).
23
 
24
+ The training was made possible thanks to the [TPU Research Cloud](https://sites.research.google/trc/about/) program. The model was trained on a TPUv3-256.
25
 
26
  Our codebase is based on [the Focused Transformer repo](https://github.com/CStanKonrad/long_llama) and [EasyLM](https://github.com/young-geng/EasyLM).
27
 
28
+ ## Example outputs
29
+
30
+ (prompts are in bold)
31
 
32
  **Poniższy artykuł opisuje historię Polski. Polska to kraj, który** w ciągu wieków był świadkiem wielu
33
  ważnych wydarzeń, które miały wpływ na jej rozwój. W artykule przedstawiono najważniejsze
 
35
  który ma długą i bogatą historię. Pierwsze wzmianki o Polsce pochodzą z czasów starożytnych. W 966 roku Mieszko I
36
  przyjął chrzest, co zapoczątkowało proces ...
37
 
38
+ **Warszawa to stolica Polski. W najludniejszym mieście kraju można zwiedzić m.in.** Muzeum Powstania Warszawskiego, Muzeum Narodowe, Muzeum Fryderyka Chopina,
39
+ Muzeum Historii Polski, Muzeum Wojska Polskiego, Muzeum Pałacu Króla Jana III w Wilanowie, Muzeum POLIN, Muzeum Niepodległości,
40
+ Muzeum Katyńskie, Muzeum Wojska Polskiego, Muzeum Powstania Warszawskiego, Muzeum Fryderyka Chopina, Muzeum Narodowe ...
41
+
42
+ **Najstarsze historyczne wzmianki o zamku w Bojnicach pochodzą z** 1241 roku. W 1245 roku król węgierski Bela IV nadał go w lenno biskupowi ołomunieckiemu.
43
+ W 1271 roku król węgierski Stefan V nadał go w lenno biskupowi ołomunieckiemu. W 1302 roku król węgierski Karol Martell nadał go w lenno biskupowi ołomunieckiemu.
44
+ W 1304 roku król węgierski Karol Martell nadał go w lenno biskupowi ołomunieckiem
45
+
46
+ **Słowacja to państwo położone w Europie Środkowej,** które graniczy z Polską, Czechami, Ukrainą, Węgrami, Austrią i Rumunią. Słowacja jest państwem średnio roz-
47
+ winiętym, które w 2013 roku liczyło 5,4 mln mieszkańców i zajmowało powierzchnię 49 035 km2. Stolicą państwa jest Bratysława, która jest jednocześnie największym miastem
48
+ w kraju.
49
+
50
  ## Model Card Contact
51
 
52
  maciej.pioro at ideas-ncbr.pl