README.md

---
language: "cs"
tags:
- Czech
- KKY
- FAV
license: "cc-by-nc-sa-4.0"
---

# gpt2-small-cs
Small version of GPT2 model (4 layers, 8 attention heads, hid. size 512) pretrained from 115 GB of cleaned Czech text (mainly from Common Crawl project).

## Usage 
```python
from transformers import pipeline, set_seed
generator = pipeline('text-generation', model='fav-kky/gpt2-small-cs')
set_seed(42)
generator("Lidstvo bude brzy", max_length=30, num_return_sequences=2)
[{'generated_text': 'Lidstvo bude brzy seskupeno do osmi skupin, které budou rozděleny do čtyř skupin. V čele budou čtyři prezidenti, mezi nimi například prezidenti'},
 {'generated_text': 'Lidstvo bude brzy potřebovat čas na budování infrastruktury, řekl na tiskové konferenci ředitel Národní síťové informační agentury Jiří Drahoš. "Napojení, které bude'}]
```