nevmenandr
commited on
Update README.md
Browse files
README.md
CHANGED
@@ -1,3 +1,149 @@
|
|
1 |
-
---
|
2 |
-
license: mit
|
3 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
+
---
|
2 |
+
license: mit
|
3 |
+
language:
|
4 |
+
- hr
|
5 |
+
tags:
|
6 |
+
- natural-language-processing
|
7 |
+
- text-generation
|
8 |
+
- poetry-generation
|
9 |
+
- torch
|
10 |
+
- lstm
|
11 |
+
---
|
12 |
+
This generative text model was trained using [Andrej Karpathy's code](https://github.com/karpathy/char-rnn) on texts of the Croatian poets. Models of this type well represent poetic style.
|
13 |
+
|
14 |
+
Model was trained with size 512 and 3 layers, dropout 0.5.
|
15 |
+
|
16 |
+
There are 2 checkpoints of this model presented in the repository. One after 14 epochs with loss 1.7169, the other after 50 epochs with loss 1.8104. These metrics are in the file name.
|
17 |
+
|
18 |
+
## Usage
|
19 |
+
|
20 |
+
The procedure for installing the required software is described [by Karpathy](https://github.com/karpathy/char-rnn), torch is required, the code is written in lua. Be careful, versions of libraries written many years ago are used!
|
21 |
+
|
22 |
+
```bash
|
23 |
+
th sample.lua lm_lstm_epoch50.00_1.8104.t7 -length 10000 -temperature 0.5 -primetext 'some text'
|
24 |
+
```
|
25 |
+
|
26 |
+
## Train data
|
27 |
+
|
28 |
+
Train data is non free due to copyright restrictions. The texts of Croatian poets served as a train corpus.
|
29 |
+
|
30 |
+
## What for?
|
31 |
+
|
32 |
+
In an era of winning Transformers, ancient RNN models seem archaic. But I see that they still work better than modern architectures with such important categories from the humanities point of view as individual style.
|
33 |
+
|
34 |
+
## Publication
|
35 |
+
|
36 |
+
Poems generated by this model have been published in Croatian literary anthologies:
|
37 |
+
|
38 |
+
* [Boris Orehov, Rafaela Božić. Što je neuronska mreža htjela reći? *Republika. Časopis za književnost, umjetnost i društvo* n 1–2 (2019): 10–15](http://dhk.hr/casopis-republika/detaljnije/republika-1-2-2019)
|
39 |
+
* [Boris Orehov i Rafaela Božić. Pjesma neuronske mreže *Millenium stih – poetski maraton „Riječi iznad svega“* Zajednička zbirka poezije sudionika Millenium stiha – poetskog maratona. (2018): 95.](http://nevmenandr.net/personalia/mreza.pdf) (included in this repository)
|
40 |
+
|
41 |
+
## Samples
|
42 |
+
|
43 |
+
### epoch 50, temperature 0.5
|
44 |
+
|
45 |
+
```
|
46 |
+
umran po stolu ponekad samo smijeha
|
47 |
+
I sve njene priče koju sam da se može prema različnom prozoru,
|
48 |
+
neka se boja svoje slušam.
|
49 |
+
|
50 |
+
Da se ne postaje čovjek lažni prijatelji,
|
51 |
+
a ja sam ih samo samo ne znam da sam ima ovih nego
|
52 |
+
pred posteljom toplinu u zraku
|
53 |
+
uspomena zraka do moje ili
|
54 |
+
tražeći plače i sve muče
|
55 |
+
na pred postelje prekopasne stare stvari
|
56 |
+
kao da se ponovim tamnom pod rasprodova
|
57 |
+
preko žene su se u njima mogla je na tom suncu između pjesmi
|
58 |
+
i dan iz duboka našem pijesku golemu
|
59 |
+
kako se prije nego učinili na leđima i smrt je savio na pogled u sati traži ostavljaljenje
|
60 |
+
|
61 |
+
Živjela je sve slobodne na povratku
|
62 |
+
nekada bih je bilo svega u svojem stvaru strance.
|
63 |
+
Bolest je svetan postoji noćnih poslanja.
|
64 |
+
|
65 |
+
Ona koja je sve reći.
|
66 |
+
|
67 |
+
Ne spasi ona stanaše svoje progovara.
|
68 |
+
```
|
69 |
+
|
70 |
+
### epoch 50, temperature 0.6
|
71 |
+
|
72 |
+
```
|
73 |
+
upravda,
|
74 |
+
nekoć se ogledala spavaju i stijena.
|
75 |
+
|
76 |
+
Neka se naše srce ponaslo toče
|
77 |
+
po mene pred pustim i svijetlim onom moje susrete
|
78 |
+
da se ne mogu svim prije nego iznenada te ne popušta
|
79 |
+
i s pleće se otvorene u prazninu.
|
80 |
+
|
81 |
+
Kinu pred razlikema tolikog u zagrljaja stala;
|
82 |
+
izvan bezdna bacala da se pjesme koje
|
83 |
+
samo jednom, ne bih je potpilo razgovarali uspijenje
|
84 |
+
Prije noge voli me pomislim.
|
85 |
+
Tako da ne budem svoju pravo sve ti
|
86 |
+
i nema mogu riječ – više ne slutim
|
87 |
+
i kada se ne volim
|
88 |
+
ali ne možeš tako iz svoje čežnje dolazi
|
89 |
+
i nekog drugog mora, i od svih pjesma.
|
90 |
+
|
91 |
+
Preko živote, promače, opet jednom,
|
92 |
+
a gore se prepoznati gledati
|
93 |
+
zapjevajmo, ja sam svoje bolne suze ljubavi.
|
94 |
+
|
95 |
+
U ustami se okreću se prolazi poklonu bora.
|
96 |
+
|
97 |
+
Jedna nema, od čas se od tebe slatko okrenula,
|
98 |
+
s pecdanse, na sunce podno i kupeno
|
99 |
+
I sve ne to ne znam kako će nam to
|
100 |
+
vječnost se samo nebo podignem.
|
101 |
+
```
|
102 |
+
|
103 |
+
### epoch 50, temperature 0.7
|
104 |
+
|
105 |
+
```
|
106 |
+
Soba poput našeg grada od mojih noga.
|
107 |
+
|
108 |
+
Kada sam bilo kamenje.
|
109 |
+
Bilo je postojali.
|
110 |
+
Neka suza pokazala su pomalo izliječu i pokloničku
|
111 |
+
naderanju i propale utraba kako su mi dobru kosti,
|
112 |
+
kad je visoko prosjeko teške popodnevnih krajalica.
|
113 |
+
One su sve svoje dive, ne hladnome plavom
|
114 |
+
i kriknute noći i upravljanje dugo.
|
115 |
+
|
116 |
+
Iz starih sunce velike makove
|
117 |
+
i premlazati za plavim sudim crvenom sjenu što za stopalnom posteljima
|
118 |
+
prokovara iz usna mladosti
|
119 |
+
Da bi ti odgrobljena svijeta
|
120 |
+
koja se pokret njegovih zavijena
|
121 |
+
što naše spava, modrice i poljubac o zimske slušali visoke
|
122 |
+
u kući u krili sjajam kroz prozor koji su druge vjerna protiv
|
123 |
+
potom za vaših ruka iz moje kozite
|
124 |
+
i uglavnom tromu što se ne odmjela
|
125 |
+
slobodna su reklo hrvati stopali su sakrivene na kojem
|
126 |
+
se ja sam se smijala kosijega i ugaslo porazi na stranici
|
127 |
+
ali sada usne ništa ne smijeh se ne bude pričala
|
128 |
+
oko izgubljena dok ne staje od svoga nekog spava
|
129 |
+
ispod kojega je bolje samo da si malo pustog
|
130 |
+
onako, i anđelko od mene, isto što vrijedi
|
131 |
+
znači se u svojem mulju i plamen,
|
132 |
+
malo svetog kapi: al kada se oči za svoje glave,
|
133 |
+
i u njemu osu vodu s pravim listom krvavi.
|
134 |
+
|
135 |
+
Prema svemu stvarna dolazika. Ona su opet pitaš
|
136 |
+
počinje u svoju stranu znanje, ustvari u povijest od magle i nešto na štoli
|
137 |
+
Ludonac i svetac još samo tvoje sunce i čežnje.
|
138 |
+
Putovanja biti samo trebali ti onaj koji je govorio na postelji,
|
139 |
+
ni vječni vodu, što se samo uzgubiti,
|
140 |
+
i ono što se ne zna da je nemoguće,
|
141 |
+
ne vraćaj se starim vitke od mene,
|
142 |
+
i prostran svijet moj se krilu,
|
143 |
+
što te čudiš da sam bio u zastalju,
|
144 |
+
Kad se namije nemam ni mora
|
145 |
+
da mu ne bih vido da sam dovila,
|
146 |
+
prečekati samo i vreli od
|
147 |
+
kupanje na ruku pruža raspreda.
|
148 |
+
```
|
149 |
+
|