nevmenandr commited on
Commit
00d065c
·
verified ·
1 Parent(s): c9ab6f5

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +149 -3
README.md CHANGED
@@ -1,3 +1,149 @@
1
- ---
2
- license: mit
3
- ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: mit
3
+ language:
4
+ - hr
5
+ tags:
6
+ - natural-language-processing
7
+ - text-generation
8
+ - poetry-generation
9
+ - torch
10
+ - lstm
11
+ ---
12
+ This generative text model was trained using [Andrej Karpathy's code](https://github.com/karpathy/char-rnn) on texts of the Croatian poets. Models of this type well represent poetic style.
13
+
14
+ Model was trained with size 512 and 3 layers, dropout 0.5.
15
+
16
+ There are 2 checkpoints of this model presented in the repository. One after 14 epochs with loss 1.7169, the other after 50 epochs with loss 1.8104. These metrics are in the file name.
17
+
18
+ ## Usage
19
+
20
+ The procedure for installing the required software is described [by Karpathy](https://github.com/karpathy/char-rnn), torch is required, the code is written in lua. Be careful, versions of libraries written many years ago are used!
21
+
22
+ ```bash
23
+ th sample.lua lm_lstm_epoch50.00_1.8104.t7 -length 10000 -temperature 0.5 -primetext 'some text'
24
+ ```
25
+
26
+ ## Train data
27
+
28
+ Train data is non free due to copyright restrictions. The texts of Croatian poets served as a train corpus.
29
+
30
+ ## What for?
31
+
32
+ In an era of winning Transformers, ancient RNN models seem archaic. But I see that they still work better than modern architectures with such important categories from the humanities point of view as individual style.
33
+
34
+ ## Publication
35
+
36
+ Poems generated by this model have been published in Croatian literary anthologies:
37
+
38
+ * [Boris Orehov, Rafaela Božić. Što je neuronska mreža htjela reći? *Republika. Časopis za književnost, umjetnost i društvo* n 1–2 (2019): 10–15](http://dhk.hr/casopis-republika/detaljnije/republika-1-2-2019)
39
+ * [Boris Orehov i Rafaela Božić. Pjesma neuronske mreže *Millenium stih – poetski maraton „Riječi iznad svega“* Zajednička zbirka poezije sudionika Millenium stiha – poetskog maratona. (2018): 95.](http://nevmenandr.net/personalia/mreza.pdf) (included in this repository)
40
+
41
+ ## Samples
42
+
43
+ ### epoch 50, temperature 0.5
44
+
45
+ ```
46
+ umran po stolu ponekad samo smijeha
47
+ I sve njene priče koju sam da se može prema različnom prozoru,
48
+ neka se boja svoje slušam.
49
+
50
+ Da se ne postaje čovjek lažni prijatelji,
51
+ a ja sam ih samo samo ne znam da sam ima ovih nego
52
+ pred posteljom toplinu u zraku
53
+ uspomena zraka do moje ili
54
+ tražeći plače i sve muče
55
+ na pred postelje prekopasne stare stvari
56
+ kao da se ponovim tamnom pod rasprodova
57
+ preko žene su se u njima mogla je na tom suncu između pjesmi
58
+ i dan iz duboka našem pijesku golemu
59
+ kako se prije nego učinili na leđima i smrt je savio na pogled u sati traži ostavljaljenje
60
+
61
+ Živjela je sve slobodne na povratku
62
+ nekada bih je bilo svega u svojem stvaru strance.
63
+ Bolest je svetan postoji noćnih poslanja.
64
+
65
+ Ona koja je sve reći.
66
+
67
+ Ne spasi ona stanaše svoje progovara.
68
+ ```
69
+
70
+ ### epoch 50, temperature 0.6
71
+
72
+ ```
73
+ upravda,
74
+ nekoć se ogledala spavaju i stijena.
75
+
76
+ Neka se naše srce ponaslo toče
77
+ po mene pred pustim i svijetlim onom moje susrete
78
+ da se ne mogu svim prije nego iznenada te ne popušta
79
+ i s pleće se otvorene u prazninu.
80
+
81
+ Kinu pred razlikema tolikog u zagrljaja stala;
82
+ izvan bezdna bacala da se pjesme koje
83
+ samo jednom, ne bih je potpilo razgovarali uspijenje
84
+ Prije noge voli me pomislim.
85
+ Tako da ne budem svoju pravo sve ti
86
+ i nema mogu riječ – više ne slutim
87
+ i kada se ne volim
88
+ ali ne možeš tako iz svoje čežnje dolazi
89
+ i nekog drugog mora, i od svih pjesma.
90
+
91
+ Preko živote, promače, opet jednom,
92
+ a gore se prepoznati gledati
93
+ zapjevajmo, ja sam svoje bolne suze ljubavi.
94
+
95
+ U ustami se okreću se prolazi poklonu bora.
96
+
97
+ Jedna nema, od čas se od tebe slatko okrenula,
98
+ s pecdanse, na sunce podno i kupeno
99
+ I sve ne to ne znam kako će nam to
100
+ vječnost se samo nebo podignem.
101
+ ```
102
+
103
+ ### epoch 50, temperature 0.7
104
+
105
+ ```
106
+ Soba poput našeg grada od mojih noga.
107
+
108
+ Kada sam bilo kamenje.
109
+ Bilo je postojali.
110
+ Neka suza pokazala su pomalo izliječu i pokloničku
111
+ naderanju i propale utraba kako su mi dobru kosti,
112
+ kad je visoko prosjeko teške popodnevnih krajalica.
113
+ One su sve svoje dive, ne hladnome plavom
114
+ i kriknute noći i upravljanje dugo.
115
+
116
+ Iz starih sunce velike makove
117
+ i premlazati za plavim sudim crvenom sjenu što za stopalnom posteljima
118
+ prokovara iz usna mladosti
119
+ Da bi ti odgrobljena svijeta
120
+ koja se pokret njegovih zavijena
121
+ što naše spava, modrice i poljubac o zimske slušali visoke
122
+ u kući u krili sjajam kroz prozor koji su druge vjerna protiv
123
+ potom za vaših ruka iz moje kozite
124
+ i uglavnom tromu što se ne odmjela
125
+ slobodna su reklo hrvati stopali su sakrivene na kojem
126
+ se ja sam se smijala kosijega i ugaslo porazi na stranici
127
+ ali sada usne ništa ne smijeh se ne bude pričala
128
+ oko izgubljena dok ne staje od svoga nekog spava
129
+ ispod kojega je bolje samo da si malo pustog
130
+ onako, i anđelko od mene, isto što vrijedi
131
+ znači se u svojem mulju i plamen,
132
+ malo svetog kapi: al kada se oči za svoje glave,
133
+ i u njemu osu vodu s pravim listom krvavi.
134
+
135
+ Prema svemu stvarna dolazika. Ona su opet pitaš
136
+ počinje u svoju stranu znanje, ustvari u povijest od magle i nešto na štoli
137
+ Ludonac i svetac još samo tvoje sunce i čežnje.
138
+ Putovanja biti samo trebali ti onaj koji je govorio na postelji,
139
+ ni vječni vodu, što se samo uzgubiti,
140
+ i ono što se ne zna da je nemoguće,
141
+ ne vraćaj se starim vitke od mene,
142
+ i prostran svijet moj se krilu,
143
+ što te čudiš da sam bio u zastalju,
144
+ Kad se namije nemam ni mora
145
+ da mu ne bih vido da sam dovila,
146
+ prečekati samo i vreli od
147
+ kupanje na ruku pruža raspreda.
148
+ ```
149
+