--- license: mit language: - hr tags: - natural-language-processing - text-generation - poetry-generation - torch - lstm --- This generative text model was trained using [Andrej Karpathy's code](https://github.com/karpathy/char-rnn) on texts of the Croatian poets. Models of this type well represent poetic style. Model was trained with size 512 and 3 layers, dropout 0.5. There are 2 checkpoints of this model presented in the repository. One after 14 epochs with loss 1.7169, the other after 50 epochs with loss 1.8104. These metrics are in the file name. ## Usage The procedure for installing the required software is described [by Karpathy](https://github.com/karpathy/char-rnn), torch is required, the code is written in lua. Be careful, versions of libraries written many years ago are used! ```bash th sample.lua lm_lstm_epoch50.00_1.8104.t7 -length 10000 -temperature 0.5 -primetext 'some text' ``` ## Train data Train data is non free due to copyright restrictions. The texts of Croatian poets served as a train corpus. ## What for? In an era of winning Transformers, ancient RNN models seem archaic. But I see that they still work better than modern architectures with such important categories from the humanities point of view as individual style. ## Publication Poems generated by this model have been published in Croatian literary anthologies: * [Boris Orehov, Rafaela Božić. Što je neuronska mreža htjela reći? *Republika. Časopis za književnost, umjetnost i društvo* n 1–2 (2019): 10–15](http://dhk.hr/casopis-republika/detaljnije/republika-1-2-2019) * [Boris Orehov i Rafaela Božić. Pjesma neuronske mreže *Millenium stih – poetski maraton „Riječi iznad svega“* Zajednička zbirka poezije sudionika Millenium stiha – poetskog maratona. (2018): 95.](http://nevmenandr.net/personalia/mreza.pdf) (included in this repository) ## Samples ### epoch 50, temperature 0.5 ``` umran po stolu ponekad samo smijeha I sve njene priče koju sam da se može prema različnom prozoru, neka se boja svoje slušam. Da se ne postaje čovjek lažni prijatelji, a ja sam ih samo samo ne znam da sam ima ovih nego pred posteljom toplinu u zraku uspomena zraka do moje ili tražeći plače i sve muče na pred postelje prekopasne stare stvari kao da se ponovim tamnom pod rasprodova preko žene su se u njima mogla je na tom suncu između pjesmi i dan iz duboka našem pijesku golemu kako se prije nego učinili na leđima i smrt je savio na pogled u sati traži ostavljaljenje Živjela je sve slobodne na povratku nekada bih je bilo svega u svojem stvaru strance. Bolest je svetan postoji noćnih poslanja. Ona koja je sve reći. Ne spasi ona stanaše svoje progovara. ``` ### epoch 50, temperature 0.6 ``` upravda, nekoć se ogledala spavaju i stijena. Neka se naše srce ponaslo toče po mene pred pustim i svijetlim onom moje susrete da se ne mogu svim prije nego iznenada te ne popušta i s pleće se otvorene u prazninu. Kinu pred razlikema tolikog u zagrljaja stala; izvan bezdna bacala da se pjesme koje samo jednom, ne bih je potpilo razgovarali uspijenje Prije noge voli me pomislim. Tako da ne budem svoju pravo sve ti i nema mogu riječ – više ne slutim i kada se ne volim ali ne možeš tako iz svoje čežnje dolazi i nekog drugog mora, i od svih pjesma. Preko živote, promače, opet jednom, a gore se prepoznati gledati zapjevajmo, ja sam svoje bolne suze ljubavi. U ustami se okreću se prolazi poklonu bora. Jedna nema, od čas se od tebe slatko okrenula, s pecdanse, na sunce podno i kupeno I sve ne to ne znam kako će nam to vječnost se samo nebo podignem. ``` ### epoch 50, temperature 0.7 ``` Soba poput našeg grada od mojih noga. Kada sam bilo kamenje. Bilo je postojali. Neka suza pokazala su pomalo izliječu i pokloničku naderanju i propale utraba kako su mi dobru kosti, kad je visoko prosjeko teške popodnevnih krajalica. One su sve svoje dive, ne hladnome plavom i kriknute noći i upravljanje dugo. Iz starih sunce velike makove i premlazati za plavim sudim crvenom sjenu što za stopalnom posteljima prokovara iz usna mladosti Da bi ti odgrobljena svijeta koja se pokret njegovih zavijena što naše spava, modrice i poljubac o zimske slušali visoke u kući u krili sjajam kroz prozor koji su druge vjerna protiv potom za vaših ruka iz moje kozite i uglavnom tromu što se ne odmjela slobodna su reklo hrvati stopali su sakrivene na kojem se ja sam se smijala kosijega i ugaslo porazi na stranici ali sada usne ništa ne smijeh se ne bude pričala oko izgubljena dok ne staje od svoga nekog spava ispod kojega je bolje samo da si malo pustog onako, i anđelko od mene, isto što vrijedi znači se u svojem mulju i plamen, malo svetog kapi: al kada se oči za svoje glave, i u njemu osu vodu s pravim listom krvavi. Prema svemu stvarna dolazika. Ona su opet pitaš počinje u svoju stranu znanje, ustvari u povijest od magle i nešto na štoli Ludonac i svetac još samo tvoje sunce i čežnje. Putovanja biti samo trebali ti onaj koji je govorio na postelji, ni vječni vodu, što se samo uzgubiti, i ono što se ne zna da je nemoguće, ne vraćaj se starim vitke od mene, i prostran svijet moj se krilu, što te čudiš da sam bio u zastalju, Kad se namije nemam ni mora da mu ne bih vido da sam dovila, prečekati samo i vreli od kupanje na ruku pruža raspreda. ```