README.md

---
license: apache-2.0
datasets:
- scribis/Wikipedia_it_Trame_Romanzi
- scribis/Corpus-Frasi-da-Opere-Letterarie
- scribis/Wikipedia-it-Trame-di-Film
- scribis/Wikipedia-it-Descrizioni-di-Dipinti
- scribis/Wikipedia-it-Mitologia-Greca
language:
- it
tags:
- Italian
- Mistral
- finetuning
- Text Generation
pipeline_tag: text-generation
---
Model Card for Fantastica-7b-Instruct-0.2-Italian

# 🇮🇹 Fantastica-7b-Instruct-0.2-Italian 🇮🇹 

Fantastica-7b-Instruct-0.2-Italian is an Italian speaking, instruction finetuned, Large Language model. 🇮🇹

# COLAB NOTEBOOK (load in 4bit):

https://colab.research.google.com/drive/1txMLI6-rvo2lBmBazsP3-5WgYxVWiKzt?usp=sharing

# Fantastica-7b-Instruct-0.2-Italian's peculiar features:

- Mistral-7B-Instruct-v0.2 v.02 as base.
- generation of texts in Italian according to the style of 4 great authors of Italian literature. Alessandro Manzoni, Carlo Dossi, Carlo Collodi and Luigi Pirandello.
- generation of film and novel plots in Italian.
- generation of descriptions of paintings in Italian.
- Trained on: selected entries from Wikipedia, corpus of Italian books from liberliber (https://liberliber.it/), and selected paragraphs from Alessandro Manzoni, Carlo Dossi, Carlo Collodi e Luigi Pirandello.
- Training took 70 hours with Google Colab A100.
- First version of a series of models dedicated to Italian literature.

# Notes on sources:
- the model makes use of literary works no longer covered by copyright, largely derived from liberliber.it corpus.
- the model uses entries selected from the free Wikipedia encyclopedia.


# PROMPT FORMAT

Your prompt should be surrounded by `[INST]` and `[/INST]` tokens. The very first instruction should begin with a begin of sentence \<s\>. The next instructions should not.

\<s\>[INST]{instruction}[/INST]

for few-shots prompt use:

\<s\>[INST]{instruction}[/INST]{response}[INST]{instruction2}[/INST]


# Python

```python
# For faster text generation: !pip install accelerate
# import accelerate

from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline

model = AutoModelForCausalLM.from_pretrained("scribis/Fantastica-7b-Instruct-0.2-Italian_merged")
# with accelerate: model = AutoModelForCausalLM.from_pretrained("scribis/Fantastica-7b-Instruct-0.2-Italian_merged", device_map = 'cuda') 

tokenizer = AutoTokenizer.from_pretrained("scribis/Fantastica-7b-Instruct-0.2-Italian_merged")

pipe = pipeline(task="text-generation", model=model, tokenizer=tokenizer, max_length=768, temperature=0.75, repetition_penalty=1.2, do_sample=True)

prompt = "<s>[INST]@Scribis @Italiano. Raccontami la trama di un romanzo storico.[/INST]### Titolo: Il figlio dell'imperatore. ### Introduzione: Il figlio dell'imperatore (The Son of the Emperor) è un romanzo storico del 1915 scritto da Charles Giblin, ambientato nell\'Antica Roma. ### Trama."
result = pipe(prompt)
print(result)

```


# Examples: 

# INSTRUCTION

@Scribis @Carlodossi @Italiano. Scrivi una scena nello stile letterario ironico ed espressivo di Carlodossi di Scribis a partire dalle seguenti sintetiche indicazioni: Un viaggiatore giunge dapprima al Castello di Vindona dove viene accolto freddamente dai servitori. Il viaggiatore entra nella sala del trono e percorre un tappeto di pelle di drago. Il viaggiatore è presentato al signore del castello, uno strano tiranno sulla cui testa sta una corona fatta di scheletri di serpente.

# RESPONSE

# temperature:0.6 (Style imitation: low. Content consistency: medium)

Titolo: Arrivo al castello di Vindone: una sorpresa. Dall'alto d'un colle, un viaggiatore che fa la sua corsa a cavallo, dopo avere superato due guardiani della strada ferrata, entra in un piccolo villaggio, il quale, a vista, pare abbandonato. Egli vede le finestre di un castello che sembra dormire; e, nonostante non sia il giorno, entra in quel castello, attraversa un salotto e entra in una sala, la cui volta è fiorita di rose bianche. Sul tappeto di pelle di drago, si trova sdraiato un signore con la testa coperta da una corona fatta d'scheletri di serpente. È lui. Accetta il viaggiatore; lo conduce nel proprio appartamento; lo mette a sedere accanto a sé, e gli offre del vino. Il viaggiatore, per rispetto, non può rifiutare; e, dopo di aver bevuto, torna a sedersi. Il signore gli fa un breve discorso; e poi, lo fa salire in carrozza, e lo porta in una torre situata di fronte al castello. Il viaggiatore è molto sorpreso di quanto ha visto, ma non sa spiegarlo. E, di lì a poco, si mette a parlare...

# temperature: 0.7 (Style imitation: medium; Content consistency: low)

Titolo: Viaggio nel regno dominato da mostri e spietati signori\n  E lo portava su' braccia, come se fosse stato un neonato, il gran viaggiatore che arrivava alla rocciosa villa di Vindòna, chiusa tra due viali coperti in tutta la loro circonferenza da folte siepi di rosmarino con lassù in cima ciliegie arrostite. La mattina dopo la sua entrata nel Regno dei Cipressi, egli si trovò seduto sopra 'l throno', tra la poltrona d'oro dello Scalco di Ferro e i cavalieri dell''Armata Bianca', i quali facevan finta di non avvertenersene affatto; ma lui era consunto dall'impazienza di poter vedere in viso il suo ostinatissimo nemico, lo Stravagante, a cui non aveva mai risposto neppure all'offesa della parola, né aveva ricambiato mai un saluto, né gli s'era mai voltato alle spalle, ma sempre via fuga come uno sfuggito al terremoto. Quel giorno però, a occhi chiuse, si fece portare sul cimasuolo dal vecchio valletto smemorato degli usci e delle scale, senz'altro vestito dello stesso color del muro grigiastro della torre, il quale soltanto ai salti riusciva ad orientarsi nell'andito buio ai confini dell'anticamera, ove il Re dormiva coi suoi cavalloni sotto la coperta argento di luna. Appena riuscite nelle stanze superiori dell'anticamera, la barbarica presenza dell'intruso, col suo aspetto quasi gigantesco e il suo corpo enorme ingordito dal tempo, c


# TRY SETTING DIFFERENT PARAMETERS!


# OTHER INTERESTING PROMPTS YOU CAN TRY TO GENERATE ITALIAN TEXTS:


# Prompt to generate texts in the style of Carlo Collodi

@Scribis @Carlocollodi @italiano. Scrivi un racconto seguendo lo stile letterario vivace e pittoresco di Carlocollodi di Scribis a partire dalle seguenti sintetiche indicazioni: {tue indicazioni}.

# Prompt to generate sentences in the style of Luigi Pirandello

@Scribis @Luigipirandello @italiano. Migliora lo stile della seguente frase seguendo lo stile letterario grottesco e pittoresco di Luigipirandello di Scribis: {tue indicazioni}.

# Prompt to generate texts in the style of Luigi Pirandello

@Scribis @Luigipirandello @Italiano. Scrivi una scena nello stile letterario vivace e grottesco di Luigipirandello di Scribis a partire dalle seguenti sintetiche indicazioni: {tue indicazioni}.

# Prompt to generate texts in the style of Carlo Dossi

@Scribis @Carlodossi @Italiano. Scrivi una scena nello stile lettarario ironico ed espressivo di Carlodossi di Scribis a partire dalle seguenti sintetiche indicazioni: {tue indicazioni}.

# Prompt to generate texts in the style of Alessandro Manzoni

@Scribis @Alessandromanzoni @Italiano. Scrivi una scena nello stile letterario ironico ed espressivo di Alessandromanzoni di Scribis a partire dalle seguenti sintetiche indicazioni: {tue indicazioni}.

# Prompt to generate Movie plots (Wikipedia style)

@Scribis @Italiano. Raccontami la trama di un film di avventura o di un film storico.
@Scribis @Italiano. Riassumi la storia di un film di avventura o di un film storico.
@Scribis @Italiano. Esponi l'intreccio di un film di avventura o di un film storico.
@Scribis @Italiano. Scrivi la trama di un film di avventura o di un film storico.

# Prompt to generate plots of novels (Wikipedia style)

@Scribis @Italiano. Raccontami la trama di un romanzo.
@Scribis @Italiano. Riassumi la storia di un libro.
@Scribis @Italiano. Esponi l'intreccio di un'opera letteraria.
@Scribis @Italiano. Scrivi la trama di un romanzo.
		  
# Prompt to generate painting descriptions (Wikipedia style)
		  
@Scribis @Italiano. Il tuo compito è descrivere un dipinto.
@Scribis @Italiano. Descrivi un dipinto.
@Scribis @Italiano. Descrivi un celebre dipinto.
@Scribis @Italiano. Descrivi un famoso dipinto.
		
# Prompt to generate a Greek mythology topic. (Wikipedia style)		
				
@Scribis @Italiano. Parlami di un argomento di mitologia greca.
@Scribis @Italiano. Raccontami qualcosa riguardante la mitologia greca.		

More information coming soon to help you make the best use of the model

Democratize AI! 

## Limitations

- Fantastica-7b-Instruct-0.2-Italian may not handle complex or nuanced queries well and may struggle with ambiguous or poorly formatted inputs.
- The model may generate responses that are factually incorrect or nonsensical. It should be used with caution, and outputs should be carefully verified.

## Model Author:
Fabio Martines <[email protected]>