# Fauno - Italian LLM 

![image](fauno.drawio.png)
## Model initialization
```python
from transformers import LlamaTokenizer, LlamaForCausalLM, GenerationConfig
from peft import PeftModel

tokenizer = LlamaTokenizer.from_pretrained("decapoda-research/llama-7b-hf")
model = LlamaForCausalLM.from_pretrained(
    "decapoda-research/llama-7b-hf",
    load_in_8bit=True,
    device_map="auto",
)
model = PeftModel.from_pretrained(model, "andreabac3/Fauno-Italian-LLM-7B")
model.eval()
```

## Inference
```python
def evaluate(question: str) -> str:
    prompt = f"The conversation between human and AI assistant.\n[|Human|] {question}.\n[|AI|] "
    inputs = tokenizer(prompt, return_tensors="pt")
    input_ids = inputs["input_ids"].cuda()
    generation_output = model.generate(
        input_ids=input_ids,
        generation_config=generation_config,
        return_dict_in_generate=True,
        output_scores=True,
        max_new_tokens=256
    )
    output = tokenizer.decode(generation_output.sequences[0]).split("[|AI|]")[1]
    return output

your_question: str = "Qual'è il significato della vita?"
print(evaluate(your_question))
```

### Output 
```
Il senso della vita è una domanda che molte persone hanno cercato di rispondere per secoli.
Alla fine, il senso della vita è soggettivo e varia da persona a persona.
Alcune persone credono che il senso della vita sia trovare la felicità, mentre altre credono che sia raggiungere i propri obiettivi o aiutare gli altri.
Alla fine, il senso della vita è determinato dall'individuo e dai loro valori e credenze.
In definitiva, il senso della vita è qualcosa che ognuno deve trovare da solo.
Non c'è una risposta giusta o sbagliata, poiché ogni persona ha le proprie convinzioni e credenze.
La ricerca del senso della vita può essere un viaggio lungo e difficile, ma vale la pena perseguire.
```