Example 1:

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
import os

device = "cuda"

device_map = {
    "lm_head": device,
    "model": device
}

model_name = "piotr-ai/polanka__qwen2__3.4b__v0.2__ckpt-2237500"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map=device_map)

prompt = "Lubi臋 zup臋 pomidorow膮 poniewa偶"
model_inputs = tokenizer(prompt, return_tensors="pt").to(device)
generated_ids = model.generate(model_inputs.input_ids, max_new_tokens=100, temperature=0.6, do_sample=True)

print(tokenizer.decode(generated_ids[0]))

Lubi臋 zup臋 pomidorow膮 poniewa偶 jest bardzo smaczna i aromatycznie pachn膮ca. Zupa ta 艣wietnie sprawdza si臋 w przypadku, kiedy chcemy zrobi膰 co艣 szybko a jednocze艣nie zdrowo. Pomidory s膮 niskokaloryczne dlatego mo偶na je podawa膰 na ciep艂o lub jako przek膮sk臋 do obiadu.

Dzi臋ki tym daniom mo偶emy przygotowa膰 pyszny sok warzywny -

Example 2:

prompt = """
Q: Co to jest psychologia?
A:
""".strip()

model_inputs = tokenizer(prompt, return_tensors="pt").to(device)
generated_ids = model.generate(model_inputs.input_ids, max_new_tokens=100, temperature=0.6, do_sample=True)
print(tokenizer.decode(generated_ids[0]))
Q: Co to jest psychologia?
A: Psychologia, jako nauka o umy艣le i zachowaniu cz艂owieka, skupia si臋 na badaniach nad m贸zgiem oraz jego funkcjonowanie w 偶yciu codziennym. Wyr贸偶nia j膮 kilku kluczowych aspekt贸w:

* **Psychologiczne podstawowe mechanizmy:** Jak ludzie my艣l膮cy wp艂ywaj膮 ze swoimi emocjami? Czy istniej膮 uniwersalne procesy psychicznych
Downloads last month
10
Safetensors
Model size
3.46B params
Tensor type
BF16
Inference Providers NEW
This model is not currently available via any of the supported Inference Providers.
The model cannot be deployed to the HF Inference API: The model has no library tag.