README.md

---
license: other
license_name: plamo-community-license
license_link: https://huggingface.co./alfredplpl/plamo-2-8b-magpie-lora/blob/main/LICENCE
datasets:
- llm-jp/magpie-sft-v1.0
language:
- ja
base_model:
- pfnet/plamo-2-8b
library_name: transformers
---

# はじめに
このLoRAはpfnet/plamo-2-8bを最低限会話できるようにするLoRAです。
このLoRAではこのモデルの対話能力を十分に引き出しきれていません。
十分な性能を出すにはPFNさんに問い合わせてください。

# 使い方
まず、[pfnet/plamo-2-8bのページ](https://huggingface.co./pfnet/plamo-2-8b)へ行き、利用規約に同意するボタンを押してください。
次にGoogle Colabあたりでライブラリをインストールしてください。
```bash
numpy>=1.26.4
numba>=0.60.0
torch>=2.4.1
transformers>=4.44.2
mamba_ssm>=2.2.2
causal_conv1d>=1.4.0
peft
accelerate
```

その後、Google Colabあたりで実行してください。

```python
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_path = "alfredplpl/plamo-2-8b-magpie-lora" 
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_path, trust_remote_code=True, device_map="cuda", torch_dtype=torch.bfloat16)

chat = [
    {"role": "user", "content": "まどか☆マギカで一番好きなキャラクターを教えて下さい。"},
]
tokenized_input = tokenizer.apply_chat_template(chat, add_generation_prompt=True, tokenize=True, return_tensors="pt").to(model.device)
with torch.no_grad():
    output = model.generate(
        tokenized_input,
        max_new_tokens=256,
        do_sample=True,
        top_p=0.95,
        temperature=0.7,
        repetition_penalty=1.05
    )[0]
print(tokenizer.decode(output))
```

# 生成例

```markdown
### 指示:
まどか☆マギカで一番好きなキャラクターを教えて下さい。

### 応答:
まどか☆マギカのキャラクターは本当に魅力的で、それぞれが独自の個性とストーリーを持っています。しかし、私は特に「鹿目まどか」が好きです。彼女は物語の中心人物で、純粋さと強さを兼ね備えています。また、彼女の成長と自己犠牲的な行動は、多くの視聴者に強い印象を与えました。他にも「暁美ほむら」や「巴マミ」など、各キャラクターにはそれぞれの魅力があり、どのキャラクターも作品の中で重要な役割を果たしています
```

# 作り方
axolotlとllm-jp/magpie-sft-v1.0を使い、1000 steps分LoRAで学習させました。コストはA100 1GPU時間程度です。
詳しくはこちらの[Colab](https://colab.research.google.com/drive/14TLbDwuCDTdR-kR0LUfwrgxbV4V3xgVa?usp=sharing)を御覧ください。