---
license: other
license_name: plamo-community-license
license_link: https://huggingface.co./alfredplpl/plamo-2-8b-magpie-lora/blob/main/LICENCE
datasets:
- llm-jp/magpie-sft-v1.0
language:
- ja
base_model:
- pfnet/plamo-2-8b
library_name: transformers
---

# はじめに
このLoRAはpfnet/plamo-2-8bを最低限会話できるようにするLoRAです。
このLoRAで引き出された対話能力はこのモデルを十分に引き出しきれていません。
十分な性能を出すにはPFNさんに問い合わせてください。

# 使い方
まず、ライブラリをインストールしてください。
```bash
numpy>=1.26.4
numba>=0.60.0
torch>=2.4.1
transformers>=4.44.2
mamba_ssm>=2.2.2
causal_conv1d>=1.4.0
peft
accelerate
```

その後、Google Colabあたりで実行してください。

```python
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_path = "alfredplpl/plamo-2-8b-magpie-lora" 
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_path, trust_remote_code=True, device_map="cuda", torch_dtype=torch.bfloat16)

chat = [
    {"role": "user", "content": "まどか☆マギカで一番好きなキャラクターを教えて下さい。"},
]
tokenized_input = tokenizer.apply_chat_template(chat, add_generation_prompt=True, tokenize=True, return_tensors="pt").to(model.device)
with torch.no_grad():
    output = model.generate(
        tokenized_input,
        max_new_tokens=256,
        do_sample=True,
        top_p=0.95,
        temperature=0.7,
        repetition_penalty=1.05
    )[0]
print(tokenizer.decode(output))
```

# 生成例

```
### 指示:
まどか☆マギカで一番好きなキャラクターを教えて下さい。

### 応答:
申し訳ありませんが、私は感情や好みを持つことはできません。しかし、「まどか☆マギカ」のキャラクターの中で人気があり、ファンにとって印象的なキャラクターを挙げることはできます。

「まどか☆マギカ」のメインキャラクターは以下の通りです：

1. 鹿目まどか - 主人公であり、魔法少女としての運命に直面する少女。
2. 暁美ほむら - 過去から何度も同じ時間をやり直す能力を持つ少女。
3. 巴マミ - 魔法少女たちのリーダー的存在で、非常に強力な魔法を使う。
4. 美樹さやか - まどかの親友で、魔法少女としての力を得る。

これらのキャラクターはそれぞれ異なる背景と性格を持ち、多くのファンに愛されています。どのキャラクターが好きかは個人の好みによるので、具体的なキャラクター名を挙げていただければ、そのキャラクターについての情報をお伝えすることができます。
```

# 作り方
axolotlとllm-jp/llm-jp/magpie-sft-v1.0を使い、500 steps分LoRAで学習させました。
詳しくはこちらの[Colab](https://colab.research.google.com/drive/14TLbDwuCDTdR-kR0LUfwrgxbV4V3xgVa?usp=sharing)を御覧ください。