metadata

license: other
license_name: plamo-community-license
license_link: https://huggingface.co./alfredplpl/plamo-2-8b-magpie-lora/blob/main/LICENCE
datasets:
  - llm-jp/magpie-sft-v1.0
language:
  - ja
base_model:
  - pfnet/plamo-2-8b
library_name: transformers

はじめに

このLoRAはpfnet/plamo-2-8bを最低限会話できるようにするLoRAです。このLoRAではこのモデルの対話能力を十分に引き出しきれていません。十分な性能を出すにはPFNさんに問い合わせてください。

使い方

まず、pfnet/plamo-2-8bのページへ行き、利用規約に同意するボタンを押してください。次にGoogle Colabあたりでライブラリをインストールしてください。

numpy>=1.26.4
numba>=0.60.0
torch>=2.4.1
transformers>=4.44.2
mamba_ssm>=2.2.2
causal_conv1d>=1.4.0
peft
accelerate

その後、Google Colabあたりで実行してください。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_path = "alfredplpl/plamo-2-8b-magpie-lora" 
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_path, trust_remote_code=True, device_map="cuda", torch_dtype=torch.bfloat16)

chat = [
    {"role": "user", "content": "まどか☆マギカで一番好きなキャラクターを教えて下さい。"},
]
tokenized_input = tokenizer.apply_chat_template(chat, add_generation_prompt=True, tokenize=True, return_tensors="pt").to(model.device)
with torch.no_grad():
    output = model.generate(
        tokenized_input,
        max_new_tokens=256,
        do_sample=True,
        top_p=0.95,
        temperature=0.7,
        repetition_penalty=1.05
    )[0]
print(tokenizer.decode(output))

生成例

### 指示:
まどか☆マギカで一番好きなキャラクターを教えて下さい。

### 応答:
まどか☆マギカのキャラクターは本当に魅力的で、それぞれが独自の個性とストーリーを持っています。しかし、私は特に「鹿目まどか」が好きです。彼女は物語の中心人物で、純粋さと強さを兼ね備えています。また、彼女の成長と自己犠牲的な行動は、多くの視聴者に強い印象を与えました。他にも「暁美ほむら」や「巴マミ」など、各キャラクターにはそれぞれの魅力があり、どのキャラクターも作品の中で重要な役割を果たしています

作り方

axolotlとllm-jp/magpie-sft-v1.0を使い、1000 steps分LoRAで学習させました。コストはA100 1GPU時間程度です。詳しくはこちらのColabを御覧ください。