DataPilot/ArrowSmart_1.7b_instruction

概要

「LOCAL AI HACKATHON」における、チームDataPilot,5つめの成果品です。Line社が開発した「japanese-large-lm-1.7b-instruction-sft」をウィキブックの内容をもとに中学、高校範囲に加え、インストラクションデータセットを用いファインチューニングを行いました。

how to use


#pip install transformers
#pip install pipline
#pip install protobuf
#pip install accelerate
#pip install sentencepiece
#pip install torch  ← CPU推論で動作させる場合。
#pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121　← GPU推論で動作させる場合。

import torch
from transformers import AutoModelForSequenceClassification
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline #transformerとtorchがインストールされていることを前提とします。

model = AutoModelForCausalLM.from_pretrained("DataPilot/ArrowSmart_1.7b_instruction")
tokenizer = AutoTokenizer.from_pretrained("DataPilot/ArrowSmart_1.7b_instruction")

generator = pipeline("text-generation", model=model, tokenizer=tokenizer, device=0)

torch.cuda.empty_cache()

input_text = """有機物とは"""
text = generator(
    f"ユーザー: {input_text} システム: ",
    max_length = 100,
    do_sample = True,
    temperature = 0.7,
    top_p = 0.9,
    top_k = 0,
    repetition_penalty = 1.1,
    num_beams = 1,
    pad_token_id = tokenizer.pad_token_id,
    num_return_sequences = 1,
)

print(text)

トークン化:

ユニグラム言語モデルとバイトフォールバックを備えたセンテンスピーストークナイザー(sentencepiece tokenizer)を使用します。日本語トークナイザーによる事前トークン化は適用されません。したがって、ユーザーは生の文をトークナイザーに直接フィードできます。

ライセンス：

当LLMはオープンソースソフトウェアです。詳しくは下記のリンクをご覧ください。 https://www.apache.org/licenses/LICENSE-2.0

謝辞：

機材を貸していただいた Witnessさん、このような機会を与えてくださったさるどらさん、その他助言を与えてくださった「ローカルLLMに向き合う会」のみなさま、そしてすべての関係者の皆様に感謝を申し上げます。

witnessさん： https://twitter.com/i_witnessed_it

さるどらさん： https://twitter.com/sald_ra

ローカルLLMに向き合う会： https://discord.com/invite/VuYCYkYaHK