Update README.md
Browse files
README.md
CHANGED
@@ -18,18 +18,17 @@ pipeline_tag: text-generation
|
|
18 |
回答
|
19 |
""""
|
20 |
|
21 |
-
|
22 |
-
下記のコードで実行をしました。
|
23 |
```
|
24 |
!pip install -U bitsandbytes
|
25 |
!pip install -U transformers
|
26 |
!pip install -U accelerate
|
27 |
!pip install -U datasets
|
28 |
!pip install -U peft
|
|
|
29 |
|
30 |
-
|
31 |
-
|
32 |
-
|
33 |
from transformers import (
|
34 |
AutoModelForCausalLM,
|
35 |
AutoTokenizer,
|
@@ -41,7 +40,7 @@ from tqdm import tqdm
|
|
41 |
import json
|
42 |
|
43 |
# ベースとなるモデルと学習したLoRAのアダプタ。
|
44 |
-
|
45 |
adapter_id = "kevineen/llm-jp-3-13b-finetune" # Hugging FaceのIDを指定。
|
46 |
|
47 |
# QLoRA config
|
@@ -59,13 +58,15 @@ model = AutoModelForCausalLM.from_pretrained(
|
|
59 |
)
|
60 |
|
61 |
# Load tokenizer
|
62 |
-
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True
|
63 |
|
64 |
# 元のモデルにLoRAのアダプタを統合。
|
65 |
-
model = PeftModel.from_pretrained(model, adapter_id
|
66 |
|
67 |
-
#
|
68 |
# omnicampusの開発環境では、左にタスクのjsonlをドラッグアンドドロップしてから実行。
|
|
|
|
|
69 |
datasets = []
|
70 |
with open("./elyza-tasks-100-TV_0.jsonl", "r") as f:
|
71 |
item = ""
|
|
|
18 |
回答
|
19 |
""""
|
20 |
|
21 |
+
下記のversionで実行をしました。
|
|
|
22 |
```
|
23 |
!pip install -U bitsandbytes
|
24 |
!pip install -U transformers
|
25 |
!pip install -U accelerate
|
26 |
!pip install -U datasets
|
27 |
!pip install -U peft
|
28 |
+
```
|
29 |
|
30 |
+
下記のコードで実行をしました。
|
31 |
+
```
|
|
|
32 |
from transformers import (
|
33 |
AutoModelForCausalLM,
|
34 |
AutoTokenizer,
|
|
|
40 |
import json
|
41 |
|
42 |
# ベースとなるモデルと学習したLoRAのアダプタ。
|
43 |
+
model_id = "llm-jp/llm-jp-3-13b"
|
44 |
adapter_id = "kevineen/llm-jp-3-13b-finetune" # Hugging FaceのIDを指定。
|
45 |
|
46 |
# QLoRA config
|
|
|
58 |
)
|
59 |
|
60 |
# Load tokenizer
|
61 |
+
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
|
62 |
|
63 |
# 元のモデルにLoRAのアダプタを統合。
|
64 |
+
model = PeftModel.from_pretrained(model, adapter_id)
|
65 |
|
66 |
+
# 出力したいデータセットの読み込み。
|
67 |
# omnicampusの開発環境では、左にタスクのjsonlをドラッグアンドドロップしてから実行。
|
68 |
+
## 対象のデータセットを用意してください(※ elyza-tasks-100-TV_0.jsonl
|
69 |
+
|
70 |
datasets = []
|
71 |
with open("./elyza-tasks-100-TV_0.jsonl", "r") as f:
|
72 |
item = ""
|