kevineen commited on
Commit
6376204
·
verified ·
1 Parent(s): 9aaae84

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +10 -9
README.md CHANGED
@@ -18,18 +18,17 @@ pipeline_tag: text-generation
18
  回答
19
  """"
20
 
21
-
22
- 下記のコードで実行をしました。
23
  ```
24
  !pip install -U bitsandbytes
25
  !pip install -U transformers
26
  !pip install -U accelerate
27
  !pip install -U datasets
28
  !pip install -U peft
 
29
 
30
- # notebookでインタラクティブな表示を可能とする(ただし、うまく動かない場合あり)
31
- !pip install ipywidgets --upgrade
32
-
33
  from transformers import (
34
  AutoModelForCausalLM,
35
  AutoTokenizer,
@@ -41,7 +40,7 @@ from tqdm import tqdm
41
  import json
42
 
43
  # ベースとなるモデルと学習したLoRAのアダプタ。
44
- base_model_id = "llm-jp/llm-jp-3-13b"
45
  adapter_id = "kevineen/llm-jp-3-13b-finetune" # Hugging FaceのIDを指定。
46
 
47
  # QLoRA config
@@ -59,13 +58,15 @@ model = AutoModelForCausalLM.from_pretrained(
59
  )
60
 
61
  # Load tokenizer
62
- tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True, token = HF_TOKEN)
63
 
64
  # 元のモデルにLoRAのアダプタを統合。
65
- model = PeftModel.from_pretrained(model, adapter_id, token = HF_TOKEN)
66
 
67
- # データセットの読み込み。
68
  # omnicampusの開発環境では、左にタスクのjsonlをドラッグアンドドロップしてから実行。
 
 
69
  datasets = []
70
  with open("./elyza-tasks-100-TV_0.jsonl", "r") as f:
71
  item = ""
 
18
  回答
19
  """"
20
 
21
+ 下記のversionで実行をしました。
 
22
  ```
23
  !pip install -U bitsandbytes
24
  !pip install -U transformers
25
  !pip install -U accelerate
26
  !pip install -U datasets
27
  !pip install -U peft
28
+ ```
29
 
30
+ 下記のコードで実行をしました。
31
+ ```
 
32
  from transformers import (
33
  AutoModelForCausalLM,
34
  AutoTokenizer,
 
40
  import json
41
 
42
  # ベースとなるモデルと学習したLoRAのアダプタ。
43
+ model_id = "llm-jp/llm-jp-3-13b"
44
  adapter_id = "kevineen/llm-jp-3-13b-finetune" # Hugging FaceのIDを指定。
45
 
46
  # QLoRA config
 
58
  )
59
 
60
  # Load tokenizer
61
+ tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
62
 
63
  # 元のモデルにLoRAのアダプタを統合。
64
+ model = PeftModel.from_pretrained(model, adapter_id)
65
 
66
+ # 出力したいデータセットの読み込み。
67
  # omnicampusの開発環境では、左にタスクのjsonlをドラッグアンドドロップしてから実行。
68
+ ## 対象のデータセットを用意してください(※ elyza-tasks-100-TV_0.jsonl
69
+
70
  datasets = []
71
  with open("./elyza-tasks-100-TV_0.jsonl", "r") as f:
72
  item = ""