alexkueck commited on
Commit
cc3b6f3
·
1 Parent(s): 9acbf52

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +5 -2
app.py CHANGED
@@ -34,7 +34,10 @@ def group_texts(examples):
34
 
35
 
36
 
37
- ######################################################################
 
 
 
38
  #Modelle und Tokenizer
39
 
40
  #Alternativ mit beliebigen Modellen:
@@ -42,7 +45,7 @@ base_model = "project-baize/baize-v2-7b" #load_8bit = False (in load_tokenizer_
42
  #base_model = "TheBloke/airoboros-13B-HF" #load_8bit = False (in load_tokenizer_and_model)
43
  #base_model = "EleutherAI/gpt-neo-1.3B" #load_8bit = False (in load_tokenizer_and_model)
44
  #base_model = "TheBloke/airoboros-13B-HF" #load_8bit = True
45
- tokenizer,model,device = load_tokenizer_and_model(base_model,False)
46
 
47
  dataset_neu = daten_laden("alexkueck/tis")
48
  #dataset_neu = daten_laden("EleutherAI/pile")
 
34
 
35
 
36
 
37
+ ###################################################################################
38
+ #Access-Token (in Secrets)
39
+ access_token = TOKEN
40
+
41
  #Modelle und Tokenizer
42
 
43
  #Alternativ mit beliebigen Modellen:
 
45
  #base_model = "TheBloke/airoboros-13B-HF" #load_8bit = False (in load_tokenizer_and_model)
46
  #base_model = "EleutherAI/gpt-neo-1.3B" #load_8bit = False (in load_tokenizer_and_model)
47
  #base_model = "TheBloke/airoboros-13B-HF" #load_8bit = True
48
+ tokenizer,model,device = load_tokenizer_and_model(base_model,False, access_token)
49
 
50
  dataset_neu = daten_laden("alexkueck/tis")
51
  #dataset_neu = daten_laden("EleutherAI/pile")