Uhhy commited on
Commit
0a972b6
1 Parent(s): 7af609e

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +2 -5
app.py CHANGED
@@ -90,14 +90,11 @@ class ModelManager:
90
  model_data = {
91
  'model': llama,
92
  'tokenizer': tokenizer,
93
- 'pad_token': tokenizer.pad_token,
94
  'pad_token_id': tokenizer.pad_token_id,
95
- 'eos_token': tokenizer.eos_token,
96
  'eos_token_id': tokenizer.eos_token_id,
97
- 'bos_token': tokenizer.bos_token,
98
  'bos_token_id': tokenizer.bos_token_id,
99
- 'unk_token': tokenizer.unk_token,
100
- 'unk_token_id': tokenizer.unk_token_id
101
  }
102
 
103
  self.models[model_config['name']] = model_data
 
90
  model_data = {
91
  'model': llama,
92
  'tokenizer': tokenizer,
 
93
  'pad_token_id': tokenizer.pad_token_id,
 
94
  'eos_token_id': tokenizer.eos_token_id,
 
95
  'bos_token_id': tokenizer.bos_token_id,
96
+ 'unk_token_id': tokenizer.unk_token_id,
97
+ 'padding_token_id': tokenizer.padding_token_id
98
  }
99
 
100
  self.models[model_config['name']] = model_data