Training done

preprocessor_config.json

@@ -1,22 +1,4 @@
 {
-  "_valid_processor_keys": [
-    "images",
-    "do_resize",
-    "size",
-    "resample",
-    "do_thumbnail",
-    "do_align_long_axis",
-    "do_pad",
-    "random_padding",
-    "do_rescale",
-    "rescale_factor",
-    "do_normalize",
-    "image_mean",
-    "image_std",
-    "return_tensors",
-    "data_format",
-    "input_data_format"
-  ],
   "do_align_long_axis": false,
   "do_normalize": true,
   "do_pad": true,

tokenizer.json

@@ -411,8 +411,8 @@
   "pre_tokenizer": {
     "type": "Metaspace",
     "replacement": "▁",
-    "add_prefix_space": true,
-    "prepend_scheme": "always"
+    "prepend_scheme": "always",
+    "split": true
   },
   "post_processor": {
     "type": "TemplateProcessing",
@@ -498,8 +498,8 @@
   "decoder": {
     "type": "Metaspace",
     "replacement": "▁",
-    "add_prefix_space": true,
-    "prepend_scheme": "always"
+    "prepend_scheme": "always",
+    "split": true
   },
   "model": {
     "type": "Unigram",