philipp-zettl commited on
Commit
2c13a4a
1 Parent(s): e82d8d7

Upload tokenizer-v0.5.json

Browse files
Files changed (1) hide show
  1. tokenizer-v0.5.json +1 -0
tokenizer-v0.5.json ADDED
@@ -0,0 +1 @@
 
 
1
+ ["\n", " ", "!", "#", "*", "+", "-", ".", "/", "0", "1", "2", "3", "4", "5", "6", "7", "8", "9", "=", "?", "B", "K", "N", "O", "Q", "R", "a", "b", "c", "d", "e", "f", "g", "h", "x"]