philipp-zettl
commited on
Commit
•
2c13a4a
1
Parent(s):
e82d8d7
Upload tokenizer-v0.5.json
Browse files- tokenizer-v0.5.json +1 -0
tokenizer-v0.5.json
ADDED
@@ -0,0 +1 @@
|
|
|
|
|
1 |
+
["\n", " ", "!", "#", "*", "+", "-", ".", "/", "0", "1", "2", "3", "4", "5", "6", "7", "8", "9", "=", "?", "B", "K", "N", "O", "Q", "R", "a", "b", "c", "d", "e", "f", "g", "h", "x"]
|