ljhwild commited on
Commit
c77bf39
1 Parent(s): bd0b3bf

Upload README.md with huggingface_hub

Browse files
Files changed (1) hide show
  1. README.md +482 -0
README.md ADDED
@@ -0,0 +1,482 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ base_model: google/madlad400-3b-mt
3
+ datasets:
4
+ - allenai/MADLAD-400
5
+ language:
6
+ - multilingual
7
+ - en
8
+ - ru
9
+ - es
10
+ - fr
11
+ - de
12
+ - it
13
+ - pt
14
+ - pl
15
+ - nl
16
+ - vi
17
+ - tr
18
+ - sv
19
+ - id
20
+ - ro
21
+ - cs
22
+ - zh
23
+ - hu
24
+ - ja
25
+ - th
26
+ - fi
27
+ - fa
28
+ - uk
29
+ - da
30
+ - el
31
+ - 'no'
32
+ - bg
33
+ - sk
34
+ - ko
35
+ - ar
36
+ - lt
37
+ - ca
38
+ - sl
39
+ - he
40
+ - et
41
+ - lv
42
+ - hi
43
+ - sq
44
+ - ms
45
+ - az
46
+ - sr
47
+ - ta
48
+ - hr
49
+ - kk
50
+ - is
51
+ - ml
52
+ - mr
53
+ - te
54
+ - af
55
+ - gl
56
+ - fil
57
+ - be
58
+ - mk
59
+ - eu
60
+ - bn
61
+ - ka
62
+ - mn
63
+ - bs
64
+ - uz
65
+ - ur
66
+ - sw
67
+ - yue
68
+ - ne
69
+ - kn
70
+ - kaa
71
+ - gu
72
+ - si
73
+ - cy
74
+ - eo
75
+ - la
76
+ - hy
77
+ - ky
78
+ - tg
79
+ - ga
80
+ - mt
81
+ - my
82
+ - km
83
+ - tt
84
+ - so
85
+ - ku
86
+ - ps
87
+ - pa
88
+ - rw
89
+ - lo
90
+ - ha
91
+ - dv
92
+ - fy
93
+ - lb
94
+ - ckb
95
+ - mg
96
+ - gd
97
+ - am
98
+ - ug
99
+ - ht
100
+ - grc
101
+ - hmn
102
+ - sd
103
+ - jv
104
+ - mi
105
+ - tk
106
+ - ceb
107
+ - yi
108
+ - ba
109
+ - fo
110
+ - or
111
+ - xh
112
+ - su
113
+ - kl
114
+ - ny
115
+ - sm
116
+ - sn
117
+ - co
118
+ - zu
119
+ - ig
120
+ - yo
121
+ - pap
122
+ - st
123
+ - haw
124
+ - as
125
+ - oc
126
+ - cv
127
+ - lus
128
+ - tet
129
+ - gsw
130
+ - sah
131
+ - br
132
+ - rm
133
+ - sa
134
+ - bo
135
+ - om
136
+ - se
137
+ - ce
138
+ - cnh
139
+ - ilo
140
+ - hil
141
+ - udm
142
+ - os
143
+ - lg
144
+ - ti
145
+ - vec
146
+ - ts
147
+ - tyv
148
+ - kbd
149
+ - ee
150
+ - iba
151
+ - av
152
+ - kha
153
+ - to
154
+ - tn
155
+ - nso
156
+ - fj
157
+ - zza
158
+ - ak
159
+ - ada
160
+ - otq
161
+ - dz
162
+ - bua
163
+ - cfm
164
+ - ln
165
+ - chm
166
+ - gn
167
+ - krc
168
+ - wa
169
+ - hif
170
+ - yua
171
+ - srn
172
+ - war
173
+ - rom
174
+ - bik
175
+ - pam
176
+ - sg
177
+ - lu
178
+ - ady
179
+ - kbp
180
+ - syr
181
+ - ltg
182
+ - myv
183
+ - iso
184
+ - kac
185
+ - bho
186
+ - ay
187
+ - kum
188
+ - qu
189
+ - za
190
+ - pag
191
+ - ngu
192
+ - ve
193
+ - pck
194
+ - zap
195
+ - tyz
196
+ - hui
197
+ - bbc
198
+ - tzo
199
+ - tiv
200
+ - ksd
201
+ - gom
202
+ - min
203
+ - ang
204
+ - nhe
205
+ - bgp
206
+ - nzi
207
+ - nnb
208
+ - nv
209
+ - zxx
210
+ - bci
211
+ - kv
212
+ - new
213
+ - mps
214
+ - alt
215
+ - meu
216
+ - bew
217
+ - fon
218
+ - iu
219
+ - abt
220
+ - mgh
221
+ - mnw
222
+ - tvl
223
+ - dov
224
+ - tlh
225
+ - ho
226
+ - kw
227
+ - mrj
228
+ - meo
229
+ - crh
230
+ - mbt
231
+ - emp
232
+ - ace
233
+ - ium
234
+ - mam
235
+ - gym
236
+ - mai
237
+ - crs
238
+ - pon
239
+ - ubu
240
+ - fip
241
+ - quc
242
+ - gv
243
+ - kj
244
+ - btx
245
+ - ape
246
+ - chk
247
+ - rcf
248
+ - shn
249
+ - tzh
250
+ - mdf
251
+ - ppk
252
+ - ss
253
+ - gag
254
+ - cab
255
+ - kri
256
+ - seh
257
+ - ibb
258
+ - tbz
259
+ - bru
260
+ - enq
261
+ - ach
262
+ - cuk
263
+ - kmb
264
+ - wo
265
+ - kek
266
+ - qub
267
+ - tab
268
+ - bts
269
+ - kos
270
+ - rwo
271
+ - cak
272
+ - tuc
273
+ - bum
274
+ - cjk
275
+ - gil
276
+ - stq
277
+ - tsg
278
+ - quh
279
+ - mak
280
+ - arn
281
+ - ban
282
+ - jiv
283
+ - sja
284
+ - yap
285
+ - tcy
286
+ - toj
287
+ - twu
288
+ - xal
289
+ - amu
290
+ - rmc
291
+ - hus
292
+ - nia
293
+ - kjh
294
+ - bm
295
+ - guh
296
+ - mas
297
+ - acf
298
+ - dtp
299
+ - ksw
300
+ - bzj
301
+ - din
302
+ - zne
303
+ - mad
304
+ - msi
305
+ - mag
306
+ - mkn
307
+ - kg
308
+ - lhu
309
+ - ch
310
+ - qvi
311
+ - mh
312
+ - djk
313
+ - sus
314
+ - mfe
315
+ - srm
316
+ - dyu
317
+ - ctu
318
+ - gui
319
+ - pau
320
+ - inb
321
+ - bi
322
+ - mni
323
+ - guc
324
+ - jam
325
+ - wal
326
+ - jac
327
+ - bas
328
+ - gor
329
+ - skr
330
+ - nyu
331
+ - noa
332
+ - sda
333
+ - gub
334
+ - nog
335
+ - cni
336
+ - teo
337
+ - tdx
338
+ - sxn
339
+ - rki
340
+ - nr
341
+ - frp
342
+ - alz
343
+ - taj
344
+ - lrc
345
+ - cce
346
+ - rn
347
+ - jvn
348
+ - hvn
349
+ - nij
350
+ - dwr
351
+ - izz
352
+ - msm
353
+ - bus
354
+ - ktu
355
+ - chr
356
+ - maz
357
+ - tzj
358
+ - suz
359
+ - knj
360
+ - bim
361
+ - gvl
362
+ - bqc
363
+ - tca
364
+ - pis
365
+ - prk
366
+ - laj
367
+ - mel
368
+ - qxr
369
+ - niq
370
+ - ahk
371
+ - shp
372
+ - hne
373
+ - spp
374
+ - koi
375
+ - krj
376
+ - quf
377
+ - luz
378
+ - agr
379
+ - tsc
380
+ - mqy
381
+ - gof
382
+ - gbm
383
+ - miq
384
+ - dje
385
+ - awa
386
+ - bjj
387
+ - qvz
388
+ - sjp
389
+ - tll
390
+ - raj
391
+ - kjg
392
+ - bgz
393
+ - quy
394
+ - cbk
395
+ - akb
396
+ - oj
397
+ - ify
398
+ - mey
399
+ - ks
400
+ - cac
401
+ - brx
402
+ - qup
403
+ - syl
404
+ - jax
405
+ - ff
406
+ - ber
407
+ - tks
408
+ - trp
409
+ - mrw
410
+ - adh
411
+ - smt
412
+ - srr
413
+ - ffm
414
+ - qvc
415
+ - mtr
416
+ - ann
417
+ - kaa
418
+ - aa
419
+ - noe
420
+ - nut
421
+ - gyn
422
+ - kwi
423
+ - xmm
424
+ - msb
425
+ library_name: transformers
426
+ license: apache-2.0
427
+ pipeline_tag: translation
428
+ tags:
429
+ - text2text-generation
430
+ - text-generation-inference
431
+ - llama-cpp
432
+ - gguf-my-repo
433
+ widget:
434
+ - text: <2en> Como vai, amigo?
435
+ example_title: Translation to English
436
+ - text: <2de> Do you speak German?
437
+ example_title: Translation to German
438
+ ---
439
+
440
+ # ljhwild/madlad400-3b-mt-Q6_K-GGUF
441
+ This model was converted to GGUF format from [`google/madlad400-3b-mt`](https://huggingface.co/google/madlad400-3b-mt) using llama.cpp via the ggml.ai's [GGUF-my-repo](https://huggingface.co/spaces/ggml-org/gguf-my-repo) space.
442
+ Refer to the [original model card](https://huggingface.co/google/madlad400-3b-mt) for more details on the model.
443
+
444
+ ## Use with llama.cpp
445
+ Install llama.cpp through brew (works on Mac and Linux)
446
+
447
+ ```bash
448
+ brew install llama.cpp
449
+
450
+ ```
451
+ Invoke the llama.cpp server or the CLI.
452
+
453
+ ### CLI:
454
+ ```bash
455
+ llama-cli --hf-repo ljhwild/madlad400-3b-mt-Q6_K-GGUF --hf-file madlad400-3b-mt-q6_k.gguf -p "The meaning to life and the universe is"
456
+ ```
457
+
458
+ ### Server:
459
+ ```bash
460
+ llama-server --hf-repo ljhwild/madlad400-3b-mt-Q6_K-GGUF --hf-file madlad400-3b-mt-q6_k.gguf -c 2048
461
+ ```
462
+
463
+ Note: You can also use this checkpoint directly through the [usage steps](https://github.com/ggerganov/llama.cpp?tab=readme-ov-file#usage) listed in the Llama.cpp repo as well.
464
+
465
+ Step 1: Clone llama.cpp from GitHub.
466
+ ```
467
+ git clone https://github.com/ggerganov/llama.cpp
468
+ ```
469
+
470
+ Step 2: Move into the llama.cpp folder and build it with `LLAMA_CURL=1` flag along with other hardware-specific flags (for ex: LLAMA_CUDA=1 for Nvidia GPUs on Linux).
471
+ ```
472
+ cd llama.cpp && LLAMA_CURL=1 make
473
+ ```
474
+
475
+ Step 3: Run inference through the main binary.
476
+ ```
477
+ ./llama-cli --hf-repo ljhwild/madlad400-3b-mt-Q6_K-GGUF --hf-file madlad400-3b-mt-q6_k.gguf -p "The meaning to life and the universe is"
478
+ ```
479
+ or
480
+ ```
481
+ ./llama-server --hf-repo ljhwild/madlad400-3b-mt-Q6_K-GGUF --hf-file madlad400-3b-mt-q6_k.gguf -c 2048
482
+ ```