Hugging Face's logo

kreas
/
test

Model card Files Community
kreas commited on
Commit
2d10134
·
verified ·
1 Parent(s): 0301fe3

Upload /Mistral-7B-v0.1/nf4_batch_size_1_sq_len_256_new_tokens_256/benchmark_report.json with huggingface_hub

Browse files
Files changed (1) hide show
  1. Mistral-7B-v0.1/nf4_batch_size_1_sq_len_256_new_tokens_256/benchmark_report.json +516 -0
Mistral-7B-v0.1/nf4_batch_size_1_sq_len_256_new_tokens_256/benchmark_report.json ADDED
@@ -0,0 +1,516 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "prefill": {
3
+ "memory": {
4
+ "unit": "MB",
5
+ "max_ram": 2538.213376,
6
+ "max_vram": 5490.343936,
7
+ "max_reserved": 5005.901824,
8
+ "max_allocated": 4845.078016
9
+ },
10
+ "latency": {
11
+ "unit": "s",
12
+ "mean": 0.05068740185824309,
13
+ "stdev": 0.0009717202494368208,
14
+ "values": [
15
+ 0.05541455841064453,
16
+ 0.05320294570922852,
17
+ 0.05136383819580078,
18
+ 0.05123788833618164,
19
+ 0.05098393630981445,
20
+ 0.051469310760498044,
21
+ 0.05123379135131836,
22
+ 0.05122867202758789,
23
+ 0.05147340774536133,
24
+ 0.05139558410644531,
25
+ 0.0514192008972168,
26
+ 0.051026943206787106,
27
+ 0.0506429443359375,
28
+ 0.05058662414550781,
29
+ 0.05032550430297852,
30
+ 0.05042995071411133,
31
+ 0.05041267013549805,
32
+ 0.05062758255004883,
33
+ 0.05017702484130859,
34
+ 0.05032550430297852,
35
+ 0.0504002571105957,
36
+ 0.05033596801757813,
37
+ 0.0502026252746582,
38
+ 0.05028966522216797,
39
+ 0.05021900939941406,
40
+ 0.05030838394165039,
41
+ 0.050310142517089845,
42
+ 0.050283519744873044,
43
+ 0.05015654373168945,
44
+ 0.05020467376708984,
45
+ 0.05024870300292969,
46
+ 0.05053257751464844,
47
+ 0.05020876693725586,
48
+ 0.050282497406005856,
49
+ 0.050233345031738284,
50
+ 0.050202720642089846,
51
+ 0.05020774459838867,
52
+ 0.05011865615844727,
53
+ 0.05020979309082031,
54
+ 0.05029478454589844,
55
+ 0.05028559875488281,
56
+ 0.05042995071411133,
57
+ 0.05019776153564453,
58
+ 0.05020467376708984,
59
+ 0.05037158584594727,
60
+ 0.05025791931152344,
61
+ 0.050078720092773435,
62
+ 0.05014835357666016,
63
+ 0.050154495239257815,
64
+ 0.050189376831054684,
65
+ 0.05011251068115234,
66
+ 0.05008998489379883,
67
+ 0.05013401412963867,
68
+ 0.050277599334716795,
69
+ 0.05023132705688477,
70
+ 0.050339839935302735,
71
+ 0.05025177764892578,
72
+ 0.05072281646728516,
73
+ 0.050298881530761716,
74
+ 0.05033369445800781,
75
+ 0.05023641586303711,
76
+ 0.050372608184814455,
77
+ 0.050351104736328124,
78
+ 0.05033369445800781,
79
+ 0.05033881759643555,
80
+ 0.05046988677978516,
81
+ 0.05046988677978516,
82
+ 0.05042995071411133,
83
+ 0.050407424926757816,
84
+ 0.05072793579101562,
85
+ 0.05331148910522461,
86
+ 0.053787647247314455,
87
+ 0.05156249618530274,
88
+ 0.05080575942993164,
89
+ 0.05043814468383789,
90
+ 0.05070764923095703,
91
+ 0.050713600158691405,
92
+ 0.050536449432373044,
93
+ 0.05046579360961914,
94
+ 0.05044019317626953,
95
+ 0.050846721649169924,
96
+ 0.051098785400390624,
97
+ 0.051165184020996096,
98
+ 0.05058560180664062,
99
+ 0.050423809051513675,
100
+ 0.05048831939697265,
101
+ 0.0503111686706543,
102
+ 0.050410625457763675,
103
+ 0.05034393692016602,
104
+ 0.05055590438842773,
105
+ 0.05035417556762695,
106
+ 0.05034905624389648,
107
+ 0.05025177764892578,
108
+ 0.050388992309570314,
109
+ 0.05035007858276367,
110
+ 0.05065536117553711,
111
+ 0.05039513778686523,
112
+ 0.05026303863525391,
113
+ 0.05037977600097656,
114
+ 0.050321407318115234,
115
+ 0.05061017608642578,
116
+ 0.05053440093994141,
117
+ 0.05035724639892578,
118
+ 0.050590721130371094,
119
+ 0.05037158584594727,
120
+ 0.05045248031616211,
121
+ 0.05043609619140625,
122
+ 0.05055692672729492,
123
+ 0.05062451171875,
124
+ 0.05065318298339844,
125
+ 0.050457599639892575,
126
+ 0.05048934555053711,
127
+ 0.0505294075012207,
128
+ 0.050579456329345705,
129
+ 0.05043097686767578,
130
+ 0.0504453125,
131
+ 0.05040639877319336,
132
+ 0.050367488861083984,
133
+ 0.0503111686706543,
134
+ 0.05058457565307617,
135
+ 0.05046886444091797,
136
+ 0.050694145202636716,
137
+ 0.05086105728149414,
138
+ 0.05071155166625976,
139
+ 0.05065727996826172,
140
+ 0.05079859161376953,
141
+ 0.05073100662231445,
142
+ 0.05059788894653321,
143
+ 0.05063065719604492,
144
+ 0.05062144088745117,
145
+ 0.0504535026550293,
146
+ 0.05045452880859375,
147
+ 0.050561023712158204,
148
+ 0.050482177734375,
149
+ 0.05065318298339844,
150
+ 0.050544639587402344,
151
+ 0.05055692672729492,
152
+ 0.050493438720703124,
153
+ 0.05032550430297852,
154
+ 0.0504453125,
155
+ 0.05031840133666992,
156
+ 0.05041459274291992,
157
+ 0.05041993713378906,
158
+ 0.05051596832275391,
159
+ 0.05057843017578125,
160
+ 0.05091020965576172,
161
+ 0.05040332794189453,
162
+ 0.050576385498046876,
163
+ 0.05067571258544922,
164
+ 0.05076377487182617,
165
+ 0.050482177734375,
166
+ 0.05058662414550781,
167
+ 0.050503681182861325,
168
+ 0.050582527160644535,
169
+ 0.05213798522949219,
170
+ 0.060393470764160156,
171
+ 0.05499420928955078,
172
+ 0.05070745468139649,
173
+ 0.0504535026550293,
174
+ 0.05064191818237305,
175
+ 0.05072793579101562,
176
+ 0.05046169662475586,
177
+ 0.05055292892456055,
178
+ 0.050525184631347655,
179
+ 0.05057852935791016,
180
+ 0.050700286865234374,
181
+ 0.05055920028686523,
182
+ 0.050523136138916014,
183
+ 0.050528255462646485,
184
+ 0.05053747177124023,
185
+ 0.05085081481933594,
186
+ 0.05045052719116211,
187
+ 0.053454849243164064,
188
+ 0.05068492889404297,
189
+ 0.050444286346435545,
190
+ 0.05059891128540039,
191
+ 0.050503681182861325,
192
+ 0.050421760559082034,
193
+ 0.05048934555053711,
194
+ 0.05060095977783203,
195
+ 0.050528255462646485,
196
+ 0.05041459274291992,
197
+ 0.05073408126831055,
198
+ 0.050841598510742186,
199
+ 0.0505354232788086,
200
+ 0.05080166244506836,
201
+ 0.050574337005615234,
202
+ 0.05067571258544922,
203
+ 0.050522113800048826,
204
+ 0.050667518615722655,
205
+ 0.050460670471191404,
206
+ 0.05064908981323242,
207
+ 0.05062451171875,
208
+ 0.05054275131225586,
209
+ 0.050776065826416014,
210
+ 0.05063577651977539,
211
+ 0.050662399291992184,
212
+ 0.050487297058105465
213
+ ]
214
+ },
215
+ "throughput": {
216
+ "unit": "tokens/s",
217
+ "value": 5050.564649495203
218
+ },
219
+ "energy": null,
220
+ "efficiency": null
221
+ },
222
+ "decode": {
223
+ "memory": {
224
+ "unit": "MB",
225
+ "max_ram": 2541.359104,
226
+ "max_vram": 5710.544896,
227
+ "max_reserved": 5226.102784,
228
+ "max_allocated": 4911.405568
229
+ },
230
+ "latency": {
231
+ "unit": "s",
232
+ "mean": 10.442381305694589,
233
+ "stdev": 0,
234
+ "values": [
235
+ 10.442381305694589
236
+ ]
237
+ },
238
+ "throughput": {
239
+ "unit": "tokens/s",
240
+ "value": 24.419717355172594
241
+ },
242
+ "energy": null,
243
+ "efficiency": null
244
+ },
245
+ "per_token": {
246
+ "memory": null,
247
+ "latency": {
248
+ "unit": "s",
249
+ "mean": 0.040950514924292504,
250
+ "stdev": 0.00029396205765747373,
251
+ "values": [
252
+ 0.043862014770507815,
253
+ 0.043246593475341794,
254
+ 0.040924160003662106,
255
+ 0.04074496078491211,
256
+ 0.04069385528564453,
257
+ 0.04092099380493164,
258
+ 0.04088627243041992,
259
+ 0.04075110244750976,
260
+ 0.04093952178955078,
261
+ 0.04110540771484375,
262
+ 0.04086783981323242,
263
+ 0.04072345733642578,
264
+ 0.04066304016113281,
265
+ 0.04088524627685547,
266
+ 0.04077363204956055,
267
+ 0.040924160003662106,
268
+ 0.04072345733642578,
269
+ 0.040700927734375,
270
+ 0.04074496078491211,
271
+ 0.04104806518554688,
272
+ 0.04082175827026367,
273
+ 0.04079001617431641,
274
+ 0.040883201599121094,
275
+ 0.04084940719604492,
276
+ 0.04084643173217774,
277
+ 0.040906654357910154,
278
+ 0.04058214569091797,
279
+ 0.04064051055908203,
280
+ 0.040817665100097655,
281
+ 0.040793087005615236,
282
+ 0.040755199432373046,
283
+ 0.04093439865112305,
284
+ 0.04083631896972656,
285
+ 0.0407242546081543,
286
+ 0.04094464111328125,
287
+ 0.040766464233398435,
288
+ 0.0406366081237793,
289
+ 0.040916801452636715,
290
+ 0.040637439727783206,
291
+ 0.041046016693115236,
292
+ 0.04088627243041992,
293
+ 0.04066304016113281,
294
+ 0.040635391235351564,
295
+ 0.04087308883666992,
296
+ 0.04100185775756836,
297
+ 0.04087091064453125,
298
+ 0.040714241027832034,
299
+ 0.0409876480102539,
300
+ 0.04077977752685547,
301
+ 0.04080025482177734,
302
+ 0.040619007110595705,
303
+ 0.040776702880859376,
304
+ 0.04076547241210938,
305
+ 0.04080329513549805,
306
+ 0.040755199432373046,
307
+ 0.041016319274902346,
308
+ 0.04082688140869141,
309
+ 0.04075110244750976,
310
+ 0.04076339340209961,
311
+ 0.04105011367797851,
312
+ 0.0409876480102539,
313
+ 0.040840190887451173,
314
+ 0.040837120056152344,
315
+ 0.04108390426635742,
316
+ 0.041093120574951174,
317
+ 0.040853504180908204,
318
+ 0.040842239379882815,
319
+ 0.04104499053955078,
320
+ 0.040910846710205076,
321
+ 0.040925182342529294,
322
+ 0.040989696502685545,
323
+ 0.041093120574951174,
324
+ 0.04084838485717773,
325
+ 0.041199615478515625,
326
+ 0.04101324844360352,
327
+ 0.04084326553344726,
328
+ 0.04097145462036133,
329
+ 0.04091884613037109,
330
+ 0.040973472595214847,
331
+ 0.04105609512329102,
332
+ 0.040910846710205076,
333
+ 0.041017345428466793,
334
+ 0.04107161712646484,
335
+ 0.04111769485473633,
336
+ 0.04083302307128906,
337
+ 0.04206489562988281,
338
+ 0.04243558502197266,
339
+ 0.04102656173706055,
340
+ 0.04091596984863281,
341
+ 0.04070732879638672,
342
+ 0.04085436630249024,
343
+ 0.04071311950683594,
344
+ 0.04078508758544922,
345
+ 0.04086457443237305,
346
+ 0.040997886657714845,
347
+ 0.04094771194458008,
348
+ 0.0408985595703125,
349
+ 0.04093030548095703,
350
+ 0.041183231353759765,
351
+ 0.040683521270751956,
352
+ 0.04089875030517578,
353
+ 0.04077856063842773,
354
+ 0.04090284729003906,
355
+ 0.04111648178100586,
356
+ 0.04093439865112305,
357
+ 0.040959999084472655,
358
+ 0.04087910461425781,
359
+ 0.04093644714355469,
360
+ 0.04099071884155273,
361
+ 0.040850433349609375,
362
+ 0.04095795059204101,
363
+ 0.04099603271484375,
364
+ 0.04090774536132812,
365
+ 0.04085027313232422,
366
+ 0.040782848358154294,
367
+ 0.040894462585449216,
368
+ 0.040955966949462894,
369
+ 0.04086880111694336,
370
+ 0.04084531021118164,
371
+ 0.0408166389465332,
372
+ 0.040908798217773434,
373
+ 0.0408383674621582,
374
+ 0.0407949104309082,
375
+ 0.041030654907226564,
376
+ 0.04092825698852539,
377
+ 0.040796161651611325,
378
+ 0.04078899383544922,
379
+ 0.04089548873901367,
380
+ 0.04095283126831055,
381
+ 0.04089651107788086,
382
+ 0.04084041595458984,
383
+ 0.04085430526733398,
384
+ 0.0411412467956543,
385
+ 0.04080230331420898,
386
+ 0.04088524627685547,
387
+ 0.04086374282836914,
388
+ 0.0411146240234375,
389
+ 0.04117913436889648,
390
+ 0.04100931167602539,
391
+ 0.0408625602722168,
392
+ 0.04103168106079102,
393
+ 0.04089651107788086,
394
+ 0.040989696502685545,
395
+ 0.04090675354003906,
396
+ 0.0409620475769043,
397
+ 0.040840190887451173,
398
+ 0.0410695686340332,
399
+ 0.0408166389465332,
400
+ 0.040807422637939454,
401
+ 0.040782848358154294,
402
+ 0.040890430450439455,
403
+ 0.04103366470336914,
404
+ 0.04101529693603516,
405
+ 0.04074905776977539,
406
+ 0.04077568054199219,
407
+ 0.040971553802490235,
408
+ 0.04104982376098633,
409
+ 0.040965118408203126,
410
+ 0.04093849563598633,
411
+ 0.04090572738647461,
412
+ 0.04120985412597656,
413
+ 0.041011199951171876,
414
+ 0.04107161712646484,
415
+ 0.0408616943359375,
416
+ 0.040858623504638675,
417
+ 0.040635391235351564,
418
+ 0.04090982437133789,
419
+ 0.0410511360168457,
420
+ 0.04097740936279297,
421
+ 0.04098457717895508,
422
+ 0.041171966552734376,
423
+ 0.04116582489013672,
424
+ 0.04106137466430664,
425
+ 0.040834049224853515,
426
+ 0.04084735870361328,
427
+ 0.040852481842041016,
428
+ 0.04090367889404297,
429
+ 0.04096921539306641,
430
+ 0.04091392135620117,
431
+ 0.04085657501220703,
432
+ 0.04086579132080078,
433
+ 0.04099071884155273,
434
+ 0.04091494369506836,
435
+ 0.040736766815185545,
436
+ 0.04105011367797851,
437
+ 0.040891391754150394,
438
+ 0.04097433471679687,
439
+ 0.04090163040161133,
440
+ 0.04095078277587891,
441
+ 0.04091392135620117,
442
+ 0.040954879760742184,
443
+ 0.04099071884155273,
444
+ 0.04091289520263672,
445
+ 0.04093952178955078,
446
+ 0.04102041625976562,
447
+ 0.04088934326171875,
448
+ 0.04088934326171875,
449
+ 0.04068966293334961,
450
+ 0.040852481842041016,
451
+ 0.040823806762695314,
452
+ 0.04087910461425781,
453
+ 0.04118527984619141,
454
+ 0.04082688140869141,
455
+ 0.04087705612182617,
456
+ 0.040890369415283206,
457
+ 0.04093644714355469,
458
+ 0.041234432220458986,
459
+ 0.040899585723876954,
460
+ 0.040925182342529294,
461
+ 0.04099071884155273,
462
+ 0.04101529693603516,
463
+ 0.04088422393798828,
464
+ 0.04090675354003906,
465
+ 0.04091187286376953,
466
+ 0.041076736450195314,
467
+ 0.04083200073242187,
468
+ 0.04097536087036133,
469
+ 0.0409989128112793,
470
+ 0.041062400817871096,
471
+ 0.04095283126831055,
472
+ 0.04116787338256836,
473
+ 0.04085145568847656,
474
+ 0.04133375930786133,
475
+ 0.040965118408203126,
476
+ 0.040995838165283204,
477
+ 0.040953857421875,
478
+ 0.040965118408203126,
479
+ 0.04115865707397461,
480
+ 0.04094976043701172,
481
+ 0.04100198364257813,
482
+ 0.04106444931030274,
483
+ 0.04096819305419922,
484
+ 0.041060352325439455,
485
+ 0.0410777587890625,
486
+ 0.04098777770996094,
487
+ 0.04113395309448242,
488
+ 0.04099686431884766,
489
+ 0.04092927932739258,
490
+ 0.0412303352355957,
491
+ 0.04134912109375,
492
+ 0.04113100814819336,
493
+ 0.04091596984863281,
494
+ 0.04114022445678711,
495
+ 0.041060352325439455,
496
+ 0.04110233688354492,
497
+ 0.041111553192138675,
498
+ 0.04098361587524414,
499
+ 0.040968128204345707,
500
+ 0.04080844879150391,
501
+ 0.040948734283447266,
502
+ 0.041188350677490236,
503
+ 0.04069683074951172,
504
+ 0.04073267364501953,
505
+ 0.040866817474365234,
506
+ 0.041232383728027344
507
+ ]
508
+ },
509
+ "throughput": {
510
+ "unit": "tokens/s",
511
+ "value": 24.419717355172594
512
+ },
513
+ "energy": null,
514
+ "efficiency": null
515
+ }
516
+ }