Upload /gemma-7b/nf4_batch_size_1_sq_len_256_new_tokens_256/benchmark_report.json with huggingface_hub

gemma-7b/nf4_batch_size_1_sq_len_256_new_tokens_256/benchmark_report.json

@@ -0,0 +1,754 @@
+{
+    "prefill": {
+        "memory": {
+            "unit": "MB",
+            "max_ram": 1160.179712,
+            "max_vram": 6977.224704,
+            "max_reserved": 6492.782592,
+            "max_allocated": 6192.211456
+        },
+        "latency": {
+            "unit": "s",
+            "mean": 0.05596667084164092,
+            "stdev": 0.0008358809119926535,
+            "values": [
+                0.06679318237304688,
+                0.05826867294311523,
+                0.05706867218017578,
+                0.05584076690673828,
+                0.05602406311035156,
+                0.055946239471435545,
+                0.05599641418457031,
+                0.055949310302734374,
+                0.056079360961914064,
+                0.05596979141235352,
+                0.05599948883056641,
+                0.05598720169067383,
+                0.0560261116027832,
+                0.05596979141235352,
+                0.05599846267700195,
+                0.055995391845703124,
+                0.056041473388671874,
+                0.055746654510498046,
+                0.05600358581542969,
+                0.056043521881103515,
+                0.055844863891601565,
+                0.05574655914306641,
+                0.05581926345825195,
+                0.05574655914306641,
+                0.05578035354614258,
+                0.05578342437744141,
+                0.055792831420898435,
+                0.05584384155273438,
+                0.05578956985473633,
+                0.05586227035522461,
+                0.05608652877807617,
+                0.05583462524414062,
+                0.055856128692626954,
+                0.05609267044067383,
+                0.05583769607543945,
+                0.05610496139526367,
+                0.05584409713745117,
+                0.055820289611816405,
+                0.05582140731811523,
+                0.055826431274414064,
+                0.05584076690673828,
+                0.05589116668701172,
+                0.05583359909057617,
+                0.05584588623046875,
+                0.05586227035522461,
+                0.05584384155273438,
+                0.05584691238403321,
+                0.0558766098022461,
+                0.05581926345825195,
+                0.05588070297241211,
+                0.055836673736572265,
+                0.05586943817138672,
+                0.055820289611816405,
+                0.05585100936889648,
+                0.05585203170776367,
+                0.055844863891601565,
+                0.05588070297241211,
+                0.05583257675170898,
+                0.05581619262695312,
+                0.05586550521850586,
+                0.05588479995727539,
+                0.05584998321533203,
+                0.05589606475830078,
+                0.05582950210571289,
+                0.05587251281738281,
+                0.05584691238403321,
+                0.055831680297851564,
+                0.05584691238403321,
+                0.05584588623046875,
+                0.05587046432495117,
+                0.056048641204833986,
+                0.05584076690673828,
+                0.05582339096069336,
+                0.05585203170776367,
+                0.05584691238403321,
+                0.055856128692626954,
+                0.055825408935546876,
+                0.05583462524414062,
+                0.05580799865722656,
+                0.05586022567749024,
+                0.05586943817138672,
+                0.0558766098022461,
+                0.055822399139404295,
+                0.0558623046875,
+                0.055828479766845705,
+                0.05586431884765625,
+                0.05581414413452149,
+                0.05582131195068359,
+                0.05584384155273438,
+                0.055828479766845705,
+                0.05587046432495117,
+                0.05584076690673828,
+                0.05587148666381836,
+                0.05586841583251953,
+                0.05585100936889648,
+                0.05585408020019531,
+                0.055860511779785155,
+                0.056093727111816406,
+                0.05582233428955078,
+                0.05587251281738281,
+                0.055839744567871094,
+                0.05586636734008789,
+                0.05585100936889648,
+                0.05591449737548828,
+                0.05589324951171875,
+                0.05590528106689453,
+                0.05583052825927735,
+                0.05586636734008789,
+                0.055831550598144535,
+                0.05588479995727539,
+                0.05590835189819336,
+                0.055844863891601565,
+                0.05588275146484375,
+                0.05586739349365234,
+                0.05584515380859375,
+                0.05584076690673828,
+                0.05586943817138672,
+                0.05586329650878906,
+                0.05585203170776367,
+                0.05583359909057617,
+                0.05588991928100586,
+                0.0559002571105957,
+                0.05586227035522461,
+                0.05584793472290039,
+                0.05580716705322265,
+                0.05589299011230469,
+                0.05585715103149414,
+                0.05589299011230469,
+                0.05586841583251953,
+                0.055903518676757816,
+                0.055836673736572265,
+                0.05586943817138672,
+                0.05590323257446289,
+                0.05583871841430664,
+                0.05586227035522461,
+                0.05586227035522461,
+                0.05584896087646484,
+                0.05586431884765625,
+                0.05584588623046875,
+                0.05581926345825195,
+                0.05582649612426758,
+                0.05585100936889648,
+                0.05582233428955078,
+                0.05583564758300781,
+                0.05591561508178711,
+                0.05591068649291992,
+                0.05593395233154297,
+                0.05587148666381836,
+                0.05589503860473633,
+                0.05588479995727539,
+                0.05592684936523438,
+                0.05590118408203125,
+                0.05593395233154297,
+                0.05589606475830078,
+                0.05595750427246094,
+                0.05590560150146484,
+                0.05593600082397461,
+                0.05594521713256836,
+                0.055964672088623046,
+                0.055964672088623046,
+                0.05593600082397461,
+                0.0559370231628418,
+                0.05592166519165039,
+                0.055984127044677735,
+                0.055929855346679686,
+                0.055932926177978515,
+                0.055916576385498046,
+                0.05592886352539062,
+                0.05595750427246094,
+                0.05592063903808594,
+                0.05592575836181641,
+                0.05617868804931641,
+                0.055979007720947264,
+                0.05599129486083984,
+                0.055946239471435545,
+                0.05591756820678711,
+                0.05593395233154297,
+                0.055959552764892576,
+                0.05593804931640625,
+                0.05592166519165039
+            ]
+        },
+        "throughput": {
+            "unit": "tokens/s",
+            "value": 4574.150939303829
+        },
+        "energy": null,
+        "efficiency": null
+    },
+    "decode": {
+        "memory": {
+            "unit": "MB",
+            "max_ram": 1160.179712,
+            "max_vram": 7375.683584,
+            "max_reserved": 6891.241472,
+            "max_allocated": 6707.08224
+        },
+        "latency": {
+            "unit": "s",
+            "mean": 9.913747484207152,
+            "stdev": 0.003627008438112256,
+            "values": [
+                9.917374492645264,
+                9.91012047576904
+            ]
+        },
+        "throughput": {
+            "unit": "tokens/s",
+            "value": 25.721857491954623
+        },
+        "energy": null,
+        "efficiency": null
+    },
+    "per_token": {
+        "memory": null,
+        "latency": {
+            "unit": "s",
+            "mean": 0.038877441114537864,
+            "stdev": 0.00044128733666246234,
+            "values": [
+                0.039191551208496093,
+                0.03861324691772461,
+                0.038729473114013674,
+                0.038563838958740236,
+                0.03851980972290039,
+                0.03871027374267578,
+                0.03852799987792969,
+                0.03866624069213867,
+                0.03862527847290039,
+                0.0385904655456543,
+                0.03860377502441406,
+                0.038870014190673825,
+                0.03879219055175781,
+                0.03867647933959961,
+                0.0386693115234375,
+                0.038719486236572266,
+                0.038708225250244144,
+                0.03877580642700195,
+                0.03887615966796875,
+                0.038898689270019535,
+                0.0391383056640625,
+                0.03914342498779297,
+                0.03897651290893555,
+                0.03907993698120117,
+                0.03889664077758789,
+                0.038691841125488284,
+                0.03863040161132812,
+                0.03846758270263672,
+                0.03882905578613281,
+                0.038836223602294925,
+                0.039070720672607424,
+                0.038825984954833984,
+                0.03870924758911133,
+                0.038691841125488284,
+                0.03863654327392578,
+                0.03863571166992188,
+                0.03875923156738281,
+                0.03878604888916016,
+                0.03875020980834961,
+                0.03897564697265625,
+                0.03886985778808594,
+                0.03907583999633789,
+                0.03897753524780274,
+                0.03882291030883789,
+                0.03887615966796875,
+                0.03880652618408203,
+                0.03885977554321289,
+                0.039272449493408204,
+                0.03882700729370117,
+                0.03867340850830078,
+                0.03869900894165039,
+                0.03868262481689453,
+                0.038645759582519534,
+                0.038932479858398435,
+                0.03868057632446289,
+                0.03868979263305664,
+                0.03851059341430664,
+                0.03864473724365235,
+                0.03901747131347656,
+                0.0389222412109375,
+                0.038779903411865234,
+                0.03865190505981445,
+                0.038760448455810545,
+                0.03884236907958984,
+                0.03863552093505859,
+                0.03864678573608398,
+                0.038525951385498046,
+                0.03865702438354492,
+                0.03876147079467773,
+                0.03873689651489258,
+                0.03889766311645508,
+                0.03870719909667969,
+                0.03855257415771484,
+                0.0385843505859375,
+                0.038513633728027345,
+                0.038708225250244144,
+                0.03861708831787109,
+                0.03899084854125977,
+                0.03889254379272461,
+                0.03907174301147461,
+                0.03867750549316406,
+                0.038981632232666014,
+                0.038687744140625,
+                0.03899699020385742,
+                0.03878400039672852,
+                0.03865497589111328,
+                0.038470657348632815,
+                0.03901440048217773,
+                0.038957054138183594,
+                0.039034881591796876,
+                0.03882291030883789,
+                0.03888844680786133,
+                0.038665214538574216,
+                0.038970367431640625,
+                0.038981632232666014,
+                0.03909427261352539,
+                0.03872358322143555,
+                0.03896831893920898,
+                0.03880755233764648,
+                0.038962177276611325,
+                0.03881574249267578,
+                0.038962177276611325,
+                0.03877273559570313,
+                0.03888947296142578,
+                0.03868876647949219,
+                0.038830078125,
+                0.03873894500732422,
+                0.03879423904418945,
+                0.038491134643554685,
+                0.038665214538574216,
+                0.038392833709716793,
+                0.03886796951293945,
+                0.03856793594360351,
+                0.03872358322143555,
+                0.0386058235168457,
+                0.038653953552246094,
+                0.03862015914916992,
+                0.0392806396484375,
+                0.040738815307617186,
+                0.04129177474975586,
+                0.03971686553955078,
+                0.03910758590698242,
+                0.03924787139892578,
+                0.03894476699829102,
+                0.038819839477539066,
+                0.039182334899902346,
+                0.03914547348022461,
+                0.03901747131347656,
+                0.03890585708618164,
+                0.03904204940795898,
+                0.03907379150390625,
+                0.03923046493530274,
+                0.03907379150390625,
+                0.03917311859130859,
+                0.03891097640991211,
+                0.038967296600341796,
+                0.038942718505859376,
+                0.03883929443359375,
+                0.038899711608886715,
+                0.03896012878417969,
+                0.038953983306884765,
+                0.03917926406860352,
+                0.03891302490234375,
+                0.03894988632202148,
+                0.03886796951293945,
+                0.0388587532043457,
+                0.03876454544067383,
+                0.038740993499755856,
+                0.038819839477539066,
+                0.03890380859375,
+                0.03894988632202148,
+                0.038865921020507815,
+                0.038809600830078124,
+                0.03907379150390625,
+                0.03886899185180664,
+                0.03890176010131836,
+                0.03884134292602539,
+                0.038849536895751956,
+                0.03896319961547851,
+                0.038882305145263675,
+                0.03887513732910156,
+                0.038793216705322264,
+                0.03880572891235352,
+                0.038994720458984375,
+                0.03876761627197266,
+                0.039065601348876954,
+                0.03896012878417969,
+                0.03872358322143555,
+                0.03878911972045898,
+                0.03872256088256836,
+                0.03892736053466797,
+                0.03903590393066406,
+                0.03864678573608398,
+                0.03893964767456055,
+                0.03890176010131836,
+                0.03884864044189453,
+                0.03885043334960937,
+                0.03897958374023437,
+                0.03904512023925781,
+                0.03887308883666992,
+                0.03882393646240234,
+                0.03892940902709961,
+                0.038980609893798826,
+                0.03895296096801758,
+                0.038809600830078124,
+                0.03879116821289062,
+                0.03907379150390625,
+                0.03890585708618164,
+                0.03890687942504883,
+                0.03889459228515625,
+                0.03884543991088867,
+                0.03894169616699219,
+                0.038779903411865234,
+                0.03865087890625,
+                0.038525951385498046,
+                0.038978561401367184,
+                0.03890995025634766,
+                0.03907993698120117,
+                0.03879731369018555,
+                0.03895296096801758,
+                0.03871641540527344,
+                0.03893657684326172,
+                0.03878809738159179,
+                0.03881369781494141,
+                0.03872358322143555,
+                0.03880857467651367,
+                0.038844417572021485,
+                0.03872665786743164,
+                0.03868979263305664,
+                0.038838497161865236,
+                0.03850831985473633,
+                0.03879116821289062,
+                0.038572032928466796,
+                0.03860275268554687,
+                0.03855052947998047,
+                0.03851161575317383,
+                0.03875328063964844,
+                0.038973438262939454,
+                0.038902782440185545,
+                0.038795265197753906,
+                0.03909939193725586,
+                0.03895808029174805,
+                0.038986751556396484,
+                0.03887615966796875,
+                0.038594558715820314,
+                0.03867750549316406,
+                0.047529983520507815,
+                0.03951103973388672,
+                0.03901747131347656,
+                0.03891302490234375,
+                0.038970367431640625,
+                0.038847488403320314,
+                0.03896627044677734,
+                0.03884339141845703,
+                0.03890995025634766,
+                0.038816768646240236,
+                0.03904716873168945,
+                0.03915673446655273,
+                0.038834175109863284,
+                0.039019519805908204,
+                0.03880755233764648,
+                0.038959102630615236,
+                0.038980609893798826,
+                0.03918131256103516,
+                0.03899084854125977,
+                0.03889049530029297,
+                0.038950912475585936,
+                0.03882291030883789,
+                0.03861913681030273,
+                0.038653953552246094,
+                0.038725631713867184,
+                0.03881584167480469,
+                0.03862006378173828,
+                0.0386324462890625,
+                0.03864678573608398,
+                0.039126014709472655,
+                0.0390830078125,
+                0.038942718505859376,
+                0.03867148971557617,
+                0.03847257614135742,
+                0.0388403205871582,
+                0.038811649322509766,
+                0.03895500946044922,
+                0.039019519805908204,
+                0.0389304313659668,
+                0.038787071228027346,
+                0.03904204940795898,
+                0.0388485107421875,
+                0.03896115112304688,
+                0.038712318420410154,
+                0.03894083023071289,
+                0.03879715347290039,
+                0.03885055923461914,
+                0.039051265716552735,
+                0.039258174896240235,
+                0.039110591888427734,
+                0.038916095733642575,
+                0.03912704086303711,
+                0.03919974517822265,
+                0.03890176010131836,
+                0.038830078125,
+                0.03881881713867188,
+                0.03882495880126953,
+                0.03873484802246094,
+                0.038954078674316404,
+                0.03889859390258789,
+                0.03916287994384766,
+                0.03904819107055664,
+                0.039000064849853515,
+                0.03896115112304688,
+                0.03894169616699219,
+                0.038809600830078124,
+                0.038975486755371096,
+                0.03885363388061523,
+                0.03895500946044922,
+                0.038781951904296875,
+                0.038727680206298826,
+                0.03879423904418945,
+                0.03899801635742187,
+                0.03882291030883789,
+                0.03845939254760742,
+                0.03849216079711914,
+                0.039021568298339845,
+                0.03867750549316406,
+                0.03882700729370117,
+                0.03870412826538086,
+                0.03872358322143555,
+                0.03895603179931641,
+                0.03899084854125977,
+                0.039016448974609375,
+                0.03906355285644531,
+                0.03872051239013672,
+                0.038740993499755856,
+                0.038787071228027346,
+                0.038834175109863284,
+                0.03872665786743164,
+                0.03867443084716797,
+                0.03860684967041016,
+                0.039046142578125,
+                0.03864166259765625,
+                0.038831104278564454,
+                0.03874508666992187,
+                0.03869081497192383,
+                0.038833152770996096,
+                0.03872777557373047,
+                0.038801311492919925,
+                0.03896831893920898,
+                0.03863040161132812,
+                0.0390748176574707,
+                0.038744064331054685,
+                0.03883724975585937,
+                0.03872665786743164,
+                0.038833152770996096,
+                0.03889459228515625,
+                0.03880550384521484,
+                0.038719486236572266,
+                0.038624256134033204,
+                0.03850137710571289,
+                0.038642688751220705,
+                0.03872870254516601,
+                0.03861708831787109,
+                0.03893964767456055,
+                0.03865804672241211,
+                0.03882086563110351,
+                0.03893145751953125,
+                0.0388587532043457,
+                0.0387512321472168,
+                0.038665214538574216,
+                0.03863961410522461,
+                0.03870719909667969,
+                0.038768638610839845,
+                0.03871744155883789,
+                0.038730751037597655,
+                0.038670337677001954,
+                0.039093246459960936,
+                0.03887923049926758,
+                0.03867852783203125,
+                0.03872051239013672,
+                0.03875532913208008,
+                0.038866943359375,
+                0.03898470306396484,
+                0.03879116821289062,
+                0.038675457000732424,
+                0.03871027374267578,
+                0.03887820816040039,
+                0.03878911972045898,
+                0.03906867218017578,
+                0.03872665786743164,
+                0.038831104278564454,
+                0.03888435363769531,
+                0.03885263824462891,
+                0.038860767364501954,
+                0.039158782958984374,
+                0.038724609375,
+                0.03885363388061523,
+                0.03878604888916016,
+                0.03881267166137695,
+                0.03873894500732422,
+                0.038584384918212894,
+                0.03836102294921875,
+                0.03875430297851563,
+                0.03874508666992187,
+                0.03905331039428711,
+                0.03882291030883789,
+                0.03881062316894531,
+                0.03879731369018555,
+                0.03881881713867188,
+                0.03881267166137695,
+                0.0389222412109375,
+                0.0387512321472168,
+                0.03887411117553711,
+                0.03884134292602539,
+                0.039177215576171875,
+                0.038950912475585936,
+                0.03885260772705078,
+                0.03893350219726562,
+                0.03902361679077149,
+                0.03884236907958984,
+                0.038830078125,
+                0.03885363388061523,
+                0.03892633438110352,
+                0.038916095733642575,
+                0.03880550384521484,
+                0.03883520126342774,
+                0.038988800048828126,
+                0.0389222412109375,
+                0.03892019271850586,
+                0.03894579315185547,
+                0.03888844680786133,
+                0.038785022735595705,
+                0.03883212661743164,
+                0.03900723266601563,
+                0.03910860824584961,
+                0.038964225769042966,
+                0.03884457778930664,
+                0.038733665466308596,
+                0.03883724975585937,
+                0.0388403205871582,
+                0.03902364730834961,
+                0.03890070343017578,
+                0.03894681549072266,
+                0.03904819107055664,
+                0.03929702377319336,
+                0.039003135681152344,
+                0.038816768646240236,
+                0.03879423904418945,
+                0.038907070159912106,
+                0.0389343376159668,
+                0.03903180694580078,
+                0.03893862533569336,
+                0.038986751556396484,
+                0.038980609893798826,
+                0.03890585708618164,
+                0.03893964767456055,
+                0.03890380859375,
+                0.038975486755371096,
+                0.03931545639038086,
+                0.039011329650878904,
+                0.03923763275146484,
+                0.039037952423095705,
+                0.03890687942504883,
+                0.03890380859375,
+                0.03910665512084961,
+                0.0390399055480957,
+                0.03888947296142578,
+                0.03885055923461914,
+                0.0389939193725586,
+                0.03913216018676758,
+                0.03904409790039062,
+                0.03891404724121094,
+                0.03879731369018555,
+                0.03883929443359375,
+                0.038780990600585936,
+                0.0387757453918457,
+                0.03878604888916016,
+                0.038844417572021485,
+                0.03881267166137695,
+                0.03883520126342774,
+                0.038711296081542966,
+                0.03877171325683594,
+                0.03885260772705078,
+                0.0387512321472168,
+                0.03880652618408203,
+                0.038828033447265625,
+                0.039090175628662106,
+                0.03901747131347656,
+                0.03868672180175781,
+                0.03891404724121094,
+                0.03875532913208008,
+                0.03877068710327149,
+                0.03902259063720703,
+                0.03891404724121094,
+                0.038844417572021485,
+                0.038972415924072266,
+                0.038785022735595705,
+                0.038795265197753906,
+                0.03868057632446289,
+                0.03879116821289062,
+                0.038860801696777345,
+                0.03877580642700195,
+                0.03909120178222656,
+                0.03893862533569336,
+                0.03874611282348633,
+                0.03899084854125977,
+                0.03881062316894531,
+                0.038978561401367184,
+                0.03894579315185547,
+                0.03887308883666992,
+                0.03887820816040039,
+                0.03889459228515625,
+                0.03883724975585937,
+                0.038886398315429685,
+                0.038834175109863284,
+                0.03882700729370117,
+                0.0387583999633789,
+                0.03884543991088867,
+                0.038781951904296875,
+                0.039413761138916016,
+                0.039067649841308595,
+                0.039024639129638675,
+                0.038740993499755856,
+                0.038830078125,
+                0.038687744140625,
+                0.03861708831787109,
+                0.03852185440063476,
+                0.03859558486938477,
+                0.0385904655456543,
+                0.03880038452148438,
+                0.03923660659790039,
+                0.03905228805541992
+            ]
+        },
+        "throughput": {
+            "unit": "tokens/s",
+            "value": 25.721857491954612
+        },
+        "energy": null,
+        "efficiency": null
+    }
+}