Hugging Face's logo

Spico
/
LLaMA-MoE-v1-2_8-DynamicSFT

Text Generation
Transformers
Safetensors
llama_moe
custom_code
Model card Files Community
LLaMA-MoE-v1-2_8-DynamicSFT / sampling_info /data.jsonl
Spico's picture
Spico
Upload folder using huggingface_hub
b386a77 verified
raw
history blame
No virus
80.9 kB
{"step": 100, "old_prob_map": {"code": 0.25, "sharegpt": 0.25, "orca": 0.25, "math": 0.25}, "new_prob_map": {"code": 0.2572303488138314, "math": 0.2588491538502336, "orca": 0.24410416223157866, "sharegpt": 0.23981633510435646}, "sim": [[0.12586449411651235, 0.1258017498961425, 0.12542206677168527, 0.12547745437725044], [0.1258017498961425, 0.1271137439587301, 0.12608451435551657, 0.12595773669791455], [0.12542206677168527, 0.12608451435551657, 0.12707085949740077, 0.12682451018998525], [0.12547745437725044, 0.12595773669791455, 0.12682451018998525, 0.12667757289382245]], "name2load": {"code": [0.13847222222222222, 0.1329861111111111, 0.12631944444444446, 0.10090277777777779, 0.1232638888888889, 0.12413194444444445, 0.13052083333333334, 0.12340277777777776], "orca": [0.15915094039397892, 0.11213124144734748, 0.1264519619387073, 0.12225121726124175, 0.11131973395283709, 0.14101136110492316, 0.11813003214206154, 0.10955351175890271], "math": [0.15772125744084223, 0.10886997589413094, 0.11236286712254635, 0.10700054115216213, 0.12215280169233039, 0.11964382348600382, 0.13885472524228856, 0.13339400796969544], "sharegpt": [0.1538298559263893, 0.11250454013479154, 0.1309021752290246, 0.11805359376891722, 0.11528411154606724, 0.1396192340288147, 0.12180172726905847, 0.10800476209693692]}}
{"step": 100, "old_prob_map": {"code": 0.25, "sharegpt": 0.25, "orca": 0.25, "math": 0.25}, "new_prob_map": {"code": 0.2572303488138314, "math": 0.2588491538502336, "orca": 0.24410416223157866, "sharegpt": 0.23981633510435646}, "sim": [[0.12586449411651235, 0.1258017498961425, 0.12542206677168527, 0.12547745437725044], [0.1258017498961425, 0.1271137439587301, 0.12608451435551657, 0.12595773669791455], [0.12542206677168527, 0.12608451435551657, 0.12707085949740077, 0.12682451018998525], [0.12547745437725044, 0.12595773669791455, 0.12682451018998525, 0.12667757289382245]], "name2load": {"code": [0.13847222222222222, 0.1329861111111111, 0.12631944444444446, 0.10090277777777779, 0.1232638888888889, 0.12413194444444445, 0.13052083333333334, 0.12340277777777776], "orca": [0.15915094039397892, 0.11213124144734748, 0.1264519619387073, 0.12225121726124175, 0.11131973395283709, 0.14101136110492316, 0.11813003214206154, 0.10955351175890271], "math": [0.15772125744084223, 0.10886997589413094, 0.11236286712254635, 0.10700054115216213, 0.12215280169233039, 0.11964382348600382, 0.13885472524228856, 0.13339400796969544], "sharegpt": [0.1538298559263893, 0.11250454013479154, 0.1309021752290246, 0.11805359376891722, 0.11528411154606724, 0.1396192340288147, 0.12180172726905847, 0.10800476209693692]}}
{"step": 100, "old_prob_map": {"code": 0.25, "sharegpt": 0.25, "orca": 0.25, "math": 0.25}, "new_prob_map": {"code": 0.2572303488138314, "math": 0.2588491538502336, "orca": 0.24410416223157866, "sharegpt": 0.23981633510435646}, "sim": [[0.12586449411651235, 0.1258017498961425, 0.12542206677168527, 0.12547745437725044], [0.1258017498961425, 0.1271137439587301, 0.12608451435551657, 0.12595773669791455], [0.12542206677168527, 0.12608451435551657, 0.12707085949740077, 0.12682451018998525], [0.12547745437725044, 0.12595773669791455, 0.12682451018998525, 0.12667757289382245]], "name2load": {"code": [0.13847222222222222, 0.1329861111111111, 0.12631944444444446, 0.10090277777777779, 0.1232638888888889, 0.12413194444444445, 0.13052083333333334, 0.12340277777777776], "orca": [0.15915094039397892, 0.11213124144734748, 0.1264519619387073, 0.12225121726124175, 0.11131973395283709, 0.14101136110492316, 0.11813003214206154, 0.10955351175890271], "math": [0.15772125744084223, 0.10886997589413094, 0.11236286712254635, 0.10700054115216213, 0.12215280169233039, 0.11964382348600382, 0.13885472524228856, 0.13339400796969544], "sharegpt": [0.1538298559263893, 0.11250454013479154, 0.1309021752290246, 0.11805359376891722, 0.11528411154606724, 0.1396192340288147, 0.12180172726905847, 0.10800476209693692]}}
{"step": 200, "old_prob_map": {"code": 0.2572303488138314, "math": 0.2588491538502336, "orca": 0.24410416223157866, "sharegpt": 0.23981633510435646}, "new_prob_map": {"code": 0.26041014282145614, "math": 0.2699967341834913, "orca": 0.2388624915646586, "sharegpt": 0.2307306314303939}, "sim": [[0.12557887008101853, 0.12565037163214773, 0.1255207902385726, 0.12553045151780629], [0.12565037163214773, 0.12691183050468666, 0.12602518187654757, 0.12586824087634546], [0.1255207902385726, 0.12602518187654757, 0.12701431126844212, 0.1267592077148191], [0.12553045151780629, 0.12586824087634546, 0.1267592077148191, 0.12658454559077903]], "name2load": {"code": [0.14038194444444446, 0.12777777777777777, 0.12628472222222223, 0.10847222222222222, 0.1252777777777778, 0.12333333333333332, 0.1295138888888889, 0.11895833333333335], "orca": [0.15915094039397892, 0.11076281704483977, 0.12624510708716544, 0.12474938739140119, 0.11291092511854374, 0.13927696273430287, 0.11712758170766635, 0.10977627852210163], "math": [0.1569587248487234, 0.10840261720863877, 0.10938653023072761, 0.11396172578344076, 0.12547350814188027, 0.11779898656958725, 0.1381905839523786, 0.1298273232646234], "sharegpt": [0.15361798296944992, 0.11186892126397352, 0.1299941482707131, 0.1208079422091287, 0.1149158561685298, 0.13860527059203356, 0.12090883409338553, 0.10928104443278583]}}
{"step": 200, "old_prob_map": {"code": 0.2572303488138314, "math": 0.2588491538502336, "orca": 0.24410416223157866, "sharegpt": 0.23981633510435646}, "new_prob_map": {"code": 0.26041014282145614, "math": 0.2699967341834913, "orca": 0.2388624915646586, "sharegpt": 0.2307306314303939}, "sim": [[0.12557887008101853, 0.12565037163214773, 0.1255207902385726, 0.12553045151780629], [0.12565037163214773, 0.12691183050468666, 0.12602518187654757, 0.12586824087634546], [0.1255207902385726, 0.12602518187654757, 0.12701431126844212, 0.1267592077148191], [0.12553045151780629, 0.12586824087634546, 0.1267592077148191, 0.12658454559077903]], "name2load": {"code": [0.14038194444444446, 0.12777777777777777, 0.12628472222222223, 0.10847222222222222, 0.1252777777777778, 0.12333333333333332, 0.1295138888888889, 0.11895833333333335], "orca": [0.15915094039397892, 0.11076281704483977, 0.12624510708716544, 0.12474938739140119, 0.11291092511854374, 0.13927696273430287, 0.11712758170766635, 0.10977627852210163], "math": [0.1569587248487234, 0.10840261720863877, 0.10938653023072761, 0.11396172578344076, 0.12547350814188027, 0.11779898656958725, 0.1381905839523786, 0.1298273232646234], "sharegpt": [0.15361798296944992, 0.11186892126397352, 0.1299941482707131, 0.1208079422091287, 0.1149158561685298, 0.13860527059203356, 0.12090883409338553, 0.10928104443278583]}}
{"step": 200, "old_prob_map": {"code": 0.2572303488138314, "math": 0.2588491538502336, "orca": 0.24410416223157866, "sharegpt": 0.23981633510435646}, "new_prob_map": {"code": 0.26041014282145614, "math": 0.2699967341834913, "orca": 0.2388624915646586, "sharegpt": 0.2307306314303939}, "sim": [[0.12557887008101853, 0.12565037163214773, 0.1255207902385726, 0.12553045151780629], [0.12565037163214773, 0.12691183050468666, 0.12602518187654757, 0.12586824087634546], [0.1255207902385726, 0.12602518187654757, 0.12701431126844212, 0.1267592077148191], [0.12553045151780629, 0.12586824087634546, 0.1267592077148191, 0.12658454559077903]], "name2load": {"code": [0.14038194444444446, 0.12777777777777777, 0.12628472222222223, 0.10847222222222222, 0.1252777777777778, 0.12333333333333332, 0.1295138888888889, 0.11895833333333335], "orca": [0.15915094039397892, 0.11076281704483977, 0.12624510708716544, 0.12474938739140119, 0.11291092511854374, 0.13927696273430287, 0.11712758170766635, 0.10977627852210163], "math": [0.1569587248487234, 0.10840261720863877, 0.10938653023072761, 0.11396172578344076, 0.12547350814188027, 0.11779898656958725, 0.1381905839523786, 0.1298273232646234], "sharegpt": [0.15361798296944992, 0.11186892126397352, 0.1299941482707131, 0.1208079422091287, 0.1149158561685298, 0.13860527059203356, 0.12090883409338553, 0.10928104443278583]}}
{"step": 300, "old_prob_map": {"code": 0.26041014282145614, "math": 0.2699967341834913, "orca": 0.2388624915646586, "sharegpt": 0.2307306314303939}, "new_prob_map": {"code": 0.262732059091419, "math": 0.2804335637149032, "orca": 0.23390804147258062, "sharegpt": 0.22292633572109724}, "sim": [[0.12574693769290124, 0.1257249944313256, 0.12580449354595183, 0.1257251789850052], [0.1257249944313256, 0.12691919157975104, 0.12625310413982882, 0.12598091200100756], [0.12580449354595183, 0.12625310413982882, 0.12722391119439105, 0.1268789970410317], [0.1257251789850052, 0.12598091200100756, 0.1268789970410317, 0.12665033434484935]], "name2load": {"code": [0.14305555555555555, 0.13052083333333334, 0.13197916666666668, 0.11215277777777778, 0.11579861111111112, 0.12083333333333333, 0.12854166666666667, 0.11711805555555556], "orca": [0.16174458199408076, 0.11194029850746268, 0.128297743690927, 0.12694523120007636, 0.10855106132450752, 0.1353467205550075, 0.11860738949177353, 0.10856697323616459], "math": [0.1594431052294977, 0.11096079106606975, 0.11413391056230628, 0.1136911497023663, 0.12011118217149602, 0.11592955182761842, 0.13833817090569192, 0.1273921385349535], "sharegpt": [0.15417793292707535, 0.11246418338108882, 0.13297550345050244, 0.1228005569232011, 0.11246418338108882, 0.13609810726825133, 0.12055066790427377, 0.10846886476451834]}}
{"step": 300, "old_prob_map": {"code": 0.26041014282145614, "math": 0.2699967341834913, "orca": 0.2388624915646586, "sharegpt": 0.2307306314303939}, "new_prob_map": {"code": 0.262732059091419, "math": 0.2804335637149032, "orca": 0.23390804147258062, "sharegpt": 0.22292633572109724}, "sim": [[0.12574693769290124, 0.1257249944313256, 0.12580449354595183, 0.1257251789850052], [0.1257249944313256, 0.12691919157975104, 0.12625310413982882, 0.12598091200100756], [0.12580449354595183, 0.12625310413982882, 0.12722391119439105, 0.1268789970410317], [0.1257251789850052, 0.12598091200100756, 0.1268789970410317, 0.12665033434484935]], "name2load": {"code": [0.14305555555555555, 0.13052083333333334, 0.13197916666666668, 0.11215277777777778, 0.11579861111111112, 0.12083333333333333, 0.12854166666666667, 0.11711805555555556], "orca": [0.16174458199408076, 0.11194029850746268, 0.128297743690927, 0.12694523120007636, 0.10855106132450752, 0.1353467205550075, 0.11860738949177353, 0.10856697323616459], "math": [0.1594431052294977, 0.11096079106606975, 0.11413391056230628, 0.1136911497023663, 0.12011118217149602, 0.11592955182761842, 0.13833817090569192, 0.1273921385349535], "sharegpt": [0.15417793292707535, 0.11246418338108882, 0.13297550345050244, 0.1228005569232011, 0.11246418338108882, 0.13609810726825133, 0.12055066790427377, 0.10846886476451834]}}
{"step": 300, "old_prob_map": {"code": 0.26041014282145614, "math": 0.2699967341834913, "orca": 0.2388624915646586, "sharegpt": 0.2307306314303939}, "new_prob_map": {"code": 0.262732059091419, "math": 0.2804335637149032, "orca": 0.23390804147258062, "sharegpt": 0.22292633572109724}, "sim": [[0.12574693769290124, 0.1257249944313256, 0.12580449354595183, 0.1257251789850052], [0.1257249944313256, 0.12691919157975104, 0.12625310413982882, 0.12598091200100756], [0.12580449354595183, 0.12625310413982882, 0.12722391119439105, 0.1268789970410317], [0.1257251789850052, 0.12598091200100756, 0.1268789970410317, 0.12665033434484935]], "name2load": {"code": [0.14305555555555555, 0.13052083333333334, 0.13197916666666668, 0.11215277777777778, 0.11579861111111112, 0.12083333333333333, 0.12854166666666667, 0.11711805555555556], "orca": [0.16174458199408076, 0.11194029850746268, 0.128297743690927, 0.12694523120007636, 0.10855106132450752, 0.1353467205550075, 0.11860738949177353, 0.10856697323616459], "math": [0.1594431052294977, 0.11096079106606975, 0.11413391056230628, 0.1136911497023663, 0.12011118217149602, 0.11592955182761842, 0.13833817090569192, 0.1273921385349535], "sharegpt": [0.15417793292707535, 0.11246418338108882, 0.13297550345050244, 0.1228005569232011, 0.11246418338108882, 0.13609810726825133, 0.12055066790427377, 0.10846886476451834]}}
{"step": 400, "old_prob_map": {"code": 0.262732059091419, "math": 0.2804335637149032, "orca": 0.23390804147258062, "sharegpt": 0.22292633572109724}, "new_prob_map": {"code": 0.26592793408730336, "math": 0.28876391543048435, "orca": 0.22985923187970148, "sharegpt": 0.2154489186025108}, "sim": [[0.1256565586419753, 0.12572712965923813, 0.12552322619754816, 0.12548363978542537], [0.12572712965923813, 0.126813335133358, 0.12601790734538068, 0.1258321498287296], [0.12552322619754816, 0.12601790734538068, 0.1269305361144293, 0.12662832848484412], [0.12548363978542537, 0.1258321498287296, 0.12662832848484412, 0.12640048340498414]], "name2load": {"code": [0.14086805555555554, 0.1329861111111111, 0.12416666666666668, 0.11038194444444444, 0.12090277777777778, 0.1207986111111111, 0.1317361111111111, 0.11815972222222222], "orca": [0.15962829774369092, 0.1129268370302008, 0.12680202399516277, 0.12576774973745344, 0.11252903923877415, 0.13525124908506508, 0.11897336345988607, 0.10812143970976673], "math": [0.15784424656860335, 0.1165936931175284, 0.10643479116446106, 0.1138141388301274, 0.12399763860874699, 0.11735622570964727, 0.13629655138485758, 0.12766271461602793], "sharegpt": [0.15344142217200046, 0.11403305218128253, 0.12936357399410792, 0.12228600831349125, 0.11519835344444893, 0.13466039791759152, 0.12164534484846039, 0.10937184712861696]}}
{"step": 400, "old_prob_map": {"code": 0.262732059091419, "math": 0.2804335637149032, "orca": 0.23390804147258062, "sharegpt": 0.22292633572109724}, "new_prob_map": {"code": 0.26592793408730336, "math": 0.28876391543048435, "orca": 0.22985923187970148, "sharegpt": 0.2154489186025108}, "sim": [[0.1256565586419753, 0.12572712965923813, 0.12552322619754816, 0.12548363978542537], [0.12572712965923813, 0.126813335133358, 0.12601790734538068, 0.1258321498287296], [0.12552322619754816, 0.12601790734538068, 0.1269305361144293, 0.12662832848484412], [0.12548363978542537, 0.1258321498287296, 0.12662832848484412, 0.12640048340498414]], "name2load": {"code": [0.14086805555555554, 0.1329861111111111, 0.12416666666666668, 0.11038194444444444, 0.12090277777777778, 0.1207986111111111, 0.1317361111111111, 0.11815972222222222], "orca": [0.15962829774369092, 0.1129268370302008, 0.12680202399516277, 0.12576774973745344, 0.11252903923877415, 0.13525124908506508, 0.11897336345988607, 0.10812143970976673], "math": [0.15784424656860335, 0.1165936931175284, 0.10643479116446106, 0.1138141388301274, 0.12399763860874699, 0.11735622570964727, 0.13629655138485758, 0.12766271461602793], "sharegpt": [0.15344142217200046, 0.11403305218128253, 0.12936357399410792, 0.12228600831349125, 0.11519835344444893, 0.13466039791759152, 0.12164534484846039, 0.10937184712861696]}}
{"step": 400, "old_prob_map": {"code": 0.262732059091419, "math": 0.2804335637149032, "orca": 0.23390804147258062, "sharegpt": 0.22292633572109724}, "new_prob_map": {"code": 0.26592793408730336, "math": 0.28876391543048435, "orca": 0.22985923187970148, "sharegpt": 0.2154489186025108}, "sim": [[0.1256565586419753, 0.12572712965923813, 0.12552322619754816, 0.12548363978542537], [0.12572712965923813, 0.126813335133358, 0.12601790734538068, 0.1258321498287296], [0.12552322619754816, 0.12601790734538068, 0.1269305361144293, 0.12662832848484412], [0.12548363978542537, 0.1258321498287296, 0.12662832848484412, 0.12640048340498414]], "name2load": {"code": [0.14086805555555554, 0.1329861111111111, 0.12416666666666668, 0.11038194444444444, 0.12090277777777778, 0.1207986111111111, 0.1317361111111111, 0.11815972222222222], "orca": [0.15962829774369092, 0.1129268370302008, 0.12680202399516277, 0.12576774973745344, 0.11252903923877415, 0.13525124908506508, 0.11897336345988607, 0.10812143970976673], "math": [0.15784424656860335, 0.1165936931175284, 0.10643479116446106, 0.1138141388301274, 0.12399763860874699, 0.11735622570964727, 0.13629655138485758, 0.12766271461602793], "sharegpt": [0.15344142217200046, 0.11403305218128253, 0.12936357399410792, 0.12228600831349125, 0.11519835344444893, 0.13466039791759152, 0.12164534484846039, 0.10937184712861696]}}
{"step": 500, "old_prob_map": {"code": 0.26592793408730336, "math": 0.28876391543048435, "orca": 0.22985923187970148, "sharegpt": 0.2154489186025108}, "new_prob_map": {"code": 0.2669836751180987, "math": 0.2966379337081988, "orca": 0.22764222531614908, "sharegpt": 0.20873616585755356}, "sim": [[0.1259574701003086, 0.12599376240140372, 0.1260121163682299, 0.1259192261326235], [0.12599376240140372, 0.12696372953269297, 0.12641762455469407, 0.12616699032245762], [0.1260121163682299, 0.12641762455469407, 0.12725356468217505, 0.12685254651404831], [0.1259192261326235, 0.12616699032245762, 0.12685254651404831, 0.12656536029397814]], "name2load": {"code": [0.1470138888888889, 0.12184027777777777, 0.12666666666666668, 0.10680555555555557, 0.12201388888888888, 0.12670138888888888, 0.13211805555555556, 0.11684027777777778], "orca": [0.16257200140024822, 0.11082646469146802, 0.12724755752156064, 0.12562454253253985, 0.11042866690004137, 0.13595137319797598, 0.11851191802183113, 0.10883747573433472], "math": [0.15934471392728883, 0.10412259556255228, 0.11241206277365082, 0.11809416047621392, 0.1262114429084469, 0.1197176169626605, 0.1356078122693954, 0.12448959511979142], "sharegpt": [0.15488417611687316, 0.11187396585818636, 0.12985289963275354, 0.1216705678195246, 0.11496630211065821, 0.13559869244118003, 0.12169074619637597, 0.10946264982444812]}}
{"step": 500, "old_prob_map": {"code": 0.26592793408730336, "math": 0.28876391543048435, "orca": 0.22985923187970148, "sharegpt": 0.2154489186025108}, "new_prob_map": {"code": 0.2669836751180987, "math": 0.2966379337081988, "orca": 0.22764222531614908, "sharegpt": 0.20873616585755356}, "sim": [[0.1259574701003086, 0.12599376240140372, 0.1260121163682299, 0.1259192261326235], [0.12599376240140372, 0.12696372953269297, 0.12641762455469407, 0.12616699032245762], [0.1260121163682299, 0.12641762455469407, 0.12725356468217505, 0.12685254651404831], [0.1259192261326235, 0.12616699032245762, 0.12685254651404831, 0.12656536029397814]], "name2load": {"code": [0.1470138888888889, 0.12184027777777777, 0.12666666666666668, 0.10680555555555557, 0.12201388888888888, 0.12670138888888888, 0.13211805555555556, 0.11684027777777778], "orca": [0.16257200140024822, 0.11082646469146802, 0.12724755752156064, 0.12562454253253985, 0.11042866690004137, 0.13595137319797598, 0.11851191802183113, 0.10883747573433472], "math": [0.15934471392728883, 0.10412259556255228, 0.11241206277365082, 0.11809416047621392, 0.1262114429084469, 0.1197176169626605, 0.1356078122693954, 0.12448959511979142], "sharegpt": [0.15488417611687316, 0.11187396585818636, 0.12985289963275354, 0.1216705678195246, 0.11496630211065821, 0.13559869244118003, 0.12169074619637597, 0.10946264982444812]}}
{"step": 500, "old_prob_map": {"code": 0.26592793408730336, "math": 0.28876391543048435, "orca": 0.22985923187970148, "sharegpt": 0.2154489186025108}, "new_prob_map": {"code": 0.2669836751180987, "math": 0.2966379337081988, "orca": 0.22764222531614908, "sharegpt": 0.20873616585755356}, "sim": [[0.1259574701003086, 0.12599376240140372, 0.1260121163682299, 0.1259192261326235], [0.12599376240140372, 0.12696372953269297, 0.12641762455469407, 0.12616699032245762], [0.1260121163682299, 0.12641762455469407, 0.12725356468217505, 0.12685254651404831], [0.1259192261326235, 0.12616699032245762, 0.12685254651404831, 0.12656536029397814]], "name2load": {"code": [0.1470138888888889, 0.12184027777777777, 0.12666666666666668, 0.10680555555555557, 0.12201388888888888, 0.12670138888888888, 0.13211805555555556, 0.11684027777777778], "orca": [0.16257200140024822, 0.11082646469146802, 0.12724755752156064, 0.12562454253253985, 0.11042866690004137, 0.13595137319797598, 0.11851191802183113, 0.10883747573433472], "math": [0.15934471392728883, 0.10412259556255228, 0.11241206277365082, 0.11809416047621392, 0.1262114429084469, 0.1197176169626605, 0.1356078122693954, 0.12448959511979142], "sharegpt": [0.15488417611687316, 0.11187396585818636, 0.12985289963275354, 0.1216705678195246, 0.11496630211065821, 0.13559869244118003, 0.12169074619637597, 0.10946264982444812]}}
{"step": 600, "old_prob_map": {"code": 0.2669836751180987, "math": 0.2966379337081988, "orca": 0.22764222531614908, "sharegpt": 0.20873616585755356}, "new_prob_map": {"code": 0.27003083823938623, "math": 0.3010794462965474, "orca": 0.2251186490107333, "sharegpt": 0.20377106645333304}, "sim": [[0.12566743103780864, 0.12567633173310813, 0.12562479115615952, 0.12557017629595627], [0.12567633173310813, 0.1264801167028205, 0.1260440652850635, 0.12585004924121554], [0.12562479115615952, 0.1260440652850635, 0.12700713538771485, 0.12670045038512148], [0.12557017629595627, 0.12585004924121554, 0.12670045038512148, 0.12648942901261928]], "name2load": {"code": [0.14253472222222222, 0.1292013888888889, 0.12309027777777778, 0.1090625, 0.12319444444444445, 0.12371527777777779, 0.13090277777777778, 0.1182986111111111], "orca": [0.16037615759157303, 0.11216306527066161, 0.12672246443687743, 0.1264996976736785, 0.11119243865958055, 0.13502848232186615, 0.11914839448811379, 0.10886929955764886], "math": [0.1545235401190535, 0.10980469326511537, 0.11351896492350078, 0.11703645397746841, 0.12744133418605796, 0.11740542136075172, 0.13587838835046984, 0.12439120381758254], "sharegpt": [0.15372391944791963, 0.11282739416441342, 0.1299437023285847, 0.1220438677912749, 0.11535473586504702, 0.1362645788772751, 0.1203942854836757, 0.1094475160418096]}}
{"step": 600, "old_prob_map": {"code": 0.2669836751180987, "math": 0.2966379337081988, "orca": 0.22764222531614908, "sharegpt": 0.20873616585755356}, "new_prob_map": {"code": 0.27003083823938623, "math": 0.3010794462965474, "orca": 0.2251186490107333, "sharegpt": 0.20377106645333304}, "sim": [[0.12566743103780864, 0.12567633173310813, 0.12562479115615952, 0.12557017629595627], [0.12567633173310813, 0.1264801167028205, 0.1260440652850635, 0.12585004924121554], [0.12562479115615952, 0.1260440652850635, 0.12700713538771485, 0.12670045038512148], [0.12557017629595627, 0.12585004924121554, 0.12670045038512148, 0.12648942901261928]], "name2load": {"code": [0.14253472222222222, 0.1292013888888889, 0.12309027777777778, 0.1090625, 0.12319444444444445, 0.12371527777777779, 0.13090277777777778, 0.1182986111111111], "orca": [0.16037615759157303, 0.11216306527066161, 0.12672246443687743, 0.1264996976736785, 0.11119243865958055, 0.13502848232186615, 0.11914839448811379, 0.10886929955764886], "math": [0.1545235401190535, 0.10980469326511537, 0.11351896492350078, 0.11703645397746841, 0.12744133418605796, 0.11740542136075172, 0.13587838835046984, 0.12439120381758254], "sharegpt": [0.15372391944791963, 0.11282739416441342, 0.1299437023285847, 0.1220438677912749, 0.11535473586504702, 0.1362645788772751, 0.1203942854836757, 0.1094475160418096]}}
{"step": 600, "old_prob_map": {"code": 0.2669836751180987, "math": 0.2966379337081988, "orca": 0.22764222531614908, "sharegpt": 0.20873616585755356}, "new_prob_map": {"code": 0.27003083823938623, "math": 0.3010794462965474, "orca": 0.2251186490107333, "sharegpt": 0.20377106645333304}, "sim": [[0.12566743103780864, 0.12567633173310813, 0.12562479115615952, 0.12557017629595627], [0.12567633173310813, 0.1264801167028205, 0.1260440652850635, 0.12585004924121554], [0.12562479115615952, 0.1260440652850635, 0.12700713538771485, 0.12670045038512148], [0.12557017629595627, 0.12585004924121554, 0.12670045038512148, 0.12648942901261928]], "name2load": {"code": [0.14253472222222222, 0.1292013888888889, 0.12309027777777778, 0.1090625, 0.12319444444444445, 0.12371527777777779, 0.13090277777777778, 0.1182986111111111], "orca": [0.16037615759157303, 0.11216306527066161, 0.12672246443687743, 0.1264996976736785, 0.11119243865958055, 0.13502848232186615, 0.11914839448811379, 0.10886929955764886], "math": [0.1545235401190535, 0.10980469326511537, 0.11351896492350078, 0.11703645397746841, 0.12744133418605796, 0.11740542136075172, 0.13587838835046984, 0.12439120381758254], "sharegpt": [0.15372391944791963, 0.11282739416441342, 0.1299437023285847, 0.1220438677912749, 0.11535473586504702, 0.1362645788772751, 0.1203942854836757, 0.1094475160418096]}}
{"step": 700, "old_prob_map": {"code": 0.27003083823938623, "math": 0.3010794462965474, "orca": 0.2251186490107333, "sharegpt": 0.20377106645333304}, "new_prob_map": {"code": 0.2721660599163854, "math": 0.3060484802624147, "orca": 0.22232232353028722, "sharegpt": 0.19946313629091267}, "sim": [[0.12591640866126544, 0.12617961093072705, 0.1258935858863112, 0.12586781576217093], [0.12617961093072705, 0.12723727763421092, 0.1265306236290008, 0.12636545218336875], [0.1258935858863112, 0.1265306236290008, 0.12717894129531937, 0.12692870153713742], [0.12586781576217093, 0.12636545218336875, 0.12692870153713742, 0.12677430653529523]], "name2load": {"code": [0.14517361111111113, 0.12329861111111112, 0.12114583333333333, 0.1057638888888889, 0.12111111111111111, 0.13010416666666666, 0.1328125, 0.12059027777777778], "orca": [0.16211055596219331, 0.11036501925341312, 0.12634057855710787, 0.12439932533494574, 0.11015816440187125, 0.1370492951023136, 0.11717531744263757, 0.11240174394551762], "math": [0.1616323117036454, 0.10572145422344664, 0.1116003345304275, 0.11113297584493531, 0.12362867122546367, 0.12348108427215033, 0.1371328774536331, 0.125670290746298], "sharegpt": [0.156226038177489, 0.10993684168045523, 0.12972174018321966, 0.12017232333831065, 0.11424492513822186, 0.13864058275152347, 0.12030348278784456, 0.11075406594293555]}}
{"step": 700, "old_prob_map": {"code": 0.27003083823938623, "math": 0.3010794462965474, "orca": 0.2251186490107333, "sharegpt": 0.20377106645333304}, "new_prob_map": {"code": 0.2721660599163854, "math": 0.3060484802624147, "orca": 0.22232232353028722, "sharegpt": 0.19946313629091267}, "sim": [[0.12591640866126544, 0.12617961093072705, 0.1258935858863112, 0.12586781576217093], [0.12617961093072705, 0.12723727763421092, 0.1265306236290008, 0.12636545218336875], [0.1258935858863112, 0.1265306236290008, 0.12717894129531937, 0.12692870153713742], [0.12586781576217093, 0.12636545218336875, 0.12692870153713742, 0.12677430653529523]], "name2load": {"code": [0.14517361111111113, 0.12329861111111112, 0.12114583333333333, 0.1057638888888889, 0.12111111111111111, 0.13010416666666666, 0.1328125, 0.12059027777777778], "orca": [0.16211055596219331, 0.11036501925341312, 0.12634057855710787, 0.12439932533494574, 0.11015816440187125, 0.1370492951023136, 0.11717531744263757, 0.11240174394551762], "math": [0.1616323117036454, 0.10572145422344664, 0.1116003345304275, 0.11113297584493531, 0.12362867122546367, 0.12348108427215033, 0.1371328774536331, 0.125670290746298], "sharegpt": [0.156226038177489, 0.10993684168045523, 0.12972174018321966, 0.12017232333831065, 0.11424492513822186, 0.13864058275152347, 0.12030348278784456, 0.11075406594293555]}}
{"step": 700, "old_prob_map": {"code": 0.27003083823938623, "math": 0.3010794462965474, "orca": 0.2251186490107333, "sharegpt": 0.20377106645333304}, "new_prob_map": {"code": 0.2721660599163854, "math": 0.3060484802624147, "orca": 0.22232232353028722, "sharegpt": 0.19946313629091267}, "sim": [[0.12591640866126544, 0.12617961093072705, 0.1258935858863112, 0.12586781576217093], [0.12617961093072705, 0.12723727763421092, 0.1265306236290008, 0.12636545218336875], [0.1258935858863112, 0.1265306236290008, 0.12717894129531937, 0.12692870153713742], [0.12586781576217093, 0.12636545218336875, 0.12692870153713742, 0.12677430653529523]], "name2load": {"code": [0.14517361111111113, 0.12329861111111112, 0.12114583333333333, 0.1057638888888889, 0.12111111111111111, 0.13010416666666666, 0.1328125, 0.12059027777777778], "orca": [0.16211055596219331, 0.11036501925341312, 0.12634057855710787, 0.12439932533494574, 0.11015816440187125, 0.1370492951023136, 0.11717531744263757, 0.11240174394551762], "math": [0.1616323117036454, 0.10572145422344664, 0.1116003345304275, 0.11113297584493531, 0.12362867122546367, 0.12348108427215033, 0.1371328774536331, 0.125670290746298], "sharegpt": [0.156226038177489, 0.10993684168045523, 0.12972174018321966, 0.12017232333831065, 0.11424492513822186, 0.13864058275152347, 0.12030348278784456, 0.11075406594293555]}}
{"step": 800, "old_prob_map": {"code": 0.2721660599163854, "math": 0.3060484802624147, "orca": 0.22232232353028722, "sharegpt": 0.19946313629091267}, "new_prob_map": {"code": 0.2714569825529402, "math": 0.31164467459228024, "orca": 0.22043752359675148, "sharegpt": 0.19646081925802802}, "sim": [[0.1257888744212963, 0.12608671741334734, 0.12586396486826704, 0.12578446662944875], [0.12608671741334734, 0.12703465505802583, 0.1263656558457333, 0.12616774116713667], [0.12586396486826704, 0.1263656558457333, 0.12707414791525715, 0.12679080694508663], [0.12578446662944875, 0.12616774116713667, 0.12679080694508663, 0.1266166860219692]], "name2load": {"code": [0.14774305555555556, 0.12232638888888889, 0.12312500000000001, 0.11069444444444444, 0.12357638888888887, 0.12385416666666667, 0.12944444444444445, 0.1192361111111111], "orca": [0.16113992935111224, 0.11014225249021417, 0.12837730324921234, 0.1275021481080737, 0.11046049072335551, 0.13389873659421442, 0.11617286700824236, 0.1123062724755752], "math": [0.1604516160771388, 0.10520489988685001, 0.11302700841245635, 0.11408471491120187, 0.12601466030402914, 0.12092291041471935, 0.13528804053721652, 0.12500614945638808], "sharegpt": [0.1546823923483595, 0.10977541466564429, 0.13218854675329916, 0.12226582993663988, 0.1145879575446951, 0.1362393559062109, 0.11788207756568062, 0.1123784252794705]}}
{"step": 800, "old_prob_map": {"code": 0.2721660599163854, "math": 0.3060484802624147, "orca": 0.22232232353028722, "sharegpt": 0.19946313629091267}, "new_prob_map": {"code": 0.2714569825529402, "math": 0.31164467459228024, "orca": 0.22043752359675148, "sharegpt": 0.19646081925802802}, "sim": [[0.1257888744212963, 0.12608671741334734, 0.12586396486826704, 0.12578446662944875], [0.12608671741334734, 0.12703465505802583, 0.1263656558457333, 0.12616774116713667], [0.12586396486826704, 0.1263656558457333, 0.12707414791525715, 0.12679080694508663], [0.12578446662944875, 0.12616774116713667, 0.12679080694508663, 0.1266166860219692]], "name2load": {"code": [0.14774305555555556, 0.12232638888888889, 0.12312500000000001, 0.11069444444444444, 0.12357638888888887, 0.12385416666666667, 0.12944444444444445, 0.1192361111111111], "orca": [0.16113992935111224, 0.11014225249021417, 0.12837730324921234, 0.1275021481080737, 0.11046049072335551, 0.13389873659421442, 0.11617286700824236, 0.1123062724755752], "math": [0.1604516160771388, 0.10520489988685001, 0.11302700841245635, 0.11408471491120187, 0.12601466030402914, 0.12092291041471935, 0.13528804053721652, 0.12500614945638808], "sharegpt": [0.1546823923483595, 0.10977541466564429, 0.13218854675329916, 0.12226582993663988, 0.1145879575446951, 0.1362393559062109, 0.11788207756568062, 0.1123784252794705]}}
{"step": 800, "old_prob_map": {"code": 0.2721660599163854, "math": 0.3060484802624147, "orca": 0.22232232353028722, "sharegpt": 0.19946313629091267}, "new_prob_map": {"code": 0.2714569825529402, "math": 0.31164467459228024, "orca": 0.22043752359675148, "sharegpt": 0.19646081925802802}, "sim": [[0.1257888744212963, 0.12608671741334734, 0.12586396486826704, 0.12578446662944875], [0.12608671741334734, 0.12703465505802583, 0.1263656558457333, 0.12616774116713667], [0.12586396486826704, 0.1263656558457333, 0.12707414791525715, 0.12679080694508663], [0.12578446662944875, 0.12616774116713667, 0.12679080694508663, 0.1266166860219692]], "name2load": {"code": [0.14774305555555556, 0.12232638888888889, 0.12312500000000001, 0.11069444444444444, 0.12357638888888887, 0.12385416666666667, 0.12944444444444445, 0.1192361111111111], "orca": [0.16113992935111224, 0.11014225249021417, 0.12837730324921234, 0.1275021481080737, 0.11046049072335551, 0.13389873659421442, 0.11617286700824236, 0.1123062724755752], "math": [0.1604516160771388, 0.10520489988685001, 0.11302700841245635, 0.11408471491120187, 0.12601466030402914, 0.12092291041471935, 0.13528804053721652, 0.12500614945638808], "sharegpt": [0.1546823923483595, 0.10977541466564429, 0.13218854675329916, 0.12226582993663988, 0.1145879575446951, 0.1362393559062109, 0.11788207756568062, 0.1123784252794705]}}
{"step": 900, "old_prob_map": {"code": 0.2714569825529402, "math": 0.31164467459228024, "orca": 0.22043752359675148, "sharegpt": 0.19646081925802802}, "new_prob_map": {"code": 0.2723148904404529, "math": 0.31564146378610697, "orca": 0.21837309802996122, "sharegpt": 0.1936705477434788}, "sim": [[0.12570747251157408, 0.12585408006182255, 0.12568240001131514, 0.12568915602817798], [0.12585408006182255, 0.12659409417087344, 0.1260897289567614, 0.12595491163084996], [0.12568240001131514, 0.1260897289567614, 0.12685691586212447, 0.1266720302140431], [0.12568915602817798, 0.12595491163084996, 0.1266720302140431, 0.12656430150737044]], "name2load": {"code": [0.14270833333333333, 0.12319444444444445, 0.12736111111111112, 0.10944444444444444, 0.12482638888888889, 0.12458333333333334, 0.1323263888888889, 0.11555555555555556], "orca": [0.1588327021608376, 0.11092193616141043, 0.128297743690927, 0.12584730929573879, 0.11176526747923494, 0.1350125704102091, 0.1172389650892658, 0.11208350571237627], "math": [0.1558272248733212, 0.11076400846165199, 0.11388793230678408, 0.11187091061150195, 0.126113051606238, 0.12212820386677817, 0.13646873616372313, 0.12293993211000148], "sharegpt": [0.15380463295532507, 0.11132410508898664, 0.13251140078292103, 0.1214637394567981, 0.1148200088784858, 0.13663787884902537, 0.11847229508858308, 0.11096593889987488]}}
{"step": 900, "old_prob_map": {"code": 0.2714569825529402, "math": 0.31164467459228024, "orca": 0.22043752359675148, "sharegpt": 0.19646081925802802}, "new_prob_map": {"code": 0.2723148904404529, "math": 0.31564146378610697, "orca": 0.21837309802996122, "sharegpt": 0.1936705477434788}, "sim": [[0.12570747251157408, 0.12585408006182255, 0.12568240001131514, 0.12568915602817798], [0.12585408006182255, 0.12659409417087344, 0.1260897289567614, 0.12595491163084996], [0.12568240001131514, 0.1260897289567614, 0.12685691586212447, 0.1266720302140431], [0.12568915602817798, 0.12595491163084996, 0.1266720302140431, 0.12656430150737044]], "name2load": {"code": [0.14270833333333333, 0.12319444444444445, 0.12736111111111112, 0.10944444444444444, 0.12482638888888889, 0.12458333333333334, 0.1323263888888889, 0.11555555555555556], "orca": [0.1588327021608376, 0.11092193616141043, 0.128297743690927, 0.12584730929573879, 0.11176526747923494, 0.1350125704102091, 0.1172389650892658, 0.11208350571237627], "math": [0.1558272248733212, 0.11076400846165199, 0.11388793230678408, 0.11187091061150195, 0.126113051606238, 0.12212820386677817, 0.13646873616372313, 0.12293993211000148], "sharegpt": [0.15380463295532507, 0.11132410508898664, 0.13251140078292103, 0.1214637394567981, 0.1148200088784858, 0.13663787884902537, 0.11847229508858308, 0.11096593889987488]}}
{"step": 900, "old_prob_map": {"code": 0.2714569825529402, "math": 0.31164467459228024, "orca": 0.22043752359675148, "sharegpt": 0.19646081925802802}, "new_prob_map": {"code": 0.2723148904404529, "math": 0.31564146378610697, "orca": 0.21837309802996122, "sharegpt": 0.1936705477434788}, "sim": [[0.12570747251157408, 0.12585408006182255, 0.12568240001131514, 0.12568915602817798], [0.12585408006182255, 0.12659409417087344, 0.1260897289567614, 0.12595491163084996], [0.12568240001131514, 0.1260897289567614, 0.12685691586212447, 0.1266720302140431], [0.12568915602817798, 0.12595491163084996, 0.1266720302140431, 0.12656430150737044]], "name2load": {"code": [0.14270833333333333, 0.12319444444444445, 0.12736111111111112, 0.10944444444444444, 0.12482638888888889, 0.12458333333333334, 0.1323263888888889, 0.11555555555555556], "orca": [0.1588327021608376, 0.11092193616141043, 0.128297743690927, 0.12584730929573879, 0.11176526747923494, 0.1350125704102091, 0.1172389650892658, 0.11208350571237627], "math": [0.1558272248733212, 0.11076400846165199, 0.11388793230678408, 0.11187091061150195, 0.126113051606238, 0.12212820386677817, 0.13646873616372313, 0.12293993211000148], "sharegpt": [0.15380463295532507, 0.11132410508898664, 0.13251140078292103, 0.1214637394567981, 0.1148200088784858, 0.13663787884902537, 0.11847229508858308, 0.11096593889987488]}}
{"step": 1000, "old_prob_map": {"code": 0.2723148904404529, "math": 0.31564146378610697, "orca": 0.21837309802996122, "sharegpt": 0.1936705477434788}, "new_prob_map": {"code": 0.2722841717572351, "math": 0.3194814726996295, "orca": 0.21690109310035738, "sharegpt": 0.191333262442778}, "sim": [[0.1257504653742284, 0.12595864815133678, 0.12580714111125255, 0.12576848017026065], [0.12595864815133678, 0.1268039313992917, 0.12628966584110354, 0.12609522044107874], [0.12580714111125255, 0.12628966584110354, 0.12696985787479292, 0.12670862298735203], [0.12576848017026065, 0.12609522044107874, 0.12670862298735203, 0.12656973927211368]], "name2load": {"code": [0.14548611111111112, 0.12215277777777778, 0.12652777777777777, 0.11104166666666668, 0.11947916666666668, 0.12413194444444445, 0.13243055555555555, 0.11875], "orca": [0.15951691436209145, 0.10928300926073257, 0.12837730324921234, 0.12732711707984598, 0.11020590013684244, 0.13491709894026668, 0.1167297839162397, 0.1136428730547688], "math": [0.1587297682884833, 0.10852560633639986, 0.11265804102917303, 0.11573276922320068, 0.1213410734491071, 0.12175923648349488, 0.13651793181482758, 0.12473557337531364], "sharegpt": [0.15346160054885183, 0.1094122038823197, 0.1319514508252956, 0.12137293676096694, 0.11503188183542516, 0.13752068283627264, 0.11903728964042132, 0.11221195367044674]}}
{"step": 1000, "old_prob_map": {"code": 0.2723148904404529, "math": 0.31564146378610697, "orca": 0.21837309802996122, "sharegpt": 0.1936705477434788}, "new_prob_map": {"code": 0.2722841717572351, "math": 0.3194814726996295, "orca": 0.21690109310035738, "sharegpt": 0.191333262442778}, "sim": [[0.1257504653742284, 0.12595864815133678, 0.12580714111125255, 0.12576848017026065], [0.12595864815133678, 0.1268039313992917, 0.12628966584110354, 0.12609522044107874], [0.12580714111125255, 0.12628966584110354, 0.12696985787479292, 0.12670862298735203], [0.12576848017026065, 0.12609522044107874, 0.12670862298735203, 0.12656973927211368]], "name2load": {"code": [0.14548611111111112, 0.12215277777777778, 0.12652777777777777, 0.11104166666666668, 0.11947916666666668, 0.12413194444444445, 0.13243055555555555, 0.11875], "orca": [0.15951691436209145, 0.10928300926073257, 0.12837730324921234, 0.12732711707984598, 0.11020590013684244, 0.13491709894026668, 0.1167297839162397, 0.1136428730547688], "math": [0.1587297682884833, 0.10852560633639986, 0.11265804102917303, 0.11573276922320068, 0.1213410734491071, 0.12175923648349488, 0.13651793181482758, 0.12473557337531364], "sharegpt": [0.15346160054885183, 0.1094122038823197, 0.1319514508252956, 0.12137293676096694, 0.11503188183542516, 0.13752068283627264, 0.11903728964042132, 0.11221195367044674]}}
{"step": 1000, "old_prob_map": {"code": 0.2723148904404529, "math": 0.31564146378610697, "orca": 0.21837309802996122, "sharegpt": 0.1936705477434788}, "new_prob_map": {"code": 0.2722841717572351, "math": 0.3194814726996295, "orca": 0.21690109310035738, "sharegpt": 0.191333262442778}, "sim": [[0.1257504653742284, 0.12595864815133678, 0.12580714111125255, 0.12576848017026065], [0.12595864815133678, 0.1268039313992917, 0.12628966584110354, 0.12609522044107874], [0.12580714111125255, 0.12628966584110354, 0.12696985787479292, 0.12670862298735203], [0.12576848017026065, 0.12609522044107874, 0.12670862298735203, 0.12656973927211368]], "name2load": {"code": [0.14548611111111112, 0.12215277777777778, 0.12652777777777777, 0.11104166666666668, 0.11947916666666668, 0.12413194444444445, 0.13243055555555555, 0.11875], "orca": [0.15951691436209145, 0.10928300926073257, 0.12837730324921234, 0.12732711707984598, 0.11020590013684244, 0.13491709894026668, 0.1167297839162397, 0.1136428730547688], "math": [0.1587297682884833, 0.10852560633639986, 0.11265804102917303, 0.11573276922320068, 0.1213410734491071, 0.12175923648349488, 0.13651793181482758, 0.12473557337531364], "sharegpt": [0.15346160054885183, 0.1094122038823197, 0.1319514508252956, 0.12137293676096694, 0.11503188183542516, 0.13752068283627264, 0.11903728964042132, 0.11221195367044674]}}
{"step": 1100, "old_prob_map": {"code": 0.2722841717572351, "math": 0.3194814726996295, "orca": 0.21690109310035738, "sharegpt": 0.191333262442778}, "new_prob_map": {"code": 0.2736675593567714, "math": 0.3204557297882405, "orca": 0.21683951539994323, "sharegpt": 0.18903719545504494}, "sim": [[0.12571141493055557, 0.12577790367081548, 0.12564886676249173, 0.1256420827826318], [0.12577790367081548, 0.12634154987995758, 0.12599165116469266, 0.12587112686965984], [0.12564886676249173, 0.12599165116469266, 0.1268617978511225, 0.1266110307265288], [0.1256420827826318, 0.12587112686965984, 0.1266110307265288, 0.12645934080435833]], "name2load": {"code": [0.1420486111111111, 0.12375, 0.12586805555555555, 0.11027777777777778, 0.1209375, 0.1255902777777778, 0.13534722222222223, 0.11618055555555556], "orca": [0.158450816281068, 0.11044457881169843, 0.1288864844222385, 0.12737485281481717, 0.11128791012952295, 0.13451930114884, 0.11695255067943862, 0.11208350571237627], "math": [0.15245732277266685, 0.10923894327741426, 0.11674128007084172, 0.11378954100457518, 0.12471097554976139, 0.12257096472671815, 0.13673931224479755, 0.12375166035322477], "sharegpt": [0.15234674522781388, 0.11115258888575005, 0.13157310625933252, 0.12223556237136286, 0.11503692642963802, 0.13709693692239397, 0.11942067880059731, 0.11113745510311152]}}
{"step": 1100, "old_prob_map": {"code": 0.2722841717572351, "math": 0.3194814726996295, "orca": 0.21690109310035738, "sharegpt": 0.191333262442778}, "new_prob_map": {"code": 0.2736675593567714, "math": 0.3204557297882405, "orca": 0.21683951539994323, "sharegpt": 0.18903719545504494}, "sim": [[0.12571141493055557, 0.12577790367081548, 0.12564886676249173, 0.1256420827826318], [0.12577790367081548, 0.12634154987995758, 0.12599165116469266, 0.12587112686965984], [0.12564886676249173, 0.12599165116469266, 0.1268617978511225, 0.1266110307265288], [0.1256420827826318, 0.12587112686965984, 0.1266110307265288, 0.12645934080435833]], "name2load": {"code": [0.1420486111111111, 0.12375, 0.12586805555555555, 0.11027777777777778, 0.1209375, 0.1255902777777778, 0.13534722222222223, 0.11618055555555556], "orca": [0.158450816281068, 0.11044457881169843, 0.1288864844222385, 0.12737485281481717, 0.11128791012952295, 0.13451930114884, 0.11695255067943862, 0.11208350571237627], "math": [0.15245732277266685, 0.10923894327741426, 0.11674128007084172, 0.11378954100457518, 0.12471097554976139, 0.12257096472671815, 0.13673931224479755, 0.12375166035322477], "sharegpt": [0.15234674522781388, 0.11115258888575005, 0.13157310625933252, 0.12223556237136286, 0.11503692642963802, 0.13709693692239397, 0.11942067880059731, 0.11113745510311152]}}
{"step": 1100, "old_prob_map": {"code": 0.2722841717572351, "math": 0.3194814726996295, "orca": 0.21690109310035738, "sharegpt": 0.191333262442778}, "new_prob_map": {"code": 0.2736675593567714, "math": 0.3204557297882405, "orca": 0.21683951539994323, "sharegpt": 0.18903719545504494}, "sim": [[0.12571141493055557, 0.12577790367081548, 0.12564886676249173, 0.1256420827826318], [0.12577790367081548, 0.12634154987995758, 0.12599165116469266, 0.12587112686965984], [0.12564886676249173, 0.12599165116469266, 0.1268617978511225, 0.1266110307265288], [0.1256420827826318, 0.12587112686965984, 0.1266110307265288, 0.12645934080435833]], "name2load": {"code": [0.1420486111111111, 0.12375, 0.12586805555555555, 0.11027777777777778, 0.1209375, 0.1255902777777778, 0.13534722222222223, 0.11618055555555556], "orca": [0.158450816281068, 0.11044457881169843, 0.1288864844222385, 0.12737485281481717, 0.11128791012952295, 0.13451930114884, 0.11695255067943862, 0.11208350571237627], "math": [0.15245732277266685, 0.10923894327741426, 0.11674128007084172, 0.11378954100457518, 0.12471097554976139, 0.12257096472671815, 0.13673931224479755, 0.12375166035322477], "sharegpt": [0.15234674522781388, 0.11115258888575005, 0.13157310625933252, 0.12223556237136286, 0.11503692642963802, 0.13709693692239397, 0.11942067880059731, 0.11113745510311152]}}
{"step": 1200, "old_prob_map": {"code": 0.2736675593567714, "math": 0.3204557297882405, "orca": 0.21683951539994323, "sharegpt": 0.18903719545504494}, "new_prob_map": {"code": 0.27580974388598356, "math": 0.3222952911181522, "orca": 0.21566611167128363, "sharegpt": 0.1862288533245807}, "sim": [[0.12588290171682098, 0.1261328801867248, 0.1257449084092685, 0.1257601303158813], [0.1261328801867248, 0.12701436399988345, 0.12633952452114355, 0.12623899298926336], [0.1257449084092685, 0.12633952452114355, 0.126932493771256, 0.12671202848577792], [0.1257601303158813, 0.12623899298926336, 0.12671202848577792, 0.12658558590218905]], "name2load": {"code": [0.14434027777777778, 0.12267361111111111, 0.12274305555555555, 0.10788194444444445, 0.12180555555555556, 0.1282986111111111, 0.13565972222222222, 0.11659722222222223], "orca": [0.15932597142220664, 0.10999904528530056, 0.129013779715495, 0.1276453553129873, 0.10996722146198644, 0.13369188174267257, 0.11758902714572128, 0.11276771791363015], "math": [0.15981207261278105, 0.10670536724553549, 0.11440448664338072, 0.11076400846165199, 0.12382545382988143, 0.12453879077089586, 0.13710827962808086, 0.12284154080779258], "sharegpt": [0.15416784373864967, 0.10968461196981318, 0.13148230356350138, 0.12223051777715002, 0.11419447919609348, 0.13658238831268416, 0.11979397877234756, 0.1118638766697607]}}
{"step": 1200, "old_prob_map": {"code": 0.2736675593567714, "math": 0.3204557297882405, "orca": 0.21683951539994323, "sharegpt": 0.18903719545504494}, "new_prob_map": {"code": 0.27580974388598356, "math": 0.3222952911181522, "orca": 0.21566611167128363, "sharegpt": 0.1862288533245807}, "sim": [[0.12588290171682098, 0.1261328801867248, 0.1257449084092685, 0.1257601303158813], [0.1261328801867248, 0.12701436399988345, 0.12633952452114355, 0.12623899298926336], [0.1257449084092685, 0.12633952452114355, 0.126932493771256, 0.12671202848577792], [0.1257601303158813, 0.12623899298926336, 0.12671202848577792, 0.12658558590218905]], "name2load": {"code": [0.14434027777777778, 0.12267361111111111, 0.12274305555555555, 0.10788194444444445, 0.12180555555555556, 0.1282986111111111, 0.13565972222222222, 0.11659722222222223], "orca": [0.15932597142220664, 0.10999904528530056, 0.129013779715495, 0.1276453553129873, 0.10996722146198644, 0.13369188174267257, 0.11758902714572128, 0.11276771791363015], "math": [0.15981207261278105, 0.10670536724553549, 0.11440448664338072, 0.11076400846165199, 0.12382545382988143, 0.12453879077089586, 0.13710827962808086, 0.12284154080779258], "sharegpt": [0.15416784373864967, 0.10968461196981318, 0.13148230356350138, 0.12223051777715002, 0.11419447919609348, 0.13658238831268416, 0.11979397877234756, 0.1118638766697607]}}
{"step": 1200, "old_prob_map": {"code": 0.2736675593567714, "math": 0.3204557297882405, "orca": 0.21683951539994323, "sharegpt": 0.18903719545504494}, "new_prob_map": {"code": 0.27580974388598356, "math": 0.3222952911181522, "orca": 0.21566611167128363, "sharegpt": 0.1862288533245807}, "sim": [[0.12588290171682098, 0.1261328801867248, 0.1257449084092685, 0.1257601303158813], [0.1261328801867248, 0.12701436399988345, 0.12633952452114355, 0.12623899298926336], [0.1257449084092685, 0.12633952452114355, 0.126932493771256, 0.12671202848577792], [0.1257601303158813, 0.12623899298926336, 0.12671202848577792, 0.12658558590218905]], "name2load": {"code": [0.14434027777777778, 0.12267361111111111, 0.12274305555555555, 0.10788194444444445, 0.12180555555555556, 0.1282986111111111, 0.13565972222222222, 0.11659722222222223], "orca": [0.15932597142220664, 0.10999904528530056, 0.129013779715495, 0.1276453553129873, 0.10996722146198644, 0.13369188174267257, 0.11758902714572128, 0.11276771791363015], "math": [0.15981207261278105, 0.10670536724553549, 0.11440448664338072, 0.11076400846165199, 0.12382545382988143, 0.12453879077089586, 0.13710827962808086, 0.12284154080779258], "sharegpt": [0.15416784373864967, 0.10968461196981318, 0.13148230356350138, 0.12223051777715002, 0.11419447919609348, 0.13658238831268416, 0.11979397877234756, 0.1118638766697607]}}
{"step": 1300, "old_prob_map": {"code": 0.27580974388598356, "math": 0.3222952911181522, "orca": 0.21566611167128363, "sharegpt": 0.1862288533245807}, "new_prob_map": {"code": 0.27666332592621296, "math": 0.32285034883570185, "orca": 0.2155287691198032, "sharegpt": 0.184957556118282}, "sim": [[0.12582070071373458, 0.12591443526808896, 0.1257385115997836, 0.12572414519351066], [0.12591443526808896, 0.1264367622335894, 0.12607809581270985, 0.12593663363183027], [0.1257385115997836, 0.12607809581270985, 0.1268740739697077, 0.12664481223383642], [0.12572414519351066, 0.12593663363183027, 0.12664481223383642, 0.12650471527925894]], "name2load": {"code": [0.14350694444444445, 0.12170138888888889, 0.12128472222222222, 0.10913194444444445, 0.12020833333333333, 0.13041666666666668, 0.1353125, 0.1184375], "orca": [0.1590713808356936, 0.11033319543009897, 0.1284886866308118, 0.128059065016071, 0.11139929351112242, 0.13307131718804696, 0.11777997008560609, 0.11179709130254908], "math": [0.15393319230580013, 0.11059182368278643, 0.11189550843705415, 0.1153146061888129, 0.12343188862104588, 0.12493235597973137, 0.13607517095488758, 0.12382545382988142], "sharegpt": [0.15327999515718954, 0.11059263892812463, 0.13096271035957865, 0.12303765285120465, 0.1143205940514145, 0.13666814641430242, 0.1194358125832358, 0.11170244965494976]}}
{"step": 1300, "old_prob_map": {"code": 0.27580974388598356, "math": 0.3222952911181522, "orca": 0.21566611167128363, "sharegpt": 0.1862288533245807}, "new_prob_map": {"code": 0.27666332592621296, "math": 0.32285034883570185, "orca": 0.2155287691198032, "sharegpt": 0.184957556118282}, "sim": [[0.12582070071373458, 0.12591443526808896, 0.1257385115997836, 0.12572414519351066], [0.12591443526808896, 0.1264367622335894, 0.12607809581270985, 0.12593663363183027], [0.1257385115997836, 0.12607809581270985, 0.1268740739697077, 0.12664481223383642], [0.12572414519351066, 0.12593663363183027, 0.12664481223383642, 0.12650471527925894]], "name2load": {"code": [0.14350694444444445, 0.12170138888888889, 0.12128472222222222, 0.10913194444444445, 0.12020833333333333, 0.13041666666666668, 0.1353125, 0.1184375], "orca": [0.1590713808356936, 0.11033319543009897, 0.1284886866308118, 0.128059065016071, 0.11139929351112242, 0.13307131718804696, 0.11777997008560609, 0.11179709130254908], "math": [0.15393319230580013, 0.11059182368278643, 0.11189550843705415, 0.1153146061888129, 0.12343188862104588, 0.12493235597973137, 0.13607517095488758, 0.12382545382988142], "sharegpt": [0.15327999515718954, 0.11059263892812463, 0.13096271035957865, 0.12303765285120465, 0.1143205940514145, 0.13666814641430242, 0.1194358125832358, 0.11170244965494976]}}
{"step": 1300, "old_prob_map": {"code": 0.27580974388598356, "math": 0.3222952911181522, "orca": 0.21566611167128363, "sharegpt": 0.1862288533245807}, "new_prob_map": {"code": 0.27666332592621296, "math": 0.32285034883570185, "orca": 0.2155287691198032, "sharegpt": 0.184957556118282}, "sim": [[0.12582070071373458, 0.12591443526808896, 0.1257385115997836, 0.12572414519351066], [0.12591443526808896, 0.1264367622335894, 0.12607809581270985, 0.12593663363183027], [0.1257385115997836, 0.12607809581270985, 0.1268740739697077, 0.12664481223383642], [0.12572414519351066, 0.12593663363183027, 0.12664481223383642, 0.12650471527925894]], "name2load": {"code": [0.14350694444444445, 0.12170138888888889, 0.12128472222222222, 0.10913194444444445, 0.12020833333333333, 0.13041666666666668, 0.1353125, 0.1184375], "orca": [0.1590713808356936, 0.11033319543009897, 0.1284886866308118, 0.128059065016071, 0.11139929351112242, 0.13307131718804696, 0.11777997008560609, 0.11179709130254908], "math": [0.15393319230580013, 0.11059182368278643, 0.11189550843705415, 0.1153146061888129, 0.12343188862104588, 0.12493235597973137, 0.13607517095488758, 0.12382545382988142], "sharegpt": [0.15327999515718954, 0.11059263892812463, 0.13096271035957865, 0.12303765285120465, 0.1143205940514145, 0.13666814641430242, 0.1194358125832358, 0.11170244965494976]}}
{"step": 1400, "old_prob_map": {"code": 0.27666332592621296, "math": 0.32285034883570185, "orca": 0.2155287691198032, "sharegpt": 0.184957556118282}, "new_prob_map": {"code": 0.2779217751998221, "math": 0.3233091416247052, "orca": 0.21481783112919145, "sharegpt": 0.18395125204628138}, "sim": [[0.1258207561728395, 0.12601849431926887, 0.1256774280914192, 0.12570311536622633], [0.12601849431926887, 0.12665956090784278, 0.1261289811308243, 0.12604632036294167], [0.1256774280914192, 0.1261289811308243, 0.12685240757999092, 0.126695717235162], [0.12570311536622633, 0.12604632036294167, 0.126695717235162, 0.12662251517588774]], "name2load": {"code": [0.14270833333333333, 0.11940972222222221, 0.1225, 0.1076388888888889, 0.12232638888888889, 0.1287847222222222, 0.13621527777777778, 0.12041666666666667], "orca": [0.1590236451007224, 0.10963307131718804, 0.12936384177195048, 0.12710435031664702, 0.11149476498106482, 0.13260987174999203, 0.11762085096903542, 0.11314960379339974], "math": [0.15526147488562014, 0.10781226939538546, 0.11310080188911302, 0.11105918236827865, 0.12473557337531364, 0.12606385595513359, 0.13543562749052984, 0.12653121464062578], "sharegpt": [0.15414766536179828, 0.10903385931635659, 0.1319363170426571, 0.12240203398038661, 0.11416421163081641, 0.13701622341498848, 0.11928951935106338, 0.11201016990193309]}}
{"step": 1400, "old_prob_map": {"code": 0.27666332592621296, "math": 0.32285034883570185, "orca": 0.2155287691198032, "sharegpt": 0.184957556118282}, "new_prob_map": {"code": 0.2779217751998221, "math": 0.3233091416247052, "orca": 0.21481783112919145, "sharegpt": 0.18395125204628138}, "sim": [[0.1258207561728395, 0.12601849431926887, 0.1256774280914192, 0.12570311536622633], [0.12601849431926887, 0.12665956090784278, 0.1261289811308243, 0.12604632036294167], [0.1256774280914192, 0.1261289811308243, 0.12685240757999092, 0.126695717235162], [0.12570311536622633, 0.12604632036294167, 0.126695717235162, 0.12662251517588774]], "name2load": {"code": [0.14270833333333333, 0.11940972222222221, 0.1225, 0.1076388888888889, 0.12232638888888889, 0.1287847222222222, 0.13621527777777778, 0.12041666666666667], "orca": [0.1590236451007224, 0.10963307131718804, 0.12936384177195048, 0.12710435031664702, 0.11149476498106482, 0.13260987174999203, 0.11762085096903542, 0.11314960379339974], "math": [0.15526147488562014, 0.10781226939538546, 0.11310080188911302, 0.11105918236827865, 0.12473557337531364, 0.12606385595513359, 0.13543562749052984, 0.12653121464062578], "sharegpt": [0.15414766536179828, 0.10903385931635659, 0.1319363170426571, 0.12240203398038661, 0.11416421163081641, 0.13701622341498848, 0.11928951935106338, 0.11201016990193309]}}
{"step": 1400, "old_prob_map": {"code": 0.27666332592621296, "math": 0.32285034883570185, "orca": 0.2155287691198032, "sharegpt": 0.184957556118282}, "new_prob_map": {"code": 0.2779217751998221, "math": 0.3233091416247052, "orca": 0.21481783112919145, "sharegpt": 0.18395125204628138}, "sim": [[0.1258207561728395, 0.12601849431926887, 0.1256774280914192, 0.12570311536622633], [0.12601849431926887, 0.12665956090784278, 0.1261289811308243, 0.12604632036294167], [0.1256774280914192, 0.1261289811308243, 0.12685240757999092, 0.126695717235162], [0.12570311536622633, 0.12604632036294167, 0.126695717235162, 0.12662251517588774]], "name2load": {"code": [0.14270833333333333, 0.11940972222222221, 0.1225, 0.1076388888888889, 0.12232638888888889, 0.1287847222222222, 0.13621527777777778, 0.12041666666666667], "orca": [0.1590236451007224, 0.10963307131718804, 0.12936384177195048, 0.12710435031664702, 0.11149476498106482, 0.13260987174999203, 0.11762085096903542, 0.11314960379339974], "math": [0.15526147488562014, 0.10781226939538546, 0.11310080188911302, 0.11105918236827865, 0.12473557337531364, 0.12606385595513359, 0.13543562749052984, 0.12653121464062578], "sharegpt": [0.15414766536179828, 0.10903385931635659, 0.1319363170426571, 0.12240203398038661, 0.11416421163081641, 0.13701622341498848, 0.11928951935106338, 0.11201016990193309]}}
{"step": 1500, "old_prob_map": {"code": 0.2779217751998221, "math": 0.3233091416247052, "orca": 0.21481783112919145, "sharegpt": 0.18395125204628138}, "new_prob_map": {"code": 0.2794000506707779, "math": 0.32403823816235056, "orca": 0.2141558894834887, "sharegpt": 0.18240582168338285}, "sim": [[0.12583274016203705, 0.12605009740055645, 0.12582082701276845, 0.12585137441370606], [0.12605009740055645, 0.1267408267893199, 0.12630800638000103, 0.12623558657906186], [0.12582082701276845, 0.12630800638000103, 0.12691902867744342, 0.1267594364818609], [0.12585137441370606, 0.12623558657906186, 0.1267594364818609, 0.1266761751407769]], "name2load": {"code": [0.14378472222222222, 0.1182986111111111, 0.12659722222222222, 0.10895833333333334, 0.12434027777777779, 0.12802083333333333, 0.13409722222222223, 0.11590277777777779], "orca": [0.1595010024504344, 0.10934665690736085, 0.1295547847118353, 0.12653152149699265, 0.1111765267479235, 0.1331986124813035, 0.11816185596537568, 0.11252903923877415], "math": [0.15666355094209672, 0.10655778029222217, 0.11602794312982732, 0.11118217149603976, 0.12367786687656812, 0.127219953756088, 0.1357553992227087, 0.12291533428444926], "sharegpt": [0.15482868558053192, 0.10909943904112354, 0.13166390895516367, 0.12214980426974456, 0.11431050486298884, 0.13694559909600873, 0.12017232333831067, 0.1108297348561282]}}
{"step": 1500, "old_prob_map": {"code": 0.2779217751998221, "math": 0.3233091416247052, "orca": 0.21481783112919145, "sharegpt": 0.18395125204628138}, "new_prob_map": {"code": 0.2794000506707779, "math": 0.32403823816235056, "orca": 0.2141558894834887, "sharegpt": 0.18240582168338285}, "sim": [[0.12583274016203705, 0.12605009740055645, 0.12582082701276845, 0.12585137441370606], [0.12605009740055645, 0.1267408267893199, 0.12630800638000103, 0.12623558657906186], [0.12582082701276845, 0.12630800638000103, 0.12691902867744342, 0.1267594364818609], [0.12585137441370606, 0.12623558657906186, 0.1267594364818609, 0.1266761751407769]], "name2load": {"code": [0.14378472222222222, 0.1182986111111111, 0.12659722222222222, 0.10895833333333334, 0.12434027777777779, 0.12802083333333333, 0.13409722222222223, 0.11590277777777779], "orca": [0.1595010024504344, 0.10934665690736085, 0.1295547847118353, 0.12653152149699265, 0.1111765267479235, 0.1331986124813035, 0.11816185596537568, 0.11252903923877415], "math": [0.15666355094209672, 0.10655778029222217, 0.11602794312982732, 0.11118217149603976, 0.12367786687656812, 0.127219953756088, 0.1357553992227087, 0.12291533428444926], "sharegpt": [0.15482868558053192, 0.10909943904112354, 0.13166390895516367, 0.12214980426974456, 0.11431050486298884, 0.13694559909600873, 0.12017232333831067, 0.1108297348561282]}}
{"step": 1500, "old_prob_map": {"code": 0.2779217751998221, "math": 0.3233091416247052, "orca": 0.21481783112919145, "sharegpt": 0.18395125204628138}, "new_prob_map": {"code": 0.2794000506707779, "math": 0.32403823816235056, "orca": 0.2141558894834887, "sharegpt": 0.18240582168338285}, "sim": [[0.12583274016203705, 0.12605009740055645, 0.12582082701276845, 0.12585137441370606], [0.12605009740055645, 0.1267408267893199, 0.12630800638000103, 0.12623558657906186], [0.12582082701276845, 0.12630800638000103, 0.12691902867744342, 0.1267594364818609], [0.12585137441370606, 0.12623558657906186, 0.1267594364818609, 0.1266761751407769]], "name2load": {"code": [0.14378472222222222, 0.1182986111111111, 0.12659722222222222, 0.10895833333333334, 0.12434027777777779, 0.12802083333333333, 0.13409722222222223, 0.11590277777777779], "orca": [0.1595010024504344, 0.10934665690736085, 0.1295547847118353, 0.12653152149699265, 0.1111765267479235, 0.1331986124813035, 0.11816185596537568, 0.11252903923877415], "math": [0.15666355094209672, 0.10655778029222217, 0.11602794312982732, 0.11118217149603976, 0.12367786687656812, 0.127219953756088, 0.1357553992227087, 0.12291533428444926], "sharegpt": [0.15482868558053192, 0.10909943904112354, 0.13166390895516367, 0.12214980426974456, 0.11431050486298884, 0.13694559909600873, 0.12017232333831067, 0.1108297348561282]}}
{"step": 1600, "old_prob_map": {"code": 0.2794000506707779, "math": 0.32403823816235056, "orca": 0.2141558894834887, "sharegpt": 0.18240582168338285}, "new_prob_map": {"code": 0.2804732627789791, "math": 0.3241530780111496, "orca": 0.21407924627956532, "sharegpt": 0.18129441293030601}, "sim": [[0.12593104021990742, 0.12613996914339437, 0.12578566997546028, 0.12582446745900427], [0.12613996914339437, 0.1267514866134596, 0.1262219844422851, 0.12617636192126522], [0.12578566997546028, 0.1262219844422851, 0.12686584735491024, 0.12671370049191125], [0.12582446745900427, 0.12617636192126522, 0.12671370049191125, 0.1266354352939243]], "name2load": {"code": [0.14371527777777776, 0.11833333333333333, 0.12493055555555556, 0.10666666666666666, 0.12430555555555556, 0.12975694444444444, 0.1354861111111111, 0.11680555555555555], "orca": [0.15848264010438212, 0.10853514941285046, 0.1307640899977723, 0.12614963561722303, 0.11184482703752027, 0.13342137924450242, 0.11773223435063487, 0.11307004423511441], "math": [0.15486790967678457, 0.10518030206129778, 0.11784818222069168, 0.10872238894081762, 0.1250799429330447, 0.12795788852265458, 0.13681310572145422, 0.12353027992325477], "sharegpt": [0.15386012349166633, 0.10845373098187981, 0.13279894265305298, 0.12157472052948061, 0.11488558860325275, 0.13725331934299206, 0.1192289842205093, 0.11194459017716614]}}
{"step": 1600, "old_prob_map": {"code": 0.2794000506707779, "math": 0.32403823816235056, "orca": 0.2141558894834887, "sharegpt": 0.18240582168338285}, "new_prob_map": {"code": 0.2804732627789791, "math": 0.3241530780111496, "orca": 0.21407924627956532, "sharegpt": 0.18129441293030601}, "sim": [[0.12593104021990742, 0.12613996914339437, 0.12578566997546028, 0.12582446745900427], [0.12613996914339437, 0.1267514866134596, 0.1262219844422851, 0.12617636192126522], [0.12578566997546028, 0.1262219844422851, 0.12686584735491024, 0.12671370049191125], [0.12582446745900427, 0.12617636192126522, 0.12671370049191125, 0.1266354352939243]], "name2load": {"code": [0.14371527777777776, 0.11833333333333333, 0.12493055555555556, 0.10666666666666666, 0.12430555555555556, 0.12975694444444444, 0.1354861111111111, 0.11680555555555555], "orca": [0.15848264010438212, 0.10853514941285046, 0.1307640899977723, 0.12614963561722303, 0.11184482703752027, 0.13342137924450242, 0.11773223435063487, 0.11307004423511441], "math": [0.15486790967678457, 0.10518030206129778, 0.11784818222069168, 0.10872238894081762, 0.1250799429330447, 0.12795788852265458, 0.13681310572145422, 0.12353027992325477], "sharegpt": [0.15386012349166633, 0.10845373098187981, 0.13279894265305298, 0.12157472052948061, 0.11488558860325275, 0.13725331934299206, 0.1192289842205093, 0.11194459017716614]}}
{"step": 1600, "old_prob_map": {"code": 0.2794000506707779, "math": 0.32403823816235056, "orca": 0.2141558894834887, "sharegpt": 0.18240582168338285}, "new_prob_map": {"code": 0.2804732627789791, "math": 0.3241530780111496, "orca": 0.21407924627956532, "sharegpt": 0.18129441293030601}, "sim": [[0.12593104021990742, 0.12613996914339437, 0.12578566997546028, 0.12582446745900427], [0.12613996914339437, 0.1267514866134596, 0.1262219844422851, 0.12617636192126522], [0.12578566997546028, 0.1262219844422851, 0.12686584735491024, 0.12671370049191125], [0.12582446745900427, 0.12617636192126522, 0.12671370049191125, 0.1266354352939243]], "name2load": {"code": [0.14371527777777776, 0.11833333333333333, 0.12493055555555556, 0.10666666666666666, 0.12430555555555556, 0.12975694444444444, 0.1354861111111111, 0.11680555555555555], "orca": [0.15848264010438212, 0.10853514941285046, 0.1307640899977723, 0.12614963561722303, 0.11184482703752027, 0.13342137924450242, 0.11773223435063487, 0.11307004423511441], "math": [0.15486790967678457, 0.10518030206129778, 0.11784818222069168, 0.10872238894081762, 0.1250799429330447, 0.12795788852265458, 0.13681310572145422, 0.12353027992325477], "sharegpt": [0.15386012349166633, 0.10845373098187981, 0.13279894265305298, 0.12157472052948061, 0.11488558860325275, 0.13725331934299206, 0.1192289842205093, 0.11194459017716614]}}
{"step": 1700, "old_prob_map": {"code": 0.2804732627789791, "math": 0.3241530780111496, "orca": 0.21407924627956532, "sharegpt": 0.18129441293030601}, "new_prob_map": {"code": 0.2813282261479211, "math": 0.32312641954300747, "orca": 0.21468698073291553, "sharegpt": 0.180858373576156}, "sim": [[0.1259065369405864, 0.126133320897766, 0.12580441674887824, 0.12582797783097024], [0.126133320897766, 0.12669842951396948, 0.126244217829939, 0.12618712353198738], [0.12580441674887824, 0.126244217829939, 0.1268750365940294, 0.12670858269224505], [0.12582797783097024, 0.12618712353198738, 0.12670858269224505, 0.1266261001785833]], "name2load": {"code": [0.14402777777777778, 0.11847222222222221, 0.12458333333333334, 0.10750000000000001, 0.12350694444444445, 0.1295138888888889, 0.13541666666666666, 0.11697916666666666], "orca": [0.15884861407249468, 0.10874200426439233, 0.1294593132418929, 0.12602234032396653, 0.11192438659580563, 0.1341055914457563, 0.11741399611749356, 0.11348375393819815], "math": [0.1546465292468146, 0.10621341073449109, 0.11816795395287057, 0.1085502041619521, 0.12471097554976142, 0.12891720371919124, 0.1362965513848576, 0.1224971712500615], "sharegpt": [0.15373400863634532, 0.10872613906937328, 0.13202711973848824, 0.121403204326244, 0.11506214940070222, 0.13804027604019536, 0.11897675450986725, 0.11203034827878448]}}
{"step": 1700, "old_prob_map": {"code": 0.2804732627789791, "math": 0.3241530780111496, "orca": 0.21407924627956532, "sharegpt": 0.18129441293030601}, "new_prob_map": {"code": 0.2813282261479211, "math": 0.32312641954300747, "orca": 0.21468698073291553, "sharegpt": 0.180858373576156}, "sim": [[0.1259065369405864, 0.126133320897766, 0.12580441674887824, 0.12582797783097024], [0.126133320897766, 0.12669842951396948, 0.126244217829939, 0.12618712353198738], [0.12580441674887824, 0.126244217829939, 0.1268750365940294, 0.12670858269224505], [0.12582797783097024, 0.12618712353198738, 0.12670858269224505, 0.1266261001785833]], "name2load": {"code": [0.14402777777777778, 0.11847222222222221, 0.12458333333333334, 0.10750000000000001, 0.12350694444444445, 0.1295138888888889, 0.13541666666666666, 0.11697916666666666], "orca": [0.15884861407249468, 0.10874200426439233, 0.1294593132418929, 0.12602234032396653, 0.11192438659580563, 0.1341055914457563, 0.11741399611749356, 0.11348375393819815], "math": [0.1546465292468146, 0.10621341073449109, 0.11816795395287057, 0.1085502041619521, 0.12471097554976142, 0.12891720371919124, 0.1362965513848576, 0.1224971712500615], "sharegpt": [0.15373400863634532, 0.10872613906937328, 0.13202711973848824, 0.121403204326244, 0.11506214940070222, 0.13804027604019536, 0.11897675450986725, 0.11203034827878448]}}
{"step": 1700, "old_prob_map": {"code": 0.2804732627789791, "math": 0.3241530780111496, "orca": 0.21407924627956532, "sharegpt": 0.18129441293030601}, "new_prob_map": {"code": 0.2813282261479211, "math": 0.32312641954300747, "orca": 0.21468698073291553, "sharegpt": 0.180858373576156}, "sim": [[0.1259065369405864, 0.126133320897766, 0.12580441674887824, 0.12582797783097024], [0.126133320897766, 0.12669842951396948, 0.126244217829939, 0.12618712353198738], [0.12580441674887824, 0.126244217829939, 0.1268750365940294, 0.12670858269224505], [0.12582797783097024, 0.12618712353198738, 0.12670858269224505, 0.1266261001785833]], "name2load": {"code": [0.14402777777777778, 0.11847222222222221, 0.12458333333333334, 0.10750000000000001, 0.12350694444444445, 0.1295138888888889, 0.13541666666666666, 0.11697916666666666], "orca": [0.15884861407249468, 0.10874200426439233, 0.1294593132418929, 0.12602234032396653, 0.11192438659580563, 0.1341055914457563, 0.11741399611749356, 0.11348375393819815], "math": [0.1546465292468146, 0.10621341073449109, 0.11816795395287057, 0.1085502041619521, 0.12471097554976142, 0.12891720371919124, 0.1362965513848576, 0.1224971712500615], "sharegpt": [0.15373400863634532, 0.10872613906937328, 0.13202711973848824, 0.121403204326244, 0.11506214940070222, 0.13804027604019536, 0.11897675450986725, 0.11203034827878448]}}
{"step": 1800, "old_prob_map": {"code": 0.2813282261479211, "math": 0.32312641954300747, "orca": 0.21468698073291553, "sharegpt": 0.180858373576156}, "new_prob_map": {"code": 0.282973176307897, "math": 0.3216829267748556, "orca": 0.21494254071910104, "sharegpt": 0.18040135619814648}, "sim": [[0.1259092978395062, 0.1261164543054394, 0.12576030318379672, 0.1258058630656111], [0.1261164543054394, 0.1266795881628676, 0.12622637671543455, 0.12617597886763374], [0.12576030318379672, 0.12622637671543455, 0.12683592295496837, 0.126692137071093], [0.1258058630656111, 0.12617597886763374, 0.126692137071093, 0.12662839604000165]], "name2load": {"code": [0.14326388888888889, 0.11875, 0.1238888888888889, 0.10666666666666666, 0.12399305555555556, 0.1305902777777778, 0.13545138888888889, 0.11739583333333334], "orca": [0.15853037583935334, 0.108662444706107, 0.1288864844222385, 0.12602234032396653, 0.11216306527066162, 0.13428062247398403, 0.11741399611749356, 0.11404067084619549], "math": [0.1546465292468146, 0.10660697594332662, 0.11784818222069171, 0.10827962808087765, 0.12463718207310474, 0.1288680080680868, 0.13568160574605206, 0.12343188862104591], "sharegpt": [0.1538954356511562, 0.10891278905524839, 0.13152770491141694, 0.12142338270309536, 0.11505710480648937, 0.13823197062028328, 0.11893135316195165, 0.11202025909035876]}}
{"step": 1800, "old_prob_map": {"code": 0.2813282261479211, "math": 0.32312641954300747, "orca": 0.21468698073291553, "sharegpt": 0.180858373576156}, "new_prob_map": {"code": 0.282973176307897, "math": 0.3216829267748556, "orca": 0.21494254071910104, "sharegpt": 0.18040135619814648}, "sim": [[0.1259092978395062, 0.1261164543054394, 0.12576030318379672, 0.1258058630656111], [0.1261164543054394, 0.1266795881628676, 0.12622637671543455, 0.12617597886763374], [0.12576030318379672, 0.12622637671543455, 0.12683592295496837, 0.126692137071093], [0.1258058630656111, 0.12617597886763374, 0.126692137071093, 0.12662839604000165]], "name2load": {"code": [0.14326388888888889, 0.11875, 0.1238888888888889, 0.10666666666666666, 0.12399305555555556, 0.1305902777777778, 0.13545138888888889, 0.11739583333333334], "orca": [0.15853037583935334, 0.108662444706107, 0.1288864844222385, 0.12602234032396653, 0.11216306527066162, 0.13428062247398403, 0.11741399611749356, 0.11404067084619549], "math": [0.1546465292468146, 0.10660697594332662, 0.11784818222069171, 0.10827962808087765, 0.12463718207310474, 0.1288680080680868, 0.13568160574605206, 0.12343188862104591], "sharegpt": [0.1538954356511562, 0.10891278905524839, 0.13152770491141694, 0.12142338270309536, 0.11505710480648937, 0.13823197062028328, 0.11893135316195165, 0.11202025909035876]}}
{"step": 1800, "old_prob_map": {"code": 0.2813282261479211, "math": 0.32312641954300747, "orca": 0.21468698073291553, "sharegpt": 0.180858373576156}, "new_prob_map": {"code": 0.282973176307897, "math": 0.3216829267748556, "orca": 0.21494254071910104, "sharegpt": 0.18040135619814648}, "sim": [[0.1259092978395062, 0.1261164543054394, 0.12576030318379672, 0.1258058630656111], [0.1261164543054394, 0.1266795881628676, 0.12622637671543455, 0.12617597886763374], [0.12576030318379672, 0.12622637671543455, 0.12683592295496837, 0.126692137071093], [0.1258058630656111, 0.12617597886763374, 0.126692137071093, 0.12662839604000165]], "name2load": {"code": [0.14326388888888889, 0.11875, 0.1238888888888889, 0.10666666666666666, 0.12399305555555556, 0.1305902777777778, 0.13545138888888889, 0.11739583333333334], "orca": [0.15853037583935334, 0.108662444706107, 0.1288864844222385, 0.12602234032396653, 0.11216306527066162, 0.13428062247398403, 0.11741399611749356, 0.11404067084619549], "math": [0.1546465292468146, 0.10660697594332662, 0.11784818222069171, 0.10827962808087765, 0.12463718207310474, 0.1288680080680868, 0.13568160574605206, 0.12343188862104591], "sharegpt": [0.1538954356511562, 0.10891278905524839, 0.13152770491141694, 0.12142338270309536, 0.11505710480648937, 0.13823197062028328, 0.11893135316195165, 0.11202025909035876]}}
{"step": 1900, "old_prob_map": {"code": 0.282973176307897, "math": 0.3216829267748556, "orca": 0.21494254071910104, "sharegpt": 0.18040135619814648}, "new_prob_map": {"code": 0.28506630267298727, "math": 0.32022976576466383, "orca": 0.21494599194174854, "sharegpt": 0.17975793962060052}, "sim": [[0.1259095100308642, 0.12610713531673798, 0.12573655355065466, 0.12578400070512216], [0.12610713531673798, 0.12669060012786607, 0.12622065525322654, 0.12617461950497313], [0.12573655355065466, 0.12622065525322654, 0.12681874560502623, 0.12667662506027874], [0.12578400070512216, 0.12617461950497313, 0.12667662506027874, 0.12661365756551973]], "name2load": {"code": [0.14274305555555555, 0.11902777777777779, 0.1240625, 0.10652777777777778, 0.12375, 0.130625, 0.13607638888888887, 0.1171875], "orca": [0.15827578525284028, 0.10906024249753364, 0.1293956655952646, 0.12605416414728066, 0.11170161983260668, 0.13401011997581389, 0.11773223435063487, 0.11377016834802532], "math": [0.1548925075023368, 0.10665617159443104, 0.11755300831406501, 0.10862399763860874, 0.12451419294534362, 0.12881881241698234, 0.13587838835046978, 0.12306292123776257], "sharegpt": [0.15360789378102424, 0.1088421647362686, 0.13162859679567376, 0.12163021106582185, 0.11487045482061423, 0.13820170305500626, 0.11918862746680656, 0.11203034827878446]}}
{"step": 1900, "old_prob_map": {"code": 0.282973176307897, "math": 0.3216829267748556, "orca": 0.21494254071910104, "sharegpt": 0.18040135619814648}, "new_prob_map": {"code": 0.28506630267298727, "math": 0.32022976576466383, "orca": 0.21494599194174854, "sharegpt": 0.17975793962060052}, "sim": [[0.1259095100308642, 0.12610713531673798, 0.12573655355065466, 0.12578400070512216], [0.12610713531673798, 0.12669060012786607, 0.12622065525322654, 0.12617461950497313], [0.12573655355065466, 0.12622065525322654, 0.12681874560502623, 0.12667662506027874], [0.12578400070512216, 0.12617461950497313, 0.12667662506027874, 0.12661365756551973]], "name2load": {"code": [0.14274305555555555, 0.11902777777777779, 0.1240625, 0.10652777777777778, 0.12375, 0.130625, 0.13607638888888887, 0.1171875], "orca": [0.15827578525284028, 0.10906024249753364, 0.1293956655952646, 0.12605416414728066, 0.11170161983260668, 0.13401011997581389, 0.11773223435063487, 0.11377016834802532], "math": [0.1548925075023368, 0.10665617159443104, 0.11755300831406501, 0.10862399763860874, 0.12451419294534362, 0.12881881241698234, 0.13587838835046978, 0.12306292123776257], "sharegpt": [0.15360789378102424, 0.1088421647362686, 0.13162859679567376, 0.12163021106582185, 0.11487045482061423, 0.13820170305500626, 0.11918862746680656, 0.11203034827878446]}}
{"step": 1900, "old_prob_map": {"code": 0.282973176307897, "math": 0.3216829267748556, "orca": 0.21494254071910104, "sharegpt": 0.18040135619814648}, "new_prob_map": {"code": 0.28506630267298727, "math": 0.32022976576466383, "orca": 0.21494599194174854, "sharegpt": 0.17975793962060052}, "sim": [[0.1259095100308642, 0.12610713531673798, 0.12573655355065466, 0.12578400070512216], [0.12610713531673798, 0.12669060012786607, 0.12622065525322654, 0.12617461950497313], [0.12573655355065466, 0.12622065525322654, 0.12681874560502623, 0.12667662506027874], [0.12578400070512216, 0.12617461950497313, 0.12667662506027874, 0.12661365756551973]], "name2load": {"code": [0.14274305555555555, 0.11902777777777779, 0.1240625, 0.10652777777777778, 0.12375, 0.130625, 0.13607638888888887, 0.1171875], "orca": [0.15827578525284028, 0.10906024249753364, 0.1293956655952646, 0.12605416414728066, 0.11170161983260668, 0.13401011997581389, 0.11773223435063487, 0.11377016834802532], "math": [0.1548925075023368, 0.10665617159443104, 0.11755300831406501, 0.10862399763860874, 0.12451419294534362, 0.12881881241698234, 0.13587838835046978, 0.12306292123776257], "sharegpt": [0.15360789378102424, 0.1088421647362686, 0.13162859679567376, 0.12163021106582185, 0.11487045482061423, 0.13820170305500626, 0.11918862746680656, 0.11203034827878446]}}
{"step": 2000, "old_prob_map": {"code": 0.28506630267298727, "math": 0.32022976576466383, "orca": 0.21494599194174854, "sharegpt": 0.17975793962060052}, "new_prob_map": {"code": 0.2867481424046919, "math": 0.31854989012606805, "orca": 0.2152416645459714, "sharegpt": 0.1794603029232688}, "sim": [[0.12588450038580248, 0.12610842670257952, 0.12573015618867284, 0.12577819013832278], [0.12610842670257952, 0.12667020379049795, 0.12621567588243646, 0.1261686910458374], [0.12573015618867284, 0.12621567588243646, 0.12683392023051163, 0.12669522454319626], [0.12577819013832278, 0.1261686910458374, 0.12669522454319626, 0.12663247442717893]], "name2load": {"code": [0.1425, 0.11784722222222221, 0.12364583333333334, 0.10694444444444444, 0.12427083333333333, 0.1305902777777778, 0.13600694444444444, 0.11819444444444444], "orca": [0.15818031378289787, 0.10869426852942113, 0.1293956655952646, 0.1262769309104796, 0.11186073894917735, 0.13436018203226935, 0.11782770582057728, 0.11340419437991281], "math": [0.15474492054902347, 0.10672996507108772, 0.11779898656958725, 0.10882078024302652, 0.12458798642200031, 0.12842524720814683, 0.13602597530378316, 0.12286613863334482], "sharegpt": [0.15376427620162234, 0.10894810121473827, 0.13194640623108275, 0.12141833810888251, 0.11465858186367489, 0.13821683683764477, 0.11906755720569838, 0.11197990233665604]}}
{"step": 2000, "old_prob_map": {"code": 0.28506630267298727, "math": 0.32022976576466383, "orca": 0.21494599194174854, "sharegpt": 0.17975793962060052}, "new_prob_map": {"code": 0.2867481424046919, "math": 0.31854989012606805, "orca": 0.2152416645459714, "sharegpt": 0.1794603029232688}, "sim": [[0.12588450038580248, 0.12610842670257952, 0.12573015618867284, 0.12577819013832278], [0.12610842670257952, 0.12667020379049795, 0.12621567588243646, 0.1261686910458374], [0.12573015618867284, 0.12621567588243646, 0.12683392023051163, 0.12669522454319626], [0.12577819013832278, 0.1261686910458374, 0.12669522454319626, 0.12663247442717893]], "name2load": {"code": [0.1425, 0.11784722222222221, 0.12364583333333334, 0.10694444444444444, 0.12427083333333333, 0.1305902777777778, 0.13600694444444444, 0.11819444444444444], "orca": [0.15818031378289787, 0.10869426852942113, 0.1293956655952646, 0.1262769309104796, 0.11186073894917735, 0.13436018203226935, 0.11782770582057728, 0.11340419437991281], "math": [0.15474492054902347, 0.10672996507108772, 0.11779898656958725, 0.10882078024302652, 0.12458798642200031, 0.12842524720814683, 0.13602597530378316, 0.12286613863334482], "sharegpt": [0.15376427620162234, 0.10894810121473827, 0.13194640623108275, 0.12141833810888251, 0.11465858186367489, 0.13821683683764477, 0.11906755720569838, 0.11197990233665604]}}
{"step": 2000, "old_prob_map": {"code": 0.28506630267298727, "math": 0.32022976576466383, "orca": 0.21494599194174854, "sharegpt": 0.17975793962060052}, "new_prob_map": {"code": 0.2867481424046919, "math": 0.31854989012606805, "orca": 0.2152416645459714, "sharegpt": 0.1794603029232688}, "sim": [[0.12588450038580248, 0.12610842670257952, 0.12573015618867284, 0.12577819013832278], [0.12610842670257952, 0.12667020379049795, 0.12621567588243646, 0.1261686910458374], [0.12573015618867284, 0.12621567588243646, 0.12683392023051163, 0.12669522454319626], [0.12577819013832278, 0.1261686910458374, 0.12669522454319626, 0.12663247442717893]], "name2load": {"code": [0.1425, 0.11784722222222221, 0.12364583333333334, 0.10694444444444444, 0.12427083333333333, 0.1305902777777778, 0.13600694444444444, 0.11819444444444444], "orca": [0.15818031378289787, 0.10869426852942113, 0.1293956655952646, 0.1262769309104796, 0.11186073894917735, 0.13436018203226935, 0.11782770582057728, 0.11340419437991281], "math": [0.15474492054902347, 0.10672996507108772, 0.11779898656958725, 0.10882078024302652, 0.12458798642200031, 0.12842524720814683, 0.13602597530378316, 0.12286613863334482], "sharegpt": [0.15376427620162234, 0.10894810121473827, 0.13194640623108275, 0.12141833810888251, 0.11465858186367489, 0.13821683683764477, 0.11906755720569838, 0.11197990233665604]}}