models: - model: bigcode/starcoder2-3b - model: TechxGenus/starcoder2-3b-instruct parameters: density: - filter: self_attn.q_proj.0 value: 0.01384 - filter: self_attn.q_proj.1 value: 0.00657 - filter: self_attn.q_proj.2 value: 0.02731 - filter: self_attn.q_proj.3 value: 0.03261 - filter: self_attn.q_proj.4 value: 0.05056 - filter: self_attn.q_proj.5 value: 0.05539 - filter: self_attn.q_proj.6 value: 0.05796 - filter: self_attn.q_proj.7 value: 0.06573 - filter: self_attn.q_proj.8 value: 0.09558 - filter: self_attn.q_proj.9 value: 0.11226 - filter: self_attn.q_proj.10 value: 0.1053 - filter: self_attn.q_proj.11 value: 0.07023 - filter: self_attn.q_proj.12 value: 0.04345 - filter: self_attn.q_proj.13 value: 0.02855 - filter: self_attn.q_proj.14 value: 0.04248 - filter: self_attn.q_proj.15 value: 0.00938 - filter: self_attn.q_proj.16 value: 0.04849 - filter: self_attn.q_proj.17 value: 0.0569 - filter: self_attn.q_proj.18 value: 0.02524 - filter: self_attn.q_proj.19 value: 0.03765 - filter: self_attn.q_proj.20 value: 0.00301 - filter: self_attn.q_proj.21 value: 0.01149 - filter: self_attn.k_proj.0 value: 0.01448 - filter: self_attn.k_proj.1 value: 0.01995 - filter: self_attn.k_proj.2 value: 0.02198 - filter: self_attn.k_proj.3 value: 0.02643 - filter: self_attn.k_proj.4 value: 0.04244 - filter: self_attn.k_proj.5 value: 0.03983 - filter: self_attn.k_proj.6 value: 0.03963 - filter: self_attn.k_proj.7 value: 0.04097 - filter: self_attn.k_proj.8 value: 0.10344 - filter: self_attn.k_proj.9 value: 0.12206 - filter: self_attn.k_proj.10 value: 0.10247 - filter: self_attn.k_proj.11 value: 0.08638 - filter: self_attn.k_proj.12 value: 0.06374 - filter: self_attn.k_proj.13 value: 0.05815 - filter: self_attn.k_proj.14 value: 0.0267 - filter: self_attn.k_proj.15 value: 0.0105 - filter: self_attn.k_proj.16 value: 0.03183 - filter: self_attn.k_proj.17 value: 0.0173 - filter: self_attn.k_proj.18 value: 0.06724 - filter: self_attn.k_proj.19 value: 0.01356 - filter: self_attn.k_proj.20 value: 0.03054 - filter: self_attn.k_proj.21 value: 0.02039 - filter: self_attn.v_proj.0 value: 0.00132 - filter: self_attn.v_proj.1 value: 0.00024 - filter: self_attn.v_proj.2 value: 0.00149 - filter: self_attn.v_proj.3 value: 0.00292 - filter: self_attn.v_proj.4 value: 0.00208 - filter: self_attn.v_proj.5 value: 0.00715 - filter: self_attn.v_proj.6 value: 0.00725 - filter: self_attn.v_proj.7 value: 0.00891 - filter: self_attn.v_proj.8 value: 0.0271 - filter: self_attn.v_proj.9 value: 0.03499 - filter: self_attn.v_proj.10 value: 0.04242 - filter: self_attn.v_proj.11 value: 0.05088 - filter: self_attn.v_proj.12 value: 0.0481 - filter: self_attn.v_proj.13 value: 0.04341 - filter: self_attn.v_proj.14 value: 0.05882 - filter: self_attn.v_proj.15 value: 0.0702 - filter: self_attn.v_proj.16 value: 0.07306 - filter: self_attn.v_proj.17 value: 0.08186 - filter: self_attn.v_proj.18 value: 0.08394 - filter: self_attn.v_proj.19 value: 0.07471 - filter: self_attn.v_proj.20 value: 0.16654 - filter: self_attn.v_proj.21 value: 0.11261 - filter: self_attn.o_proj.0 value: 0.00157 - filter: self_attn.o_proj.1 value: 0.00103 - filter: self_attn.o_proj.2 value: 0.0019 - filter: self_attn.o_proj.3 value: 0.00336 - filter: self_attn.o_proj.4 value: 0.00236 - filter: self_attn.o_proj.5 value: 0.0061 - filter: self_attn.o_proj.6 value: 0.00104 - filter: self_attn.o_proj.7 value: 0.0095 - filter: self_attn.o_proj.8 value: 0.00767 - filter: self_attn.o_proj.9 value: 0.01618 - filter: self_attn.o_proj.10 value: 0.01477 - filter: self_attn.o_proj.11 value: 0.00161 - filter: self_attn.o_proj.12 value: 0.00596 - filter: self_attn.o_proj.13 value: 0.01282 - filter: self_attn.o_proj.14 value: 0.05706 - filter: self_attn.o_proj.15 value: 0.04798 - filter: self_attn.o_proj.16 value: 0.02363 - filter: self_attn.o_proj.17 value: 0.04288 - filter: self_attn.o_proj.18 value: 0.12266 - filter: self_attn.o_proj.19 value: 0.03632 - filter: self_attn.o_proj.20 value: 0.32836 - filter: self_attn.o_proj.21 value: 0.25524 - filter: mlp.gate_proj.0 value: 0.0008 - filter: mlp.gate_proj.1 value: 0.00325 - filter: mlp.gate_proj.2 value: 0.0023 - filter: mlp.gate_proj.3 value: 0.00033 - filter: mlp.gate_proj.4 value: 0.00163 - filter: mlp.gate_proj.5 value: 0.00365 - filter: mlp.gate_proj.6 value: 0.0042 - filter: mlp.gate_proj.7 value: 0.01307 - filter: mlp.gate_proj.8 value: 0.01445 - filter: mlp.gate_proj.9 value: 0.02852 - filter: mlp.gate_proj.10 value: 0.03948 - filter: mlp.gate_proj.11 value: 0.04786 - filter: mlp.gate_proj.12 value: 0.0536 - filter: mlp.gate_proj.13 value: 0.05585 - filter: mlp.gate_proj.14 value: 0.0648 - filter: mlp.gate_proj.15 value: 0.06929 - filter: mlp.gate_proj.16 value: 0.0744 - filter: mlp.gate_proj.17 value: 0.08906 - filter: mlp.gate_proj.18 value: 0.104 - filter: mlp.gate_proj.19 value: 0.09914 - filter: mlp.gate_proj.20 value: 0.10889 - filter: mlp.gate_proj.21 value: 0.12143 - filter: mlp.up_proj.0 value: 0.00118 - filter: mlp.up_proj.1 value: 0.00377 - filter: mlp.up_proj.2 value: 0.00249 - filter: mlp.up_proj.3 value: 0.00103 - filter: mlp.up_proj.4 value: 0.00085 - filter: mlp.up_proj.5 value: 0.00298 - filter: mlp.up_proj.6 value: 0.00318 - filter: mlp.up_proj.7 value: 0.01108 - filter: mlp.up_proj.8 value: 0.0145 - filter: mlp.up_proj.9 value: 0.02919 - filter: mlp.up_proj.10 value: 0.03808 - filter: mlp.up_proj.11 value: 0.04536 - filter: mlp.up_proj.12 value: 0.05076 - filter: mlp.up_proj.13 value: 0.05593 - filter: mlp.up_proj.14 value: 0.06894 - filter: mlp.up_proj.15 value: 0.07535 - filter: mlp.up_proj.16 value: 0.07777 - filter: mlp.up_proj.17 value: 0.08961 - filter: mlp.up_proj.18 value: 0.1045 - filter: mlp.up_proj.19 value: 0.10045 - filter: mlp.up_proj.20 value: 0.11479 - filter: mlp.up_proj.21 value: 0.10822 - filter: mlp.down_proj.0 value: 0.07073 - filter: mlp.down_proj.1 value: 0.04763 - filter: mlp.down_proj.2 value: 0.01994 - filter: mlp.down_proj.3 value: 0.00011 - filter: mlp.down_proj.4 value: 0.00291 - filter: mlp.down_proj.5 value: 0.00115 - filter: mlp.down_proj.6 value: 0.00396 - filter: mlp.down_proj.7 value: 0.02167 - filter: mlp.down_proj.8 value: 0.00561 - filter: mlp.down_proj.9 value: 0.00899 - filter: mlp.down_proj.10 value: 0.01681 - filter: mlp.down_proj.11 value: 0.02464 - filter: mlp.down_proj.12 value: 0.02988 - filter: mlp.down_proj.13 value: 0.03701 - filter: mlp.down_proj.14 value: 0.04521 - filter: mlp.down_proj.15 value: 0.07515 - filter: mlp.down_proj.16 value: 0.05471 - filter: mlp.down_proj.17 value: 0.05965 - filter: mlp.down_proj.18 value: 0.06833 - filter: mlp.down_proj.19 value: 0.07838 - filter: mlp.down_proj.20 value: 0.11912 - filter: mlp.down_proj.21 value: 0.20841 - value: 1 weight: - value: 1 merge_method: ties base_model: bigcode/starcoder2-3b parameters: normalize: true int8_mask: true dtype: bfloat16 tokenizer_source: union