diff --git a/RWKV-4-World-CHNtuned-3B-v1-20230625-ctx4096/ncnn/int4/RWKV-4-World-CHNtuned-3B-v1-20230625-ctx4096-ncnn-int4.bin b/RWKV-4-World-CHNtuned-3B-v1-20230625-ctx4096/ncnn/int4/RWKV-4-World-CHNtuned-3B-v1-20230625-ctx4096-ncnn-int4.bin new file mode 100644 index 0000000000000000000000000000000000000000..edb0040ec04fe87e487f291de6e0637528697a39 --- /dev/null +++ b/RWKV-4-World-CHNtuned-3B-v1-20230625-ctx4096/ncnn/int4/RWKV-4-World-CHNtuned-3B-v1-20230625-ctx4096-ncnn-int4.bin @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:68bd562923e42dd1f0a44bf48215bdb310583e77c7f282cd7ebd1df7f6e79815 +size 2113558924 diff --git a/RWKV-4-World-CHNtuned-3B-v1-20230625-ctx4096/ncnn/int4/RWKV-4-World-CHNtuned-3B-v1-20230625-ctx4096-ncnn-int4.config b/RWKV-4-World-CHNtuned-3B-v1-20230625-ctx4096/ncnn/int4/RWKV-4-World-CHNtuned-3B-v1-20230625-ctx4096-ncnn-int4.config new file mode 100644 index 0000000000000000000000000000000000000000..58acb36b7a4b3c265a6be42d7126fb25e9813ab8 --- /dev/null +++ b/RWKV-4-World-CHNtuned-3B-v1-20230625-ctx4096/ncnn/int4/RWKV-4-World-CHNtuned-3B-v1-20230625-ctx4096-ncnn-int4.config @@ -0,0 +1,9 @@ +version: 4 +act_dtype: fp32 +weight_dtype: int4 +head_size: 0 +n_layer: 32 +n_embd: 2560 +n_att: 2560 +n_ffn: 0 +ncnn_impl_version: 2 diff --git a/RWKV-4-World-CHNtuned-3B-v1-20230625-ctx4096/ncnn/int4/RWKV-4-World-CHNtuned-3B-v1-20230625-ctx4096-ncnn-int4.param b/RWKV-4-World-CHNtuned-3B-v1-20230625-ctx4096/ncnn/int4/RWKV-4-World-CHNtuned-3B-v1-20230625-ctx4096-ncnn-int4.param new file mode 100644 index 0000000000000000000000000000000000000000..490f962b64626efc3650b922063ea8c247b94124 --- /dev/null +++ b/RWKV-4-World-CHNtuned-3B-v1-20230625-ctx4096/ncnn/int4/RWKV-4-World-CHNtuned-3B-v1-20230625-ctx4096-ncnn-int4.param @@ -0,0 +1,3400 @@ +7767517 +3398 4390 +MemoryData 0 0 1 tensor_198345 0=2560 21=0 +MemoryData 1 0 1 tensor_198348 0=2560 21=0 +MemoryData 2 0 1 tensor_198351 0=2560 21=0 +MemoryData 3 0 1 tensor_198354 0=2560 21=0 +MemoryData 4 0 1 tensor_198357 0=2560 21=0 +MemoryData 5 0 1 tensor_198360 0=2560 21=0 +MemoryData 6 0 1 tensor_198363 0=2560 21=0 +MemoryData 7 0 1 tensor_198366 0=2560 21=0 +MemoryData 8 0 1 tensor_198369 0=2560 21=0 +MemoryData 9 0 1 tensor_198372 0=2560 21=0 +MemoryData 10 0 1 tensor_198375 0=2560 21=0 +MemoryData 11 0 1 tensor_198378 0=2560 21=0 +MemoryData 12 0 1 tensor_198381 0=2560 21=0 +MemoryData 13 0 1 tensor_198384 0=2560 21=0 +MemoryData 14 0 1 tensor_198387 0=2560 21=0 +MemoryData 15 0 1 tensor_198390 0=2560 21=0 +MemoryData 16 0 1 tensor_198393 0=2560 21=0 +MemoryData 17 0 1 tensor_198396 0=2560 21=0 +MemoryData 18 0 1 tensor_198399 0=2560 21=0 +MemoryData 19 0 1 tensor_198402 0=2560 21=0 +MemoryData 20 0 1 tensor_198405 0=2560 21=0 +MemoryData 21 0 1 tensor_198408 0=2560 21=0 +MemoryData 22 0 1 tensor_198411 0=2560 21=0 +MemoryData 23 0 1 tensor_198414 0=2560 21=0 +MemoryData 24 0 1 tensor_198417 0=2560 21=0 +MemoryData 25 0 1 tensor_198420 0=2560 21=0 +MemoryData 26 0 1 tensor_198423 0=2560 21=0 +MemoryData 27 0 1 tensor_198426 0=2560 21=0 +MemoryData 28 0 1 tensor_198429 0=2560 21=0 +MemoryData 29 0 1 tensor_198432 0=2560 21=0 +MemoryData 30 0 1 tensor_198435 0=2560 21=0 +MemoryData 31 0 1 tensor_198438 0=2560 21=0 +MemoryData 32 0 1 tensor_198441 0=2560 21=0 +MemoryData 33 0 1 tensor_198444 0=2560 21=0 +MemoryData 34 0 1 tensor_198447 0=2560 21=0 +MemoryData 35 0 1 tensor_198450 0=2560 21=0 +MemoryData 36 0 1 tensor_198453 0=2560 21=0 +MemoryData 37 0 1 tensor_198456 0=2560 21=0 +MemoryData 38 0 1 tensor_198459 0=2560 21=0 +MemoryData 39 0 1 tensor_198462 0=2560 21=0 +MemoryData 40 0 1 tensor_198465 0=2560 21=0 +MemoryData 41 0 1 tensor_198468 0=2560 21=0 +MemoryData 42 0 1 tensor_198471 0=2560 21=0 +MemoryData 43 0 1 tensor_198474 0=2560 21=0 +MemoryData 44 0 1 tensor_198477 0=2560 21=0 +MemoryData 45 0 1 tensor_198480 0=2560 21=0 +MemoryData 46 0 1 tensor_198483 0=2560 21=0 +MemoryData 47 0 1 tensor_198486 0=2560 21=0 +MemoryData 48 0 1 tensor_198489 0=2560 21=0 +MemoryData 49 0 1 tensor_198492 0=2560 21=0 +MemoryData 50 0 1 tensor_198495 0=2560 21=0 +MemoryData 51 0 1 tensor_198498 0=2560 21=0 +MemoryData 52 0 1 tensor_198501 0=2560 21=0 +MemoryData 53 0 1 tensor_198504 0=2560 21=0 +MemoryData 54 0 1 tensor_198507 0=2560 21=0 +MemoryData 55 0 1 tensor_198510 0=2560 21=0 +MemoryData 56 0 1 tensor_198513 0=2560 21=0 +MemoryData 57 0 1 tensor_198516 0=2560 21=0 +MemoryData 58 0 1 tensor_198519 0=2560 21=0 +MemoryData 59 0 1 tensor_198522 0=2560 21=0 +MemoryData 60 0 1 tensor_198525 0=2560 21=0 +MemoryData 61 0 1 tensor_198528 0=2560 21=0 +MemoryData 62 0 1 tensor_198531 0=2560 21=0 +MemoryData 63 0 1 tensor_198534 0=2560 21=0 +MemoryData 64 0 1 tensor_198537 0=2560 21=0 +MemoryData 65 0 1 tensor_198540 0=2560 21=0 +MemoryData 66 0 1 tensor_198543 0=2560 21=0 +MemoryData 67 0 1 tensor_198546 0=2560 21=0 +MemoryData 68 0 1 tensor_198549 0=2560 21=0 +MemoryData 69 0 1 tensor_198552 0=2560 21=0 +MemoryData 70 0 1 tensor_198555 0=2560 21=0 +MemoryData 71 0 1 tensor_198558 0=2560 21=0 +MemoryData 72 0 1 tensor_198561 0=2560 21=0 +MemoryData 73 0 1 tensor_198564 0=2560 21=0 +MemoryData 74 0 1 tensor_198567 0=2560 21=0 +MemoryData 75 0 1 tensor_198570 0=2560 21=0 +MemoryData 76 0 1 tensor_198573 0=2560 21=0 +MemoryData 77 0 1 tensor_198576 0=2560 21=0 +MemoryData 78 0 1 tensor_198579 0=2560 21=0 +MemoryData 79 0 1 tensor_198582 0=2560 21=0 +MemoryData 80 0 1 tensor_198585 0=2560 21=0 +MemoryData 81 0 1 tensor_198588 0=2560 21=0 +MemoryData 82 0 1 tensor_198591 0=2560 21=0 +MemoryData 83 0 1 tensor_198594 0=2560 21=0 +MemoryData 84 0 1 tensor_198597 0=2560 21=0 +MemoryData 85 0 1 tensor_198600 0=2560 21=0 +MemoryData 86 0 1 tensor_198603 0=2560 21=0 +MemoryData 87 0 1 tensor_198606 0=2560 21=0 +MemoryData 88 0 1 tensor_198609 0=2560 21=0 +MemoryData 89 0 1 tensor_198612 0=2560 21=0 +MemoryData 90 0 1 tensor_198615 0=2560 21=0 +MemoryData 91 0 1 tensor_198618 0=2560 21=0 +MemoryData 92 0 1 tensor_198621 0=2560 21=0 +MemoryData 93 0 1 tensor_198624 0=2560 21=0 +MemoryData 94 0 1 tensor_198627 0=2560 21=0 +MemoryData 95 0 1 tensor_198630 0=2560 21=0 +MemoryData 96 0 1 tensor_198633 0=2560 21=0 +MemoryData 97 0 1 tensor_198636 0=2560 21=0 +MemoryData 98 0 1 tensor_198639 0=2560 21=0 +MemoryData 99 0 1 tensor_198642 0=2560 21=0 +MemoryData 100 0 1 tensor_198645 0=2560 21=0 +MemoryData 101 0 1 tensor_198648 0=2560 21=0 +MemoryData 102 0 1 tensor_198651 0=2560 21=0 +MemoryData 103 0 1 tensor_198654 0=2560 21=0 +MemoryData 104 0 1 tensor_198657 0=2560 21=0 +MemoryData 105 0 1 tensor_198660 0=2560 21=0 +MemoryData 106 0 1 tensor_198663 0=2560 21=0 +MemoryData 107 0 1 tensor_198666 0=2560 21=0 +MemoryData 108 0 1 tensor_198669 0=2560 21=0 +MemoryData 109 0 1 tensor_198672 0=2560 21=0 +MemoryData 110 0 1 tensor_198675 0=2560 21=0 +MemoryData 111 0 1 tensor_198678 0=2560 21=0 +MemoryData 112 0 1 tensor_198681 0=2560 21=0 +MemoryData 113 0 1 tensor_198684 0=2560 21=0 +MemoryData 114 0 1 tensor_198687 0=2560 21=0 +MemoryData 115 0 1 tensor_198690 0=2560 21=0 +MemoryData 116 0 1 tensor_198693 0=2560 21=0 +MemoryData 117 0 1 tensor_198696 0=2560 21=0 +MemoryData 118 0 1 tensor_198699 0=2560 21=0 +MemoryData 119 0 1 tensor_198702 0=2560 21=0 +MemoryData 120 0 1 tensor_198705 0=2560 21=0 +MemoryData 121 0 1 tensor_198708 0=2560 21=0 +MemoryData 122 0 1 tensor_198711 0=2560 21=0 +MemoryData 123 0 1 tensor_198714 0=2560 21=0 +MemoryData 124 0 1 tensor_198717 0=2560 21=0 +MemoryData 125 0 1 tensor_198720 0=2560 21=0 +MemoryData 126 0 1 tensor_198723 0=2560 21=0 +MemoryData 127 0 1 tensor_198726 0=2560 21=0 +MemoryData 128 0 1 tensor_198729 0=2560 21=0 +MemoryData 129 0 1 tensor_198732 0=2560 21=0 +MemoryData 130 0 1 tensor_198735 0=2560 21=0 +MemoryData 131 0 1 tensor_198738 0=2560 21=0 +MemoryData 132 0 1 tensor_198741 0=2560 21=0 +MemoryData 133 0 1 tensor_198744 0=2560 21=0 +MemoryData 134 0 1 tensor_198747 0=2560 21=0 +MemoryData 135 0 1 tensor_198750 0=2560 21=0 +MemoryData 136 0 1 tensor_198753 0=2560 21=0 +MemoryData 137 0 1 tensor_198756 0=2560 21=0 +MemoryData 138 0 1 tensor_198759 0=2560 21=0 +MemoryData 139 0 1 tensor_198762 0=2560 21=0 +MemoryData 140 0 1 tensor_198765 0=2560 21=0 +MemoryData 141 0 1 tensor_198768 0=2560 21=0 +MemoryData 142 0 1 tensor_198771 0=2560 21=0 +MemoryData 143 0 1 tensor_198774 0=2560 21=0 +MemoryData 144 0 1 tensor_198777 0=2560 21=0 +MemoryData 145 0 1 tensor_198780 0=2560 21=0 +MemoryData 146 0 1 tensor_198783 0=2560 21=0 +MemoryData 147 0 1 tensor_198786 0=2560 21=0 +MemoryData 148 0 1 tensor_198789 0=2560 21=0 +MemoryData 149 0 1 tensor_198792 0=2560 21=0 +MemoryData 150 0 1 tensor_198795 0=2560 21=0 +MemoryData 151 0 1 tensor_198798 0=2560 21=0 +MemoryData 152 0 1 tensor_198801 0=2560 21=0 +MemoryData 153 0 1 tensor_198804 0=2560 21=0 +MemoryData 154 0 1 tensor_198807 0=2560 21=0 +MemoryData 155 0 1 tensor_198810 0=2560 21=0 +MemoryData 156 0 1 tensor_198813 0=2560 21=0 +MemoryData 157 0 1 tensor_198816 0=2560 21=0 +MemoryData 158 0 1 tensor_198819 0=2560 21=0 +MemoryData 159 0 1 tensor_198822 0=2560 21=0 +Input 160 0 1 input_id 0=1 +Input 161 0 1 state_0_0 0=2560 +Input 162 0 1 state_0_1 0=2560 +Input 163 0 1 state_0_2 0=2560 +Input 164 0 1 state_0_3 0=2560 +Input 165 0 1 state_0_4 0=2560 +Input 166 0 1 state_1_0 0=2560 +Input 167 0 1 state_1_1 0=2560 +Input 168 0 1 state_1_2 0=2560 +Input 169 0 1 state_1_3 0=2560 +Input 170 0 1 state_1_4 0=2560 +Input 171 0 1 state_2_0 0=2560 +Input 172 0 1 state_2_1 0=2560 +Input 173 0 1 state_2_2 0=2560 +Input 174 0 1 state_2_3 0=2560 +Input 175 0 1 state_2_4 0=2560 +Input 176 0 1 state_3_0 0=2560 +Input 177 0 1 state_3_1 0=2560 +Input 178 0 1 state_3_2 0=2560 +Input 179 0 1 state_3_3 0=2560 +Input 180 0 1 state_3_4 0=2560 +Input 181 0 1 state_4_0 0=2560 +Input 182 0 1 state_4_1 0=2560 +Input 183 0 1 state_4_2 0=2560 +Input 184 0 1 state_4_3 0=2560 +Input 185 0 1 state_4_4 0=2560 +Input 186 0 1 state_5_0 0=2560 +Input 187 0 1 state_5_1 0=2560 +Input 188 0 1 state_5_2 0=2560 +Input 189 0 1 state_5_3 0=2560 +Input 190 0 1 state_5_4 0=2560 +Input 191 0 1 state_6_0 0=2560 +Input 192 0 1 state_6_1 0=2560 +Input 193 0 1 state_6_2 0=2560 +Input 194 0 1 state_6_3 0=2560 +Input 195 0 1 state_6_4 0=2560 +Input 196 0 1 state_7_0 0=2560 +Input 197 0 1 state_7_1 0=2560 +Input 198 0 1 state_7_2 0=2560 +Input 199 0 1 state_7_3 0=2560 +Input 200 0 1 state_7_4 0=2560 +Input 201 0 1 state_8_0 0=2560 +Input 202 0 1 state_8_1 0=2560 +Input 203 0 1 state_8_2 0=2560 +Input 204 0 1 state_8_3 0=2560 +Input 205 0 1 state_8_4 0=2560 +Input 206 0 1 state_9_0 0=2560 +Input 207 0 1 state_9_1 0=2560 +Input 208 0 1 state_9_2 0=2560 +Input 209 0 1 state_9_3 0=2560 +Input 210 0 1 state_9_4 0=2560 +Input 211 0 1 state_10_0 0=2560 +Input 212 0 1 state_10_1 0=2560 +Input 213 0 1 state_10_2 0=2560 +Input 214 0 1 state_10_3 0=2560 +Input 215 0 1 state_10_4 0=2560 +Input 216 0 1 state_11_0 0=2560 +Input 217 0 1 state_11_1 0=2560 +Input 218 0 1 state_11_2 0=2560 +Input 219 0 1 state_11_3 0=2560 +Input 220 0 1 state_11_4 0=2560 +Input 221 0 1 state_12_0 0=2560 +Input 222 0 1 state_12_1 0=2560 +Input 223 0 1 state_12_2 0=2560 +Input 224 0 1 state_12_3 0=2560 +Input 225 0 1 state_12_4 0=2560 +Input 226 0 1 state_13_0 0=2560 +Input 227 0 1 state_13_1 0=2560 +Input 228 0 1 state_13_2 0=2560 +Input 229 0 1 state_13_3 0=2560 +Input 230 0 1 state_13_4 0=2560 +Input 231 0 1 state_14_0 0=2560 +Input 232 0 1 state_14_1 0=2560 +Input 233 0 1 state_14_2 0=2560 +Input 234 0 1 state_14_3 0=2560 +Input 235 0 1 state_14_4 0=2560 +Input 236 0 1 state_15_0 0=2560 +Input 237 0 1 state_15_1 0=2560 +Input 238 0 1 state_15_2 0=2560 +Input 239 0 1 state_15_3 0=2560 +Input 240 0 1 state_15_4 0=2560 +Input 241 0 1 state_16_0 0=2560 +Input 242 0 1 state_16_1 0=2560 +Input 243 0 1 state_16_2 0=2560 +Input 244 0 1 state_16_3 0=2560 +Input 245 0 1 state_16_4 0=2560 +Input 246 0 1 state_17_0 0=2560 +Input 247 0 1 state_17_1 0=2560 +Input 248 0 1 state_17_2 0=2560 +Input 249 0 1 state_17_3 0=2560 +Input 250 0 1 state_17_4 0=2560 +Input 251 0 1 state_18_0 0=2560 +Input 252 0 1 state_18_1 0=2560 +Input 253 0 1 state_18_2 0=2560 +Input 254 0 1 state_18_3 0=2560 +Input 255 0 1 state_18_4 0=2560 +Input 256 0 1 state_19_0 0=2560 +Input 257 0 1 state_19_1 0=2560 +Input 258 0 1 state_19_2 0=2560 +Input 259 0 1 state_19_3 0=2560 +Input 260 0 1 state_19_4 0=2560 +Input 261 0 1 state_20_0 0=2560 +Input 262 0 1 state_20_1 0=2560 +Input 263 0 1 state_20_2 0=2560 +Input 264 0 1 state_20_3 0=2560 +Input 265 0 1 state_20_4 0=2560 +Input 266 0 1 state_21_0 0=2560 +Input 267 0 1 state_21_1 0=2560 +Input 268 0 1 state_21_2 0=2560 +Input 269 0 1 state_21_3 0=2560 +Input 270 0 1 state_21_4 0=2560 +Input 271 0 1 state_22_0 0=2560 +Input 272 0 1 state_22_1 0=2560 +Input 273 0 1 state_22_2 0=2560 +Input 274 0 1 state_22_3 0=2560 +Input 275 0 1 state_22_4 0=2560 +Input 276 0 1 state_23_0 0=2560 +Input 277 0 1 state_23_1 0=2560 +Input 278 0 1 state_23_2 0=2560 +Input 279 0 1 state_23_3 0=2560 +Input 280 0 1 state_23_4 0=2560 +Input 281 0 1 state_24_0 0=2560 +Input 282 0 1 state_24_1 0=2560 +Input 283 0 1 state_24_2 0=2560 +Input 284 0 1 state_24_3 0=2560 +Input 285 0 1 state_24_4 0=2560 +Input 286 0 1 state_25_0 0=2560 +Input 287 0 1 state_25_1 0=2560 +Input 288 0 1 state_25_2 0=2560 +Input 289 0 1 state_25_3 0=2560 +Input 290 0 1 state_25_4 0=2560 +Input 291 0 1 state_26_0 0=2560 +Input 292 0 1 state_26_1 0=2560 +Input 293 0 1 state_26_2 0=2560 +Input 294 0 1 state_26_3 0=2560 +Input 295 0 1 state_26_4 0=2560 +Input 296 0 1 state_27_0 0=2560 +Input 297 0 1 state_27_1 0=2560 +Input 298 0 1 state_27_2 0=2560 +Input 299 0 1 state_27_3 0=2560 +Input 300 0 1 state_27_4 0=2560 +Input 301 0 1 state_28_0 0=2560 +Input 302 0 1 state_28_1 0=2560 +Input 303 0 1 state_28_2 0=2560 +Input 304 0 1 state_28_3 0=2560 +Input 305 0 1 state_28_4 0=2560 +Input 306 0 1 state_29_0 0=2560 +Input 307 0 1 state_29_1 0=2560 +Input 308 0 1 state_29_2 0=2560 +Input 309 0 1 state_29_3 0=2560 +Input 310 0 1 state_29_4 0=2560 +Input 311 0 1 state_30_0 0=2560 +Input 312 0 1 state_30_1 0=2560 +Input 313 0 1 state_30_2 0=2560 +Input 314 0 1 state_30_3 0=2560 +Input 315 0 1 state_30_4 0=2560 +Input 316 0 1 state_31_0 0=2560 +Input 317 0 1 state_31_1 0=2560 +Input 318 0 1 state_31_2 0=2560 +Input 319 0 1 state_31_3 0=2560 +Input 320 0 1 state_31_4 0=2560 +Embed 321 1 1 input_id tensor_198987 0=2560 1=65536 3=167772160 4=64 +Reshape 322 1 1 tensor_198987 tensor_198990 0=2560 +Split 323 1 2 tensor_198990 tensor_198991 tensor_198992 +LayerNorm 324 1 1 tensor_198991 tensor_198993 0=2560 1=1.000000e-05 2=1 +Split 325 1 4 tensor_198993 tensor_198994 tensor_198995 tensor_198996 tensor_198997 +Split 326 1 3 state_0_0 tensor_198998 tensor_198999 tensor_199000 +MemoryData 327 0 1 blocks.0.att.time_mix_k 0=2560 21=0 +Split 328 1 2 blocks.0.att.time_mix_k tensor_199002 tensor_199003 +MemoryData 329 0 1 blocks.0.att.time_mix_v 0=2560 21=0 +Split 330 1 2 blocks.0.att.time_mix_v tensor_199005 tensor_199006 +MemoryData 331 0 1 blocks.0.att.time_mix_r 0=2560 21=0 +Split 332 1 2 blocks.0.att.time_mix_r tensor_199008 tensor_199009 +BinaryOp 333 1 1 tensor_199003 tensor_199010 0=7 1=1 2=1.000000e+00 +BinaryOp 334 2 1 tensor_198998 tensor_199010 tensor_199011 0=2 +BinaryOp 335 2 1 tensor_198994 tensor_199002 tensor_199012 0=2 +BinaryOp 336 2 1 tensor_199012 tensor_199011 tensor_199013 0=0 +BinaryOp 337 1 1 tensor_199006 tensor_199014 0=7 1=1 2=1.000000e+00 +BinaryOp 338 2 1 tensor_198999 tensor_199014 tensor_199015 0=2 +BinaryOp 339 2 1 tensor_198995 tensor_199005 tensor_199016 0=2 +BinaryOp 340 2 1 tensor_199016 tensor_199015 tensor_199017 0=0 +BinaryOp 341 1 1 tensor_199009 tensor_199018 0=7 1=1 2=1.000000e+00 +BinaryOp 342 2 1 tensor_199000 tensor_199018 tensor_199019 0=2 +BinaryOp 343 2 1 tensor_198996 tensor_199008 tensor_199020 0=2 +BinaryOp 344 2 1 tensor_199020 tensor_199019 tensor_199021 0=0 +GemvA32W4 345 1 1 tensor_199021 tensor_199025 0=2560 1=2560 11=8 22=16 +Sigmoid 346 1 1 tensor_199025 tensor_199026 +GemvA32W4 347 1 1 tensor_199013 tensor_199030 0=2560 1=2560 11=8 22=16 +Split 348 1 3 tensor_199030 tensor_199031 tensor_199032 tensor_199033 +GemvA32W4 349 1 1 tensor_199017 tensor_199037 0=2560 1=2560 11=8 22=16 +Split 350 1 2 tensor_199037 tensor_199038 tensor_199039 +MemoryData 351 0 1 blocks.0.att.time_first 0=2560 21=0 +BinaryOp 352 2 1 blocks.0.att.time_first tensor_199031 tensor_199041 0=0 +Split 353 1 2 tensor_199041 tensor_199042 tensor_199043 +Split 354 1 3 state_0_3 tensor_199044 tensor_199045 tensor_199046 +BinaryOp 355 2 1 tensor_199044 tensor_199042 tensor_199047 0=4 +Split 356 1 2 tensor_199047 tensor_199048 tensor_199049 +BinaryOp 357 2 1 tensor_199045 tensor_199048 tensor_199050 0=1 +Exp 358 1 1 tensor_199050 tensor_199051 +Split 359 1 2 tensor_199051 tensor_199052 tensor_199053 +BinaryOp 360 2 1 tensor_199043 tensor_199049 tensor_199054 0=1 +Exp 361 1 1 tensor_199054 tensor_199055 +Split 362 1 2 tensor_199055 tensor_199056 tensor_199057 +Split 363 1 2 state_0_1 tensor_199058 tensor_199059 +Split 364 1 2 state_0_2 tensor_199060 tensor_199061 +BinaryOp 365 2 1 tensor_199053 tensor_199060 tensor_199062 0=2 +BinaryOp 366 2 1 tensor_199062 tensor_199057 tensor_199063 0=0 +BinaryOp 367 2 1 tensor_199056 tensor_199038 tensor_199064 0=2 +BinaryOp 368 2 1 tensor_199052 tensor_199058 tensor_199065 0=2 +BinaryOp 369 2 1 tensor_199065 tensor_199064 tensor_199066 0=0 +BinaryOp 370 2 1 tensor_199066 tensor_199063 tensor_199067 0=3 +MemoryData 371 0 1 blocks.0.att.time_decay 0=2560 21=0 +BinaryOp 372 2 1 blocks.0.att.time_decay tensor_199046 tensor_199069 0=0 +Split 373 1 2 tensor_199069 tensor_199070 tensor_199071 +BinaryOp 374 2 1 tensor_199070 tensor_199032 tensor_199072 0=4 +Split 375 1 3 tensor_199072 tensor_199073 tensor_199074 tensor_199075 +BinaryOp 376 2 1 tensor_199071 tensor_199073 tensor_199076 0=1 +Exp 377 1 1 tensor_199076 tensor_199077 +Split 378 1 2 tensor_199077 tensor_199078 tensor_199079 +BinaryOp 379 2 1 tensor_199033 tensor_199074 tensor_199080 0=1 +Exp 380 1 1 tensor_199080 tensor_199081 +Split 381 1 2 tensor_199081 tensor_199082 tensor_199083 +BinaryOp 382 2 1 tensor_199026 tensor_199067 tensor_199084 0=2 +GemvA32W4 383 1 1 tensor_199084 tensor_199088 0=2560 1=2560 11=8 22=16 +BinaryOp 384 2 1 tensor_198992 tensor_199088 tensor_199089 0=0 +BinaryOp 385 2 1 tensor_199082 tensor_199039 tensor_199090 0=2 +BinaryOp 386 2 1 tensor_199078 tensor_199059 tensor_199091 0=2 +BinaryOp 387 2 1 tensor_199091 tensor_199090 tensor_199092 0=0 +BinaryOp 388 2 1 tensor_199079 tensor_199061 tensor_199093 0=2 +BinaryOp 389 2 1 tensor_199093 tensor_199083 tensor_199094 0=0 +Split 390 1 1 tensor_198997 output_state_0_0 +Split 391 1 1 tensor_199092 output_state_0_1 +Split 392 1 1 tensor_199094 output_state_0_2 +Split 393 1 1 tensor_199075 output_state_0_3 +Split 394 1 2 tensor_199089 tensor_199099 tensor_199100 +LayerNorm 395 1 1 tensor_199099 tensor_199101 0=2560 1=1.000000e-05 2=1 +Split 396 1 3 tensor_199101 tensor_199102 tensor_199103 tensor_199104 +Split 397 1 2 state_0_4 tensor_199105 tensor_199106 +MemoryData 398 0 1 blocks.0.ffn.time_mix_k 0=2560 21=0 +Split 399 1 2 blocks.0.ffn.time_mix_k tensor_199108 tensor_199109 +MemoryData 400 0 1 blocks.0.ffn.time_mix_r 0=2560 21=0 +Split 401 1 2 blocks.0.ffn.time_mix_r tensor_199111 tensor_199112 +BinaryOp 402 1 1 tensor_199109 tensor_199113 0=7 1=1 2=1.000000e+00 +BinaryOp 403 2 1 tensor_199105 tensor_199113 tensor_199114 0=2 +BinaryOp 404 2 1 tensor_199102 tensor_199108 tensor_199115 0=2 +BinaryOp 405 2 1 tensor_199115 tensor_199114 tensor_199116 0=0 +BinaryOp 406 1 1 tensor_199112 tensor_199117 0=7 1=1 2=1.000000e+00 +BinaryOp 407 2 1 tensor_199106 tensor_199117 tensor_199118 0=2 +BinaryOp 408 2 1 tensor_199103 tensor_199111 tensor_199119 0=2 +BinaryOp 409 2 1 tensor_199119 tensor_199118 tensor_199120 0=0 +GemvA32W4 410 1 1 tensor_199120 tensor_199124 0=2560 1=2560 11=8 22=16 +Sigmoid 411 1 1 tensor_199124 tensor_199125 +GemvA32W4 412 1 1 tensor_199116 tensor_199129 0=10240 1=2560 11=8 22=16 +ReLU 413 1 1 tensor_199129 tensor_199130 +BinaryOp 414 2 1 tensor_199130 tensor_199130 tensor_199131 0=2 +GemvA32W4 415 1 1 tensor_199131 tensor_199135 0=2560 1=10240 11=8 22=16 +BinaryOp 416 2 1 tensor_199125 tensor_199135 tensor_199136 0=2 +BinaryOp 417 2 1 tensor_199100 tensor_199136 tensor_199137 0=0 +Split 418 1 1 tensor_199104 output_state_0_4 +Split 419 1 2 tensor_199137 tensor_199139 tensor_199140 +LayerNorm 420 1 1 tensor_199139 tensor_199141 0=2560 1=1.000000e-05 2=1 +Split 421 1 4 tensor_199141 tensor_199142 tensor_199143 tensor_199144 tensor_199145 +Split 422 1 3 state_1_0 tensor_199146 tensor_199147 tensor_199148 +MemoryData 423 0 1 blocks.1.att.time_mix_k 0=2560 21=0 +Split 424 1 2 blocks.1.att.time_mix_k tensor_199150 tensor_199151 +MemoryData 425 0 1 blocks.1.att.time_mix_v 0=2560 21=0 +Split 426 1 2 blocks.1.att.time_mix_v tensor_199153 tensor_199154 +MemoryData 427 0 1 blocks.1.att.time_mix_r 0=2560 21=0 +Split 428 1 2 blocks.1.att.time_mix_r tensor_199156 tensor_199157 +BinaryOp 429 1 1 tensor_199151 tensor_199158 0=7 1=1 2=1.000000e+00 +BinaryOp 430 2 1 tensor_199146 tensor_199158 tensor_199159 0=2 +BinaryOp 431 2 1 tensor_199142 tensor_199150 tensor_199160 0=2 +BinaryOp 432 2 1 tensor_199160 tensor_199159 tensor_199161 0=0 +BinaryOp 433 1 1 tensor_199154 tensor_199162 0=7 1=1 2=1.000000e+00 +BinaryOp 434 2 1 tensor_199147 tensor_199162 tensor_199163 0=2 +BinaryOp 435 2 1 tensor_199143 tensor_199153 tensor_199164 0=2 +BinaryOp 436 2 1 tensor_199164 tensor_199163 tensor_199165 0=0 +BinaryOp 437 1 1 tensor_199157 tensor_199166 0=7 1=1 2=1.000000e+00 +BinaryOp 438 2 1 tensor_199148 tensor_199166 tensor_199167 0=2 +BinaryOp 439 2 1 tensor_199144 tensor_199156 tensor_199168 0=2 +BinaryOp 440 2 1 tensor_199168 tensor_199167 tensor_199169 0=0 +GemvA32W4 441 1 1 tensor_199169 tensor_199173 0=2560 1=2560 11=8 22=16 +Sigmoid 442 1 1 tensor_199173 tensor_199174 +GemvA32W4 443 1 1 tensor_199161 tensor_199178 0=2560 1=2560 11=8 22=16 +Split 444 1 3 tensor_199178 tensor_199179 tensor_199180 tensor_199181 +GemvA32W4 445 1 1 tensor_199165 tensor_199185 0=2560 1=2560 11=8 22=16 +Split 446 1 2 tensor_199185 tensor_199186 tensor_199187 +MemoryData 447 0 1 blocks.1.att.time_first 0=2560 21=0 +BinaryOp 448 2 1 blocks.1.att.time_first tensor_199179 tensor_199189 0=0 +Split 449 1 2 tensor_199189 tensor_199190 tensor_199191 +Split 450 1 3 state_1_3 tensor_199192 tensor_199193 tensor_199194 +BinaryOp 451 2 1 tensor_199192 tensor_199190 tensor_199195 0=4 +Split 452 1 2 tensor_199195 tensor_199196 tensor_199197 +BinaryOp 453 2 1 tensor_199193 tensor_199196 tensor_199198 0=1 +Exp 454 1 1 tensor_199198 tensor_199199 +Split 455 1 2 tensor_199199 tensor_199200 tensor_199201 +BinaryOp 456 2 1 tensor_199191 tensor_199197 tensor_199202 0=1 +Exp 457 1 1 tensor_199202 tensor_199203 +Split 458 1 2 tensor_199203 tensor_199204 tensor_199205 +Split 459 1 2 state_1_1 tensor_199206 tensor_199207 +Split 460 1 2 state_1_2 tensor_199208 tensor_199209 +BinaryOp 461 2 1 tensor_199201 tensor_199208 tensor_199210 0=2 +BinaryOp 462 2 1 tensor_199210 tensor_199205 tensor_199211 0=0 +BinaryOp 463 2 1 tensor_199204 tensor_199186 tensor_199212 0=2 +BinaryOp 464 2 1 tensor_199200 tensor_199206 tensor_199213 0=2 +BinaryOp 465 2 1 tensor_199213 tensor_199212 tensor_199214 0=0 +BinaryOp 466 2 1 tensor_199214 tensor_199211 tensor_199215 0=3 +MemoryData 467 0 1 blocks.1.att.time_decay 0=2560 21=0 +BinaryOp 468 2 1 blocks.1.att.time_decay tensor_199194 tensor_199217 0=0 +Split 469 1 2 tensor_199217 tensor_199218 tensor_199219 +BinaryOp 470 2 1 tensor_199218 tensor_199180 tensor_199220 0=4 +Split 471 1 3 tensor_199220 tensor_199221 tensor_199222 tensor_199223 +BinaryOp 472 2 1 tensor_199219 tensor_199221 tensor_199224 0=1 +Exp 473 1 1 tensor_199224 tensor_199225 +Split 474 1 2 tensor_199225 tensor_199226 tensor_199227 +BinaryOp 475 2 1 tensor_199181 tensor_199222 tensor_199228 0=1 +Exp 476 1 1 tensor_199228 tensor_199229 +Split 477 1 2 tensor_199229 tensor_199230 tensor_199231 +BinaryOp 478 2 1 tensor_199174 tensor_199215 tensor_199232 0=2 +GemvA32W4 479 1 1 tensor_199232 tensor_199236 0=2560 1=2560 11=8 22=16 +BinaryOp 480 2 1 tensor_199140 tensor_199236 tensor_199237 0=0 +BinaryOp 481 2 1 tensor_199230 tensor_199187 tensor_199238 0=2 +BinaryOp 482 2 1 tensor_199226 tensor_199207 tensor_199239 0=2 +BinaryOp 483 2 1 tensor_199239 tensor_199238 tensor_199240 0=0 +BinaryOp 484 2 1 tensor_199227 tensor_199209 tensor_199241 0=2 +BinaryOp 485 2 1 tensor_199241 tensor_199231 tensor_199242 0=0 +Split 486 1 1 tensor_199145 output_state_1_0 +Split 487 1 1 tensor_199240 output_state_1_1 +Split 488 1 1 tensor_199242 output_state_1_2 +Split 489 1 1 tensor_199223 output_state_1_3 +Split 490 1 2 tensor_199237 tensor_199247 tensor_199248 +LayerNorm 491 1 1 tensor_199247 tensor_199249 0=2560 1=1.000000e-05 2=1 +Split 492 1 3 tensor_199249 tensor_199250 tensor_199251 tensor_199252 +Split 493 1 2 state_1_4 tensor_199253 tensor_199254 +MemoryData 494 0 1 blocks.1.ffn.time_mix_k 0=2560 21=0 +Split 495 1 2 blocks.1.ffn.time_mix_k tensor_199256 tensor_199257 +MemoryData 496 0 1 blocks.1.ffn.time_mix_r 0=2560 21=0 +Split 497 1 2 blocks.1.ffn.time_mix_r tensor_199259 tensor_199260 +BinaryOp 498 1 1 tensor_199257 tensor_199261 0=7 1=1 2=1.000000e+00 +BinaryOp 499 2 1 tensor_199253 tensor_199261 tensor_199262 0=2 +BinaryOp 500 2 1 tensor_199250 tensor_199256 tensor_199263 0=2 +BinaryOp 501 2 1 tensor_199263 tensor_199262 tensor_199264 0=0 +BinaryOp 502 1 1 tensor_199260 tensor_199265 0=7 1=1 2=1.000000e+00 +BinaryOp 503 2 1 tensor_199254 tensor_199265 tensor_199266 0=2 +BinaryOp 504 2 1 tensor_199251 tensor_199259 tensor_199267 0=2 +BinaryOp 505 2 1 tensor_199267 tensor_199266 tensor_199268 0=0 +GemvA32W4 506 1 1 tensor_199268 tensor_199272 0=2560 1=2560 11=8 22=16 +Sigmoid 507 1 1 tensor_199272 tensor_199273 +GemvA32W4 508 1 1 tensor_199264 tensor_199277 0=10240 1=2560 11=8 22=16 +ReLU 509 1 1 tensor_199277 tensor_199278 +BinaryOp 510 2 1 tensor_199278 tensor_199278 tensor_199279 0=2 +GemvA32W4 511 1 1 tensor_199279 tensor_199283 0=2560 1=10240 11=8 22=16 +BinaryOp 512 2 1 tensor_199273 tensor_199283 tensor_199284 0=2 +BinaryOp 513 2 1 tensor_199248 tensor_199284 tensor_199285 0=0 +Split 514 1 1 tensor_199252 output_state_1_4 +Split 515 1 2 tensor_199285 tensor_199287 tensor_199288 +LayerNorm 516 1 1 tensor_199287 tensor_199289 0=2560 1=1.000000e-05 2=1 +Split 517 1 4 tensor_199289 tensor_199290 tensor_199291 tensor_199292 tensor_199293 +Split 518 1 3 state_2_0 tensor_199294 tensor_199295 tensor_199296 +MemoryData 519 0 1 blocks.2.att.time_mix_k 0=2560 21=0 +Split 520 1 2 blocks.2.att.time_mix_k tensor_199298 tensor_199299 +MemoryData 521 0 1 blocks.2.att.time_mix_v 0=2560 21=0 +Split 522 1 2 blocks.2.att.time_mix_v tensor_199301 tensor_199302 +MemoryData 523 0 1 blocks.2.att.time_mix_r 0=2560 21=0 +Split 524 1 2 blocks.2.att.time_mix_r tensor_199304 tensor_199305 +BinaryOp 525 1 1 tensor_199299 tensor_199306 0=7 1=1 2=1.000000e+00 +BinaryOp 526 2 1 tensor_199294 tensor_199306 tensor_199307 0=2 +BinaryOp 527 2 1 tensor_199290 tensor_199298 tensor_199308 0=2 +BinaryOp 528 2 1 tensor_199308 tensor_199307 tensor_199309 0=0 +BinaryOp 529 1 1 tensor_199302 tensor_199310 0=7 1=1 2=1.000000e+00 +BinaryOp 530 2 1 tensor_199295 tensor_199310 tensor_199311 0=2 +BinaryOp 531 2 1 tensor_199291 tensor_199301 tensor_199312 0=2 +BinaryOp 532 2 1 tensor_199312 tensor_199311 tensor_199313 0=0 +BinaryOp 533 1 1 tensor_199305 tensor_199314 0=7 1=1 2=1.000000e+00 +BinaryOp 534 2 1 tensor_199296 tensor_199314 tensor_199315 0=2 +BinaryOp 535 2 1 tensor_199292 tensor_199304 tensor_199316 0=2 +BinaryOp 536 2 1 tensor_199316 tensor_199315 tensor_199317 0=0 +GemvA32W4 537 1 1 tensor_199317 tensor_199321 0=2560 1=2560 11=8 22=16 +Sigmoid 538 1 1 tensor_199321 tensor_199322 +GemvA32W4 539 1 1 tensor_199309 tensor_199326 0=2560 1=2560 11=8 22=16 +Split 540 1 3 tensor_199326 tensor_199327 tensor_199328 tensor_199329 +GemvA32W4 541 1 1 tensor_199313 tensor_199333 0=2560 1=2560 11=8 22=16 +Split 542 1 2 tensor_199333 tensor_199334 tensor_199335 +MemoryData 543 0 1 blocks.2.att.time_first 0=2560 21=0 +BinaryOp 544 2 1 blocks.2.att.time_first tensor_199327 tensor_199337 0=0 +Split 545 1 2 tensor_199337 tensor_199338 tensor_199339 +Split 546 1 3 state_2_3 tensor_199340 tensor_199341 tensor_199342 +BinaryOp 547 2 1 tensor_199340 tensor_199338 tensor_199343 0=4 +Split 548 1 2 tensor_199343 tensor_199344 tensor_199345 +BinaryOp 549 2 1 tensor_199341 tensor_199344 tensor_199346 0=1 +Exp 550 1 1 tensor_199346 tensor_199347 +Split 551 1 2 tensor_199347 tensor_199348 tensor_199349 +BinaryOp 552 2 1 tensor_199339 tensor_199345 tensor_199350 0=1 +Exp 553 1 1 tensor_199350 tensor_199351 +Split 554 1 2 tensor_199351 tensor_199352 tensor_199353 +Split 555 1 2 state_2_1 tensor_199354 tensor_199355 +Split 556 1 2 state_2_2 tensor_199356 tensor_199357 +BinaryOp 557 2 1 tensor_199349 tensor_199356 tensor_199358 0=2 +BinaryOp 558 2 1 tensor_199358 tensor_199353 tensor_199359 0=0 +BinaryOp 559 2 1 tensor_199352 tensor_199334 tensor_199360 0=2 +BinaryOp 560 2 1 tensor_199348 tensor_199354 tensor_199361 0=2 +BinaryOp 561 2 1 tensor_199361 tensor_199360 tensor_199362 0=0 +BinaryOp 562 2 1 tensor_199362 tensor_199359 tensor_199363 0=3 +MemoryData 563 0 1 blocks.2.att.time_decay 0=2560 21=0 +BinaryOp 564 2 1 blocks.2.att.time_decay tensor_199342 tensor_199365 0=0 +Split 565 1 2 tensor_199365 tensor_199366 tensor_199367 +BinaryOp 566 2 1 tensor_199366 tensor_199328 tensor_199368 0=4 +Split 567 1 3 tensor_199368 tensor_199369 tensor_199370 tensor_199371 +BinaryOp 568 2 1 tensor_199367 tensor_199369 tensor_199372 0=1 +Exp 569 1 1 tensor_199372 tensor_199373 +Split 570 1 2 tensor_199373 tensor_199374 tensor_199375 +BinaryOp 571 2 1 tensor_199329 tensor_199370 tensor_199376 0=1 +Exp 572 1 1 tensor_199376 tensor_199377 +Split 573 1 2 tensor_199377 tensor_199378 tensor_199379 +BinaryOp 574 2 1 tensor_199322 tensor_199363 tensor_199380 0=2 +GemvA32W4 575 1 1 tensor_199380 tensor_199384 0=2560 1=2560 11=8 22=16 +BinaryOp 576 2 1 tensor_199288 tensor_199384 tensor_199385 0=0 +BinaryOp 577 2 1 tensor_199378 tensor_199335 tensor_199386 0=2 +BinaryOp 578 2 1 tensor_199374 tensor_199355 tensor_199387 0=2 +BinaryOp 579 2 1 tensor_199387 tensor_199386 tensor_199388 0=0 +BinaryOp 580 2 1 tensor_199375 tensor_199357 tensor_199389 0=2 +BinaryOp 581 2 1 tensor_199389 tensor_199379 tensor_199390 0=0 +Split 582 1 1 tensor_199293 output_state_2_0 +Split 583 1 1 tensor_199388 output_state_2_1 +Split 584 1 1 tensor_199390 output_state_2_2 +Split 585 1 1 tensor_199371 output_state_2_3 +Split 586 1 2 tensor_199385 tensor_199395 tensor_199396 +LayerNorm 587 1 1 tensor_199395 tensor_199397 0=2560 1=1.000000e-05 2=1 +Split 588 1 3 tensor_199397 tensor_199398 tensor_199399 tensor_199400 +Split 589 1 2 state_2_4 tensor_199401 tensor_199402 +MemoryData 590 0 1 blocks.2.ffn.time_mix_k 0=2560 21=0 +Split 591 1 2 blocks.2.ffn.time_mix_k tensor_199404 tensor_199405 +MemoryData 592 0 1 blocks.2.ffn.time_mix_r 0=2560 21=0 +Split 593 1 2 blocks.2.ffn.time_mix_r tensor_199407 tensor_199408 +BinaryOp 594 1 1 tensor_199405 tensor_199409 0=7 1=1 2=1.000000e+00 +BinaryOp 595 2 1 tensor_199401 tensor_199409 tensor_199410 0=2 +BinaryOp 596 2 1 tensor_199398 tensor_199404 tensor_199411 0=2 +BinaryOp 597 2 1 tensor_199411 tensor_199410 tensor_199412 0=0 +BinaryOp 598 1 1 tensor_199408 tensor_199413 0=7 1=1 2=1.000000e+00 +BinaryOp 599 2 1 tensor_199402 tensor_199413 tensor_199414 0=2 +BinaryOp 600 2 1 tensor_199399 tensor_199407 tensor_199415 0=2 +BinaryOp 601 2 1 tensor_199415 tensor_199414 tensor_199416 0=0 +GemvA32W4 602 1 1 tensor_199416 tensor_199420 0=2560 1=2560 11=8 22=16 +Sigmoid 603 1 1 tensor_199420 tensor_199421 +GemvA32W4 604 1 1 tensor_199412 tensor_199425 0=10240 1=2560 11=8 22=16 +ReLU 605 1 1 tensor_199425 tensor_199426 +BinaryOp 606 2 1 tensor_199426 tensor_199426 tensor_199427 0=2 +GemvA32W4 607 1 1 tensor_199427 tensor_199431 0=2560 1=10240 11=8 22=16 +BinaryOp 608 2 1 tensor_199421 tensor_199431 tensor_199432 0=2 +BinaryOp 609 2 1 tensor_199396 tensor_199432 tensor_199433 0=0 +Split 610 1 1 tensor_199400 output_state_2_4 +Split 611 1 2 tensor_199433 tensor_199435 tensor_199436 +LayerNorm 612 1 1 tensor_199435 tensor_199437 0=2560 1=1.000000e-05 2=1 +Split 613 1 4 tensor_199437 tensor_199438 tensor_199439 tensor_199440 tensor_199441 +Split 614 1 3 state_3_0 tensor_199442 tensor_199443 tensor_199444 +MemoryData 615 0 1 blocks.3.att.time_mix_k 0=2560 21=0 +Split 616 1 2 blocks.3.att.time_mix_k tensor_199446 tensor_199447 +MemoryData 617 0 1 blocks.3.att.time_mix_v 0=2560 21=0 +Split 618 1 2 blocks.3.att.time_mix_v tensor_199449 tensor_199450 +MemoryData 619 0 1 blocks.3.att.time_mix_r 0=2560 21=0 +Split 620 1 2 blocks.3.att.time_mix_r tensor_199452 tensor_199453 +BinaryOp 621 1 1 tensor_199447 tensor_199454 0=7 1=1 2=1.000000e+00 +BinaryOp 622 2 1 tensor_199442 tensor_199454 tensor_199455 0=2 +BinaryOp 623 2 1 tensor_199438 tensor_199446 tensor_199456 0=2 +BinaryOp 624 2 1 tensor_199456 tensor_199455 tensor_199457 0=0 +BinaryOp 625 1 1 tensor_199450 tensor_199458 0=7 1=1 2=1.000000e+00 +BinaryOp 626 2 1 tensor_199443 tensor_199458 tensor_199459 0=2 +BinaryOp 627 2 1 tensor_199439 tensor_199449 tensor_199460 0=2 +BinaryOp 628 2 1 tensor_199460 tensor_199459 tensor_199461 0=0 +BinaryOp 629 1 1 tensor_199453 tensor_199462 0=7 1=1 2=1.000000e+00 +BinaryOp 630 2 1 tensor_199444 tensor_199462 tensor_199463 0=2 +BinaryOp 631 2 1 tensor_199440 tensor_199452 tensor_199464 0=2 +BinaryOp 632 2 1 tensor_199464 tensor_199463 tensor_199465 0=0 +GemvA32W4 633 1 1 tensor_199465 tensor_199469 0=2560 1=2560 11=8 22=16 +Sigmoid 634 1 1 tensor_199469 tensor_199470 +GemvA32W4 635 1 1 tensor_199457 tensor_199474 0=2560 1=2560 11=8 22=16 +Split 636 1 3 tensor_199474 tensor_199475 tensor_199476 tensor_199477 +GemvA32W4 637 1 1 tensor_199461 tensor_199481 0=2560 1=2560 11=8 22=16 +Split 638 1 2 tensor_199481 tensor_199482 tensor_199483 +MemoryData 639 0 1 blocks.3.att.time_first 0=2560 21=0 +BinaryOp 640 2 1 blocks.3.att.time_first tensor_199475 tensor_199485 0=0 +Split 641 1 2 tensor_199485 tensor_199486 tensor_199487 +Split 642 1 3 state_3_3 tensor_199488 tensor_199489 tensor_199490 +BinaryOp 643 2 1 tensor_199488 tensor_199486 tensor_199491 0=4 +Split 644 1 2 tensor_199491 tensor_199492 tensor_199493 +BinaryOp 645 2 1 tensor_199489 tensor_199492 tensor_199494 0=1 +Exp 646 1 1 tensor_199494 tensor_199495 +Split 647 1 2 tensor_199495 tensor_199496 tensor_199497 +BinaryOp 648 2 1 tensor_199487 tensor_199493 tensor_199498 0=1 +Exp 649 1 1 tensor_199498 tensor_199499 +Split 650 1 2 tensor_199499 tensor_199500 tensor_199501 +Split 651 1 2 state_3_1 tensor_199502 tensor_199503 +Split 652 1 2 state_3_2 tensor_199504 tensor_199505 +BinaryOp 653 2 1 tensor_199497 tensor_199504 tensor_199506 0=2 +BinaryOp 654 2 1 tensor_199506 tensor_199501 tensor_199507 0=0 +BinaryOp 655 2 1 tensor_199500 tensor_199482 tensor_199508 0=2 +BinaryOp 656 2 1 tensor_199496 tensor_199502 tensor_199509 0=2 +BinaryOp 657 2 1 tensor_199509 tensor_199508 tensor_199510 0=0 +BinaryOp 658 2 1 tensor_199510 tensor_199507 tensor_199511 0=3 +MemoryData 659 0 1 blocks.3.att.time_decay 0=2560 21=0 +BinaryOp 660 2 1 blocks.3.att.time_decay tensor_199490 tensor_199513 0=0 +Split 661 1 2 tensor_199513 tensor_199514 tensor_199515 +BinaryOp 662 2 1 tensor_199514 tensor_199476 tensor_199516 0=4 +Split 663 1 3 tensor_199516 tensor_199517 tensor_199518 tensor_199519 +BinaryOp 664 2 1 tensor_199515 tensor_199517 tensor_199520 0=1 +Exp 665 1 1 tensor_199520 tensor_199521 +Split 666 1 2 tensor_199521 tensor_199522 tensor_199523 +BinaryOp 667 2 1 tensor_199477 tensor_199518 tensor_199524 0=1 +Exp 668 1 1 tensor_199524 tensor_199525 +Split 669 1 2 tensor_199525 tensor_199526 tensor_199527 +BinaryOp 670 2 1 tensor_199470 tensor_199511 tensor_199528 0=2 +GemvA32W4 671 1 1 tensor_199528 tensor_199532 0=2560 1=2560 11=8 22=16 +BinaryOp 672 2 1 tensor_199436 tensor_199532 tensor_199533 0=0 +BinaryOp 673 2 1 tensor_199526 tensor_199483 tensor_199534 0=2 +BinaryOp 674 2 1 tensor_199522 tensor_199503 tensor_199535 0=2 +BinaryOp 675 2 1 tensor_199535 tensor_199534 tensor_199536 0=0 +BinaryOp 676 2 1 tensor_199523 tensor_199505 tensor_199537 0=2 +BinaryOp 677 2 1 tensor_199537 tensor_199527 tensor_199538 0=0 +Split 678 1 1 tensor_199441 output_state_3_0 +Split 679 1 1 tensor_199536 output_state_3_1 +Split 680 1 1 tensor_199538 output_state_3_2 +Split 681 1 1 tensor_199519 output_state_3_3 +Split 682 1 2 tensor_199533 tensor_199543 tensor_199544 +LayerNorm 683 1 1 tensor_199543 tensor_199545 0=2560 1=1.000000e-05 2=1 +Split 684 1 3 tensor_199545 tensor_199546 tensor_199547 tensor_199548 +Split 685 1 2 state_3_4 tensor_199549 tensor_199550 +MemoryData 686 0 1 blocks.3.ffn.time_mix_k 0=2560 21=0 +Split 687 1 2 blocks.3.ffn.time_mix_k tensor_199552 tensor_199553 +MemoryData 688 0 1 blocks.3.ffn.time_mix_r 0=2560 21=0 +Split 689 1 2 blocks.3.ffn.time_mix_r tensor_199555 tensor_199556 +BinaryOp 690 1 1 tensor_199553 tensor_199557 0=7 1=1 2=1.000000e+00 +BinaryOp 691 2 1 tensor_199549 tensor_199557 tensor_199558 0=2 +BinaryOp 692 2 1 tensor_199546 tensor_199552 tensor_199559 0=2 +BinaryOp 693 2 1 tensor_199559 tensor_199558 tensor_199560 0=0 +BinaryOp 694 1 1 tensor_199556 tensor_199561 0=7 1=1 2=1.000000e+00 +BinaryOp 695 2 1 tensor_199550 tensor_199561 tensor_199562 0=2 +BinaryOp 696 2 1 tensor_199547 tensor_199555 tensor_199563 0=2 +BinaryOp 697 2 1 tensor_199563 tensor_199562 tensor_199564 0=0 +GemvA32W4 698 1 1 tensor_199564 tensor_199568 0=2560 1=2560 11=8 22=16 +Sigmoid 699 1 1 tensor_199568 tensor_199569 +GemvA32W4 700 1 1 tensor_199560 tensor_199573 0=10240 1=2560 11=8 22=16 +ReLU 701 1 1 tensor_199573 tensor_199574 +BinaryOp 702 2 1 tensor_199574 tensor_199574 tensor_199575 0=2 +GemvA32W4 703 1 1 tensor_199575 tensor_199579 0=2560 1=10240 11=8 22=16 +BinaryOp 704 2 1 tensor_199569 tensor_199579 tensor_199580 0=2 +BinaryOp 705 2 1 tensor_199544 tensor_199580 tensor_199581 0=0 +Split 706 1 1 tensor_199548 output_state_3_4 +Split 707 1 2 tensor_199581 tensor_199583 tensor_199584 +LayerNorm 708 1 1 tensor_199583 tensor_199585 0=2560 1=1.000000e-05 2=1 +Split 709 1 4 tensor_199585 tensor_199586 tensor_199587 tensor_199588 tensor_199589 +Split 710 1 3 state_4_0 tensor_199590 tensor_199591 tensor_199592 +MemoryData 711 0 1 blocks.4.att.time_mix_k 0=2560 21=0 +Split 712 1 2 blocks.4.att.time_mix_k tensor_199594 tensor_199595 +MemoryData 713 0 1 blocks.4.att.time_mix_v 0=2560 21=0 +Split 714 1 2 blocks.4.att.time_mix_v tensor_199597 tensor_199598 +MemoryData 715 0 1 blocks.4.att.time_mix_r 0=2560 21=0 +Split 716 1 2 blocks.4.att.time_mix_r tensor_199600 tensor_199601 +BinaryOp 717 1 1 tensor_199595 tensor_199602 0=7 1=1 2=1.000000e+00 +BinaryOp 718 2 1 tensor_199590 tensor_199602 tensor_199603 0=2 +BinaryOp 719 2 1 tensor_199586 tensor_199594 tensor_199604 0=2 +BinaryOp 720 2 1 tensor_199604 tensor_199603 tensor_199605 0=0 +BinaryOp 721 1 1 tensor_199598 tensor_199606 0=7 1=1 2=1.000000e+00 +BinaryOp 722 2 1 tensor_199591 tensor_199606 tensor_199607 0=2 +BinaryOp 723 2 1 tensor_199587 tensor_199597 tensor_199608 0=2 +BinaryOp 724 2 1 tensor_199608 tensor_199607 tensor_199609 0=0 +BinaryOp 725 1 1 tensor_199601 tensor_199610 0=7 1=1 2=1.000000e+00 +BinaryOp 726 2 1 tensor_199592 tensor_199610 tensor_199611 0=2 +BinaryOp 727 2 1 tensor_199588 tensor_199600 tensor_199612 0=2 +BinaryOp 728 2 1 tensor_199612 tensor_199611 tensor_199613 0=0 +GemvA32W4 729 1 1 tensor_199613 tensor_199617 0=2560 1=2560 11=8 22=16 +Sigmoid 730 1 1 tensor_199617 tensor_199618 +GemvA32W4 731 1 1 tensor_199605 tensor_199622 0=2560 1=2560 11=8 22=16 +Split 732 1 3 tensor_199622 tensor_199623 tensor_199624 tensor_199625 +GemvA32W4 733 1 1 tensor_199609 tensor_199629 0=2560 1=2560 11=8 22=16 +Split 734 1 2 tensor_199629 tensor_199630 tensor_199631 +MemoryData 735 0 1 blocks.4.att.time_first 0=2560 21=0 +BinaryOp 736 2 1 blocks.4.att.time_first tensor_199623 tensor_199633 0=0 +Split 737 1 2 tensor_199633 tensor_199634 tensor_199635 +Split 738 1 3 state_4_3 tensor_199636 tensor_199637 tensor_199638 +BinaryOp 739 2 1 tensor_199636 tensor_199634 tensor_199639 0=4 +Split 740 1 2 tensor_199639 tensor_199640 tensor_199641 +BinaryOp 741 2 1 tensor_199637 tensor_199640 tensor_199642 0=1 +Exp 742 1 1 tensor_199642 tensor_199643 +Split 743 1 2 tensor_199643 tensor_199644 tensor_199645 +BinaryOp 744 2 1 tensor_199635 tensor_199641 tensor_199646 0=1 +Exp 745 1 1 tensor_199646 tensor_199647 +Split 746 1 2 tensor_199647 tensor_199648 tensor_199649 +Split 747 1 2 state_4_1 tensor_199650 tensor_199651 +Split 748 1 2 state_4_2 tensor_199652 tensor_199653 +BinaryOp 749 2 1 tensor_199645 tensor_199652 tensor_199654 0=2 +BinaryOp 750 2 1 tensor_199654 tensor_199649 tensor_199655 0=0 +BinaryOp 751 2 1 tensor_199648 tensor_199630 tensor_199656 0=2 +BinaryOp 752 2 1 tensor_199644 tensor_199650 tensor_199657 0=2 +BinaryOp 753 2 1 tensor_199657 tensor_199656 tensor_199658 0=0 +BinaryOp 754 2 1 tensor_199658 tensor_199655 tensor_199659 0=3 +MemoryData 755 0 1 blocks.4.att.time_decay 0=2560 21=0 +BinaryOp 756 2 1 blocks.4.att.time_decay tensor_199638 tensor_199661 0=0 +Split 757 1 2 tensor_199661 tensor_199662 tensor_199663 +BinaryOp 758 2 1 tensor_199662 tensor_199624 tensor_199664 0=4 +Split 759 1 3 tensor_199664 tensor_199665 tensor_199666 tensor_199667 +BinaryOp 760 2 1 tensor_199663 tensor_199665 tensor_199668 0=1 +Exp 761 1 1 tensor_199668 tensor_199669 +Split 762 1 2 tensor_199669 tensor_199670 tensor_199671 +BinaryOp 763 2 1 tensor_199625 tensor_199666 tensor_199672 0=1 +Exp 764 1 1 tensor_199672 tensor_199673 +Split 765 1 2 tensor_199673 tensor_199674 tensor_199675 +BinaryOp 766 2 1 tensor_199618 tensor_199659 tensor_199676 0=2 +GemvA32W4 767 1 1 tensor_199676 tensor_199680 0=2560 1=2560 11=8 22=16 +BinaryOp 768 2 1 tensor_199584 tensor_199680 tensor_199681 0=0 +BinaryOp 769 2 1 tensor_199674 tensor_199631 tensor_199682 0=2 +BinaryOp 770 2 1 tensor_199670 tensor_199651 tensor_199683 0=2 +BinaryOp 771 2 1 tensor_199683 tensor_199682 tensor_199684 0=0 +BinaryOp 772 2 1 tensor_199671 tensor_199653 tensor_199685 0=2 +BinaryOp 773 2 1 tensor_199685 tensor_199675 tensor_199686 0=0 +Split 774 1 1 tensor_199589 output_state_4_0 +Split 775 1 1 tensor_199684 output_state_4_1 +Split 776 1 1 tensor_199686 output_state_4_2 +Split 777 1 1 tensor_199667 output_state_4_3 +Split 778 1 2 tensor_199681 tensor_199691 tensor_199692 +LayerNorm 779 1 1 tensor_199691 tensor_199693 0=2560 1=1.000000e-05 2=1 +Split 780 1 3 tensor_199693 tensor_199694 tensor_199695 tensor_199696 +Split 781 1 2 state_4_4 tensor_199697 tensor_199698 +MemoryData 782 0 1 blocks.4.ffn.time_mix_k 0=2560 21=0 +Split 783 1 2 blocks.4.ffn.time_mix_k tensor_199700 tensor_199701 +MemoryData 784 0 1 blocks.4.ffn.time_mix_r 0=2560 21=0 +Split 785 1 2 blocks.4.ffn.time_mix_r tensor_199703 tensor_199704 +BinaryOp 786 1 1 tensor_199701 tensor_199705 0=7 1=1 2=1.000000e+00 +BinaryOp 787 2 1 tensor_199697 tensor_199705 tensor_199706 0=2 +BinaryOp 788 2 1 tensor_199694 tensor_199700 tensor_199707 0=2 +BinaryOp 789 2 1 tensor_199707 tensor_199706 tensor_199708 0=0 +BinaryOp 790 1 1 tensor_199704 tensor_199709 0=7 1=1 2=1.000000e+00 +BinaryOp 791 2 1 tensor_199698 tensor_199709 tensor_199710 0=2 +BinaryOp 792 2 1 tensor_199695 tensor_199703 tensor_199711 0=2 +BinaryOp 793 2 1 tensor_199711 tensor_199710 tensor_199712 0=0 +GemvA32W4 794 1 1 tensor_199712 tensor_199716 0=2560 1=2560 11=8 22=16 +Sigmoid 795 1 1 tensor_199716 tensor_199717 +GemvA32W4 796 1 1 tensor_199708 tensor_199721 0=10240 1=2560 11=8 22=16 +ReLU 797 1 1 tensor_199721 tensor_199722 +BinaryOp 798 2 1 tensor_199722 tensor_199722 tensor_199723 0=2 +GemvA32W4 799 1 1 tensor_199723 tensor_199727 0=2560 1=10240 11=8 22=16 +BinaryOp 800 2 1 tensor_199717 tensor_199727 tensor_199728 0=2 +BinaryOp 801 2 1 tensor_199692 tensor_199728 tensor_199729 0=0 +Split 802 1 1 tensor_199696 output_state_4_4 +Split 803 1 2 tensor_199729 tensor_199731 tensor_199732 +LayerNorm 804 1 1 tensor_199731 tensor_199733 0=2560 1=1.000000e-05 2=1 +Split 805 1 4 tensor_199733 tensor_199734 tensor_199735 tensor_199736 tensor_199737 +Split 806 1 3 state_5_0 tensor_199738 tensor_199739 tensor_199740 +MemoryData 807 0 1 blocks.5.att.time_mix_k 0=2560 21=0 +Split 808 1 2 blocks.5.att.time_mix_k tensor_199742 tensor_199743 +MemoryData 809 0 1 blocks.5.att.time_mix_v 0=2560 21=0 +Split 810 1 2 blocks.5.att.time_mix_v tensor_199745 tensor_199746 +MemoryData 811 0 1 blocks.5.att.time_mix_r 0=2560 21=0 +Split 812 1 2 blocks.5.att.time_mix_r tensor_199748 tensor_199749 +BinaryOp 813 1 1 tensor_199743 tensor_199750 0=7 1=1 2=1.000000e+00 +BinaryOp 814 2 1 tensor_199738 tensor_199750 tensor_199751 0=2 +BinaryOp 815 2 1 tensor_199734 tensor_199742 tensor_199752 0=2 +BinaryOp 816 2 1 tensor_199752 tensor_199751 tensor_199753 0=0 +BinaryOp 817 1 1 tensor_199746 tensor_199754 0=7 1=1 2=1.000000e+00 +BinaryOp 818 2 1 tensor_199739 tensor_199754 tensor_199755 0=2 +BinaryOp 819 2 1 tensor_199735 tensor_199745 tensor_199756 0=2 +BinaryOp 820 2 1 tensor_199756 tensor_199755 tensor_199757 0=0 +BinaryOp 821 1 1 tensor_199749 tensor_199758 0=7 1=1 2=1.000000e+00 +BinaryOp 822 2 1 tensor_199740 tensor_199758 tensor_199759 0=2 +BinaryOp 823 2 1 tensor_199736 tensor_199748 tensor_199760 0=2 +BinaryOp 824 2 1 tensor_199760 tensor_199759 tensor_199761 0=0 +GemvA32W4 825 1 1 tensor_199761 tensor_199765 0=2560 1=2560 11=8 22=16 +Sigmoid 826 1 1 tensor_199765 tensor_199766 +GemvA32W4 827 1 1 tensor_199753 tensor_199770 0=2560 1=2560 11=8 22=16 +Split 828 1 3 tensor_199770 tensor_199771 tensor_199772 tensor_199773 +GemvA32W4 829 1 1 tensor_199757 tensor_199777 0=2560 1=2560 11=8 22=16 +Split 830 1 2 tensor_199777 tensor_199778 tensor_199779 +MemoryData 831 0 1 blocks.5.att.time_first 0=2560 21=0 +BinaryOp 832 2 1 blocks.5.att.time_first tensor_199771 tensor_199781 0=0 +Split 833 1 2 tensor_199781 tensor_199782 tensor_199783 +Split 834 1 3 state_5_3 tensor_199784 tensor_199785 tensor_199786 +BinaryOp 835 2 1 tensor_199784 tensor_199782 tensor_199787 0=4 +Split 836 1 2 tensor_199787 tensor_199788 tensor_199789 +BinaryOp 837 2 1 tensor_199785 tensor_199788 tensor_199790 0=1 +Exp 838 1 1 tensor_199790 tensor_199791 +Split 839 1 2 tensor_199791 tensor_199792 tensor_199793 +BinaryOp 840 2 1 tensor_199783 tensor_199789 tensor_199794 0=1 +Exp 841 1 1 tensor_199794 tensor_199795 +Split 842 1 2 tensor_199795 tensor_199796 tensor_199797 +Split 843 1 2 state_5_1 tensor_199798 tensor_199799 +Split 844 1 2 state_5_2 tensor_199800 tensor_199801 +BinaryOp 845 2 1 tensor_199793 tensor_199800 tensor_199802 0=2 +BinaryOp 846 2 1 tensor_199802 tensor_199797 tensor_199803 0=0 +BinaryOp 847 2 1 tensor_199796 tensor_199778 tensor_199804 0=2 +BinaryOp 848 2 1 tensor_199792 tensor_199798 tensor_199805 0=2 +BinaryOp 849 2 1 tensor_199805 tensor_199804 tensor_199806 0=0 +BinaryOp 850 2 1 tensor_199806 tensor_199803 tensor_199807 0=3 +MemoryData 851 0 1 blocks.5.att.time_decay 0=2560 21=0 +BinaryOp 852 2 1 blocks.5.att.time_decay tensor_199786 tensor_199809 0=0 +Split 853 1 2 tensor_199809 tensor_199810 tensor_199811 +BinaryOp 854 2 1 tensor_199810 tensor_199772 tensor_199812 0=4 +Split 855 1 3 tensor_199812 tensor_199813 tensor_199814 tensor_199815 +BinaryOp 856 2 1 tensor_199811 tensor_199813 tensor_199816 0=1 +Exp 857 1 1 tensor_199816 tensor_199817 +Split 858 1 2 tensor_199817 tensor_199818 tensor_199819 +BinaryOp 859 2 1 tensor_199773 tensor_199814 tensor_199820 0=1 +Exp 860 1 1 tensor_199820 tensor_199821 +Split 861 1 2 tensor_199821 tensor_199822 tensor_199823 +BinaryOp 862 2 1 tensor_199766 tensor_199807 tensor_199824 0=2 +GemvA32W4 863 1 1 tensor_199824 tensor_199828 0=2560 1=2560 11=8 22=16 +BinaryOp 864 2 1 tensor_199732 tensor_199828 tensor_199829 0=0 +BinaryOp 865 2 1 tensor_199822 tensor_199779 tensor_199830 0=2 +BinaryOp 866 2 1 tensor_199818 tensor_199799 tensor_199831 0=2 +BinaryOp 867 2 1 tensor_199831 tensor_199830 tensor_199832 0=0 +BinaryOp 868 2 1 tensor_199819 tensor_199801 tensor_199833 0=2 +BinaryOp 869 2 1 tensor_199833 tensor_199823 tensor_199834 0=0 +Split 870 1 1 tensor_199737 output_state_5_0 +Split 871 1 1 tensor_199832 output_state_5_1 +Split 872 1 1 tensor_199834 output_state_5_2 +Split 873 1 1 tensor_199815 output_state_5_3 +Split 874 1 2 tensor_199829 tensor_199839 tensor_199840 +LayerNorm 875 1 1 tensor_199839 tensor_199841 0=2560 1=1.000000e-05 2=1 +Split 876 1 3 tensor_199841 tensor_199842 tensor_199843 tensor_199844 +Split 877 1 2 state_5_4 tensor_199845 tensor_199846 +MemoryData 878 0 1 blocks.5.ffn.time_mix_k 0=2560 21=0 +Split 879 1 2 blocks.5.ffn.time_mix_k tensor_199848 tensor_199849 +MemoryData 880 0 1 blocks.5.ffn.time_mix_r 0=2560 21=0 +Split 881 1 2 blocks.5.ffn.time_mix_r tensor_199851 tensor_199852 +BinaryOp 882 1 1 tensor_199849 tensor_199853 0=7 1=1 2=1.000000e+00 +BinaryOp 883 2 1 tensor_199845 tensor_199853 tensor_199854 0=2 +BinaryOp 884 2 1 tensor_199842 tensor_199848 tensor_199855 0=2 +BinaryOp 885 2 1 tensor_199855 tensor_199854 tensor_199856 0=0 +BinaryOp 886 1 1 tensor_199852 tensor_199857 0=7 1=1 2=1.000000e+00 +BinaryOp 887 2 1 tensor_199846 tensor_199857 tensor_199858 0=2 +BinaryOp 888 2 1 tensor_199843 tensor_199851 tensor_199859 0=2 +BinaryOp 889 2 1 tensor_199859 tensor_199858 tensor_199860 0=0 +GemvA32W4 890 1 1 tensor_199860 tensor_199864 0=2560 1=2560 11=8 22=16 +Sigmoid 891 1 1 tensor_199864 tensor_199865 +GemvA32W4 892 1 1 tensor_199856 tensor_199869 0=10240 1=2560 11=8 22=16 +ReLU 893 1 1 tensor_199869 tensor_199870 +BinaryOp 894 2 1 tensor_199870 tensor_199870 tensor_199871 0=2 +GemvA32W4 895 1 1 tensor_199871 tensor_199875 0=2560 1=10240 11=8 22=16 +BinaryOp 896 2 1 tensor_199865 tensor_199875 tensor_199876 0=2 +BinaryOp 897 2 1 tensor_199840 tensor_199876 tensor_199877 0=0 +Split 898 1 1 tensor_199844 output_state_5_4 +Split 899 1 2 tensor_199877 tensor_199879 tensor_199880 +LayerNorm 900 1 1 tensor_199879 tensor_199881 0=2560 1=1.000000e-05 2=1 +Split 901 1 4 tensor_199881 tensor_199882 tensor_199883 tensor_199884 tensor_199885 +Split 902 1 3 state_6_0 tensor_199886 tensor_199887 tensor_199888 +MemoryData 903 0 1 blocks.6.att.time_mix_k 0=2560 21=0 +Split 904 1 2 blocks.6.att.time_mix_k tensor_199890 tensor_199891 +MemoryData 905 0 1 blocks.6.att.time_mix_v 0=2560 21=0 +Split 906 1 2 blocks.6.att.time_mix_v tensor_199893 tensor_199894 +MemoryData 907 0 1 blocks.6.att.time_mix_r 0=2560 21=0 +Split 908 1 2 blocks.6.att.time_mix_r tensor_199896 tensor_199897 +BinaryOp 909 1 1 tensor_199891 tensor_199898 0=7 1=1 2=1.000000e+00 +BinaryOp 910 2 1 tensor_199886 tensor_199898 tensor_199899 0=2 +BinaryOp 911 2 1 tensor_199882 tensor_199890 tensor_199900 0=2 +BinaryOp 912 2 1 tensor_199900 tensor_199899 tensor_199901 0=0 +BinaryOp 913 1 1 tensor_199894 tensor_199902 0=7 1=1 2=1.000000e+00 +BinaryOp 914 2 1 tensor_199887 tensor_199902 tensor_199903 0=2 +BinaryOp 915 2 1 tensor_199883 tensor_199893 tensor_199904 0=2 +BinaryOp 916 2 1 tensor_199904 tensor_199903 tensor_199905 0=0 +BinaryOp 917 1 1 tensor_199897 tensor_199906 0=7 1=1 2=1.000000e+00 +BinaryOp 918 2 1 tensor_199888 tensor_199906 tensor_199907 0=2 +BinaryOp 919 2 1 tensor_199884 tensor_199896 tensor_199908 0=2 +BinaryOp 920 2 1 tensor_199908 tensor_199907 tensor_199909 0=0 +GemvA32W4 921 1 1 tensor_199909 tensor_199913 0=2560 1=2560 11=8 22=16 +Sigmoid 922 1 1 tensor_199913 tensor_199914 +GemvA32W4 923 1 1 tensor_199901 tensor_199918 0=2560 1=2560 11=8 22=16 +Split 924 1 3 tensor_199918 tensor_199919 tensor_199920 tensor_199921 +GemvA32W4 925 1 1 tensor_199905 tensor_199925 0=2560 1=2560 11=8 22=16 +Split 926 1 2 tensor_199925 tensor_199926 tensor_199927 +MemoryData 927 0 1 blocks.6.att.time_first 0=2560 21=0 +BinaryOp 928 2 1 blocks.6.att.time_first tensor_199919 tensor_199929 0=0 +Split 929 1 2 tensor_199929 tensor_199930 tensor_199931 +Split 930 1 3 state_6_3 tensor_199932 tensor_199933 tensor_199934 +BinaryOp 931 2 1 tensor_199932 tensor_199930 tensor_199935 0=4 +Split 932 1 2 tensor_199935 tensor_199936 tensor_199937 +BinaryOp 933 2 1 tensor_199933 tensor_199936 tensor_199938 0=1 +Exp 934 1 1 tensor_199938 tensor_199939 +Split 935 1 2 tensor_199939 tensor_199940 tensor_199941 +BinaryOp 936 2 1 tensor_199931 tensor_199937 tensor_199942 0=1 +Exp 937 1 1 tensor_199942 tensor_199943 +Split 938 1 2 tensor_199943 tensor_199944 tensor_199945 +Split 939 1 2 state_6_1 tensor_199946 tensor_199947 +Split 940 1 2 state_6_2 tensor_199948 tensor_199949 +BinaryOp 941 2 1 tensor_199941 tensor_199948 tensor_199950 0=2 +BinaryOp 942 2 1 tensor_199950 tensor_199945 tensor_199951 0=0 +BinaryOp 943 2 1 tensor_199944 tensor_199926 tensor_199952 0=2 +BinaryOp 944 2 1 tensor_199940 tensor_199946 tensor_199953 0=2 +BinaryOp 945 2 1 tensor_199953 tensor_199952 tensor_199954 0=0 +BinaryOp 946 2 1 tensor_199954 tensor_199951 tensor_199955 0=3 +MemoryData 947 0 1 blocks.6.att.time_decay 0=2560 21=0 +BinaryOp 948 2 1 blocks.6.att.time_decay tensor_199934 tensor_199957 0=0 +Split 949 1 2 tensor_199957 tensor_199958 tensor_199959 +BinaryOp 950 2 1 tensor_199958 tensor_199920 tensor_199960 0=4 +Split 951 1 3 tensor_199960 tensor_199961 tensor_199962 tensor_199963 +BinaryOp 952 2 1 tensor_199959 tensor_199961 tensor_199964 0=1 +Exp 953 1 1 tensor_199964 tensor_199965 +Split 954 1 2 tensor_199965 tensor_199966 tensor_199967 +BinaryOp 955 2 1 tensor_199921 tensor_199962 tensor_199968 0=1 +Exp 956 1 1 tensor_199968 tensor_199969 +Split 957 1 2 tensor_199969 tensor_199970 tensor_199971 +BinaryOp 958 2 1 tensor_199914 tensor_199955 tensor_199972 0=2 +GemvA32W4 959 1 1 tensor_199972 tensor_199976 0=2560 1=2560 11=8 22=16 +BinaryOp 960 2 1 tensor_199880 tensor_199976 tensor_199977 0=0 +BinaryOp 961 2 1 tensor_199970 tensor_199927 tensor_199978 0=2 +BinaryOp 962 2 1 tensor_199966 tensor_199947 tensor_199979 0=2 +BinaryOp 963 2 1 tensor_199979 tensor_199978 tensor_199980 0=0 +BinaryOp 964 2 1 tensor_199967 tensor_199949 tensor_199981 0=2 +BinaryOp 965 2 1 tensor_199981 tensor_199971 tensor_199982 0=0 +Split 966 1 1 tensor_199885 output_state_6_0 +Split 967 1 1 tensor_199980 output_state_6_1 +Split 968 1 1 tensor_199982 output_state_6_2 +Split 969 1 1 tensor_199963 output_state_6_3 +Split 970 1 2 tensor_199977 tensor_199987 tensor_199988 +LayerNorm 971 1 1 tensor_199987 tensor_199989 0=2560 1=1.000000e-05 2=1 +Split 972 1 3 tensor_199989 tensor_199990 tensor_199991 tensor_199992 +Split 973 1 2 state_6_4 tensor_199993 tensor_199994 +MemoryData 974 0 1 blocks.6.ffn.time_mix_k 0=2560 21=0 +Split 975 1 2 blocks.6.ffn.time_mix_k tensor_199996 tensor_199997 +MemoryData 976 0 1 blocks.6.ffn.time_mix_r 0=2560 21=0 +Split 977 1 2 blocks.6.ffn.time_mix_r tensor_199999 tensor_200000 +BinaryOp 978 1 1 tensor_199997 tensor_200001 0=7 1=1 2=1.000000e+00 +BinaryOp 979 2 1 tensor_199993 tensor_200001 tensor_200002 0=2 +BinaryOp 980 2 1 tensor_199990 tensor_199996 tensor_200003 0=2 +BinaryOp 981 2 1 tensor_200003 tensor_200002 tensor_200004 0=0 +BinaryOp 982 1 1 tensor_200000 tensor_200005 0=7 1=1 2=1.000000e+00 +BinaryOp 983 2 1 tensor_199994 tensor_200005 tensor_200006 0=2 +BinaryOp 984 2 1 tensor_199991 tensor_199999 tensor_200007 0=2 +BinaryOp 985 2 1 tensor_200007 tensor_200006 tensor_200008 0=0 +GemvA32W4 986 1 1 tensor_200008 tensor_200012 0=2560 1=2560 11=8 22=16 +Sigmoid 987 1 1 tensor_200012 tensor_200013 +GemvA32W4 988 1 1 tensor_200004 tensor_200017 0=10240 1=2560 11=8 22=16 +ReLU 989 1 1 tensor_200017 tensor_200018 +BinaryOp 990 2 1 tensor_200018 tensor_200018 tensor_200019 0=2 +GemvA32W4 991 1 1 tensor_200019 tensor_200023 0=2560 1=10240 11=8 22=16 +BinaryOp 992 2 1 tensor_200013 tensor_200023 tensor_200024 0=2 +BinaryOp 993 2 1 tensor_199988 tensor_200024 tensor_200025 0=0 +Split 994 1 1 tensor_199992 output_state_6_4 +Split 995 1 2 tensor_200025 tensor_200027 tensor_200028 +LayerNorm 996 1 1 tensor_200027 tensor_200029 0=2560 1=1.000000e-05 2=1 +Split 997 1 4 tensor_200029 tensor_200030 tensor_200031 tensor_200032 tensor_200033 +Split 998 1 3 state_7_0 tensor_200034 tensor_200035 tensor_200036 +MemoryData 999 0 1 blocks.7.att.time_mix_k 0=2560 21=0 +Split 1000 1 2 blocks.7.att.time_mix_k tensor_200038 tensor_200039 +MemoryData 1001 0 1 blocks.7.att.time_mix_v 0=2560 21=0 +Split 1002 1 2 blocks.7.att.time_mix_v tensor_200041 tensor_200042 +MemoryData 1003 0 1 blocks.7.att.time_mix_r 0=2560 21=0 +Split 1004 1 2 blocks.7.att.time_mix_r tensor_200044 tensor_200045 +BinaryOp 1005 1 1 tensor_200039 tensor_200046 0=7 1=1 2=1.000000e+00 +BinaryOp 1006 2 1 tensor_200034 tensor_200046 tensor_200047 0=2 +BinaryOp 1007 2 1 tensor_200030 tensor_200038 tensor_200048 0=2 +BinaryOp 1008 2 1 tensor_200048 tensor_200047 tensor_200049 0=0 +BinaryOp 1009 1 1 tensor_200042 tensor_200050 0=7 1=1 2=1.000000e+00 +BinaryOp 1010 2 1 tensor_200035 tensor_200050 tensor_200051 0=2 +BinaryOp 1011 2 1 tensor_200031 tensor_200041 tensor_200052 0=2 +BinaryOp 1012 2 1 tensor_200052 tensor_200051 tensor_200053 0=0 +BinaryOp 1013 1 1 tensor_200045 tensor_200054 0=7 1=1 2=1.000000e+00 +BinaryOp 1014 2 1 tensor_200036 tensor_200054 tensor_200055 0=2 +BinaryOp 1015 2 1 tensor_200032 tensor_200044 tensor_200056 0=2 +BinaryOp 1016 2 1 tensor_200056 tensor_200055 tensor_200057 0=0 +GemvA32W4 1017 1 1 tensor_200057 tensor_200061 0=2560 1=2560 11=8 22=16 +Sigmoid 1018 1 1 tensor_200061 tensor_200062 +GemvA32W4 1019 1 1 tensor_200049 tensor_200066 0=2560 1=2560 11=8 22=16 +Split 1020 1 3 tensor_200066 tensor_200067 tensor_200068 tensor_200069 +GemvA32W4 1021 1 1 tensor_200053 tensor_200073 0=2560 1=2560 11=8 22=16 +Split 1022 1 2 tensor_200073 tensor_200074 tensor_200075 +MemoryData 1023 0 1 blocks.7.att.time_first 0=2560 21=0 +BinaryOp 1024 2 1 blocks.7.att.time_first tensor_200067 tensor_200077 0=0 +Split 1025 1 2 tensor_200077 tensor_200078 tensor_200079 +Split 1026 1 3 state_7_3 tensor_200080 tensor_200081 tensor_200082 +BinaryOp 1027 2 1 tensor_200080 tensor_200078 tensor_200083 0=4 +Split 1028 1 2 tensor_200083 tensor_200084 tensor_200085 +BinaryOp 1029 2 1 tensor_200081 tensor_200084 tensor_200086 0=1 +Exp 1030 1 1 tensor_200086 tensor_200087 +Split 1031 1 2 tensor_200087 tensor_200088 tensor_200089 +BinaryOp 1032 2 1 tensor_200079 tensor_200085 tensor_200090 0=1 +Exp 1033 1 1 tensor_200090 tensor_200091 +Split 1034 1 2 tensor_200091 tensor_200092 tensor_200093 +Split 1035 1 2 state_7_1 tensor_200094 tensor_200095 +Split 1036 1 2 state_7_2 tensor_200096 tensor_200097 +BinaryOp 1037 2 1 tensor_200089 tensor_200096 tensor_200098 0=2 +BinaryOp 1038 2 1 tensor_200098 tensor_200093 tensor_200099 0=0 +BinaryOp 1039 2 1 tensor_200092 tensor_200074 tensor_200100 0=2 +BinaryOp 1040 2 1 tensor_200088 tensor_200094 tensor_200101 0=2 +BinaryOp 1041 2 1 tensor_200101 tensor_200100 tensor_200102 0=0 +BinaryOp 1042 2 1 tensor_200102 tensor_200099 tensor_200103 0=3 +MemoryData 1043 0 1 blocks.7.att.time_decay 0=2560 21=0 +BinaryOp 1044 2 1 blocks.7.att.time_decay tensor_200082 tensor_200105 0=0 +Split 1045 1 2 tensor_200105 tensor_200106 tensor_200107 +BinaryOp 1046 2 1 tensor_200106 tensor_200068 tensor_200108 0=4 +Split 1047 1 3 tensor_200108 tensor_200109 tensor_200110 tensor_200111 +BinaryOp 1048 2 1 tensor_200107 tensor_200109 tensor_200112 0=1 +Exp 1049 1 1 tensor_200112 tensor_200113 +Split 1050 1 2 tensor_200113 tensor_200114 tensor_200115 +BinaryOp 1051 2 1 tensor_200069 tensor_200110 tensor_200116 0=1 +Exp 1052 1 1 tensor_200116 tensor_200117 +Split 1053 1 2 tensor_200117 tensor_200118 tensor_200119 +BinaryOp 1054 2 1 tensor_200062 tensor_200103 tensor_200120 0=2 +GemvA32W4 1055 1 1 tensor_200120 tensor_200124 0=2560 1=2560 11=8 22=16 +BinaryOp 1056 2 1 tensor_200028 tensor_200124 tensor_200125 0=0 +BinaryOp 1057 2 1 tensor_200118 tensor_200075 tensor_200126 0=2 +BinaryOp 1058 2 1 tensor_200114 tensor_200095 tensor_200127 0=2 +BinaryOp 1059 2 1 tensor_200127 tensor_200126 tensor_200128 0=0 +BinaryOp 1060 2 1 tensor_200115 tensor_200097 tensor_200129 0=2 +BinaryOp 1061 2 1 tensor_200129 tensor_200119 tensor_200130 0=0 +Split 1062 1 1 tensor_200033 output_state_7_0 +Split 1063 1 1 tensor_200128 output_state_7_1 +Split 1064 1 1 tensor_200130 output_state_7_2 +Split 1065 1 1 tensor_200111 output_state_7_3 +Split 1066 1 2 tensor_200125 tensor_200135 tensor_200136 +LayerNorm 1067 1 1 tensor_200135 tensor_200137 0=2560 1=1.000000e-05 2=1 +Split 1068 1 3 tensor_200137 tensor_200138 tensor_200139 tensor_200140 +Split 1069 1 2 state_7_4 tensor_200141 tensor_200142 +MemoryData 1070 0 1 blocks.7.ffn.time_mix_k 0=2560 21=0 +Split 1071 1 2 blocks.7.ffn.time_mix_k tensor_200144 tensor_200145 +MemoryData 1072 0 1 blocks.7.ffn.time_mix_r 0=2560 21=0 +Split 1073 1 2 blocks.7.ffn.time_mix_r tensor_200147 tensor_200148 +BinaryOp 1074 1 1 tensor_200145 tensor_200149 0=7 1=1 2=1.000000e+00 +BinaryOp 1075 2 1 tensor_200141 tensor_200149 tensor_200150 0=2 +BinaryOp 1076 2 1 tensor_200138 tensor_200144 tensor_200151 0=2 +BinaryOp 1077 2 1 tensor_200151 tensor_200150 tensor_200152 0=0 +BinaryOp 1078 1 1 tensor_200148 tensor_200153 0=7 1=1 2=1.000000e+00 +BinaryOp 1079 2 1 tensor_200142 tensor_200153 tensor_200154 0=2 +BinaryOp 1080 2 1 tensor_200139 tensor_200147 tensor_200155 0=2 +BinaryOp 1081 2 1 tensor_200155 tensor_200154 tensor_200156 0=0 +GemvA32W4 1082 1 1 tensor_200156 tensor_200160 0=2560 1=2560 11=8 22=16 +Sigmoid 1083 1 1 tensor_200160 tensor_200161 +GemvA32W4 1084 1 1 tensor_200152 tensor_200165 0=10240 1=2560 11=8 22=16 +ReLU 1085 1 1 tensor_200165 tensor_200166 +BinaryOp 1086 2 1 tensor_200166 tensor_200166 tensor_200167 0=2 +GemvA32W4 1087 1 1 tensor_200167 tensor_200171 0=2560 1=10240 11=8 22=16 +BinaryOp 1088 2 1 tensor_200161 tensor_200171 tensor_200172 0=2 +BinaryOp 1089 2 1 tensor_200136 tensor_200172 tensor_200173 0=0 +Split 1090 1 1 tensor_200140 output_state_7_4 +Split 1091 1 2 tensor_200173 tensor_200175 tensor_200176 +LayerNorm 1092 1 1 tensor_200175 tensor_200177 0=2560 1=1.000000e-05 2=1 +Split 1093 1 4 tensor_200177 tensor_200178 tensor_200179 tensor_200180 tensor_200181 +Split 1094 1 3 state_8_0 tensor_200182 tensor_200183 tensor_200184 +MemoryData 1095 0 1 blocks.8.att.time_mix_k 0=2560 21=0 +Split 1096 1 2 blocks.8.att.time_mix_k tensor_200186 tensor_200187 +MemoryData 1097 0 1 blocks.8.att.time_mix_v 0=2560 21=0 +Split 1098 1 2 blocks.8.att.time_mix_v tensor_200189 tensor_200190 +MemoryData 1099 0 1 blocks.8.att.time_mix_r 0=2560 21=0 +Split 1100 1 2 blocks.8.att.time_mix_r tensor_200192 tensor_200193 +BinaryOp 1101 1 1 tensor_200187 tensor_200194 0=7 1=1 2=1.000000e+00 +BinaryOp 1102 2 1 tensor_200182 tensor_200194 tensor_200195 0=2 +BinaryOp 1103 2 1 tensor_200178 tensor_200186 tensor_200196 0=2 +BinaryOp 1104 2 1 tensor_200196 tensor_200195 tensor_200197 0=0 +BinaryOp 1105 1 1 tensor_200190 tensor_200198 0=7 1=1 2=1.000000e+00 +BinaryOp 1106 2 1 tensor_200183 tensor_200198 tensor_200199 0=2 +BinaryOp 1107 2 1 tensor_200179 tensor_200189 tensor_200200 0=2 +BinaryOp 1108 2 1 tensor_200200 tensor_200199 tensor_200201 0=0 +BinaryOp 1109 1 1 tensor_200193 tensor_200202 0=7 1=1 2=1.000000e+00 +BinaryOp 1110 2 1 tensor_200184 tensor_200202 tensor_200203 0=2 +BinaryOp 1111 2 1 tensor_200180 tensor_200192 tensor_200204 0=2 +BinaryOp 1112 2 1 tensor_200204 tensor_200203 tensor_200205 0=0 +GemvA32W4 1113 1 1 tensor_200205 tensor_200209 0=2560 1=2560 11=8 22=16 +Sigmoid 1114 1 1 tensor_200209 tensor_200210 +GemvA32W4 1115 1 1 tensor_200197 tensor_200214 0=2560 1=2560 11=8 22=16 +Split 1116 1 3 tensor_200214 tensor_200215 tensor_200216 tensor_200217 +GemvA32W4 1117 1 1 tensor_200201 tensor_200221 0=2560 1=2560 11=8 22=16 +Split 1118 1 2 tensor_200221 tensor_200222 tensor_200223 +MemoryData 1119 0 1 blocks.8.att.time_first 0=2560 21=0 +BinaryOp 1120 2 1 blocks.8.att.time_first tensor_200215 tensor_200225 0=0 +Split 1121 1 2 tensor_200225 tensor_200226 tensor_200227 +Split 1122 1 3 state_8_3 tensor_200228 tensor_200229 tensor_200230 +BinaryOp 1123 2 1 tensor_200228 tensor_200226 tensor_200231 0=4 +Split 1124 1 2 tensor_200231 tensor_200232 tensor_200233 +BinaryOp 1125 2 1 tensor_200229 tensor_200232 tensor_200234 0=1 +Exp 1126 1 1 tensor_200234 tensor_200235 +Split 1127 1 2 tensor_200235 tensor_200236 tensor_200237 +BinaryOp 1128 2 1 tensor_200227 tensor_200233 tensor_200238 0=1 +Exp 1129 1 1 tensor_200238 tensor_200239 +Split 1130 1 2 tensor_200239 tensor_200240 tensor_200241 +Split 1131 1 2 state_8_1 tensor_200242 tensor_200243 +Split 1132 1 2 state_8_2 tensor_200244 tensor_200245 +BinaryOp 1133 2 1 tensor_200237 tensor_200244 tensor_200246 0=2 +BinaryOp 1134 2 1 tensor_200246 tensor_200241 tensor_200247 0=0 +BinaryOp 1135 2 1 tensor_200240 tensor_200222 tensor_200248 0=2 +BinaryOp 1136 2 1 tensor_200236 tensor_200242 tensor_200249 0=2 +BinaryOp 1137 2 1 tensor_200249 tensor_200248 tensor_200250 0=0 +BinaryOp 1138 2 1 tensor_200250 tensor_200247 tensor_200251 0=3 +MemoryData 1139 0 1 blocks.8.att.time_decay 0=2560 21=0 +BinaryOp 1140 2 1 blocks.8.att.time_decay tensor_200230 tensor_200253 0=0 +Split 1141 1 2 tensor_200253 tensor_200254 tensor_200255 +BinaryOp 1142 2 1 tensor_200254 tensor_200216 tensor_200256 0=4 +Split 1143 1 3 tensor_200256 tensor_200257 tensor_200258 tensor_200259 +BinaryOp 1144 2 1 tensor_200255 tensor_200257 tensor_200260 0=1 +Exp 1145 1 1 tensor_200260 tensor_200261 +Split 1146 1 2 tensor_200261 tensor_200262 tensor_200263 +BinaryOp 1147 2 1 tensor_200217 tensor_200258 tensor_200264 0=1 +Exp 1148 1 1 tensor_200264 tensor_200265 +Split 1149 1 2 tensor_200265 tensor_200266 tensor_200267 +BinaryOp 1150 2 1 tensor_200210 tensor_200251 tensor_200268 0=2 +GemvA32W4 1151 1 1 tensor_200268 tensor_200272 0=2560 1=2560 11=8 22=16 +BinaryOp 1152 2 1 tensor_200176 tensor_200272 tensor_200273 0=0 +BinaryOp 1153 2 1 tensor_200266 tensor_200223 tensor_200274 0=2 +BinaryOp 1154 2 1 tensor_200262 tensor_200243 tensor_200275 0=2 +BinaryOp 1155 2 1 tensor_200275 tensor_200274 tensor_200276 0=0 +BinaryOp 1156 2 1 tensor_200263 tensor_200245 tensor_200277 0=2 +BinaryOp 1157 2 1 tensor_200277 tensor_200267 tensor_200278 0=0 +Split 1158 1 1 tensor_200181 output_state_8_0 +Split 1159 1 1 tensor_200276 output_state_8_1 +Split 1160 1 1 tensor_200278 output_state_8_2 +Split 1161 1 1 tensor_200259 output_state_8_3 +Split 1162 1 2 tensor_200273 tensor_200283 tensor_200284 +LayerNorm 1163 1 1 tensor_200283 tensor_200285 0=2560 1=1.000000e-05 2=1 +Split 1164 1 3 tensor_200285 tensor_200286 tensor_200287 tensor_200288 +Split 1165 1 2 state_8_4 tensor_200289 tensor_200290 +MemoryData 1166 0 1 blocks.8.ffn.time_mix_k 0=2560 21=0 +Split 1167 1 2 blocks.8.ffn.time_mix_k tensor_200292 tensor_200293 +MemoryData 1168 0 1 blocks.8.ffn.time_mix_r 0=2560 21=0 +Split 1169 1 2 blocks.8.ffn.time_mix_r tensor_200295 tensor_200296 +BinaryOp 1170 1 1 tensor_200293 tensor_200297 0=7 1=1 2=1.000000e+00 +BinaryOp 1171 2 1 tensor_200289 tensor_200297 tensor_200298 0=2 +BinaryOp 1172 2 1 tensor_200286 tensor_200292 tensor_200299 0=2 +BinaryOp 1173 2 1 tensor_200299 tensor_200298 tensor_200300 0=0 +BinaryOp 1174 1 1 tensor_200296 tensor_200301 0=7 1=1 2=1.000000e+00 +BinaryOp 1175 2 1 tensor_200290 tensor_200301 tensor_200302 0=2 +BinaryOp 1176 2 1 tensor_200287 tensor_200295 tensor_200303 0=2 +BinaryOp 1177 2 1 tensor_200303 tensor_200302 tensor_200304 0=0 +GemvA32W4 1178 1 1 tensor_200304 tensor_200308 0=2560 1=2560 11=8 22=16 +Sigmoid 1179 1 1 tensor_200308 tensor_200309 +GemvA32W4 1180 1 1 tensor_200300 tensor_200313 0=10240 1=2560 11=8 22=16 +ReLU 1181 1 1 tensor_200313 tensor_200314 +BinaryOp 1182 2 1 tensor_200314 tensor_200314 tensor_200315 0=2 +GemvA32W4 1183 1 1 tensor_200315 tensor_200319 0=2560 1=10240 11=8 22=16 +BinaryOp 1184 2 1 tensor_200309 tensor_200319 tensor_200320 0=2 +BinaryOp 1185 2 1 tensor_200284 tensor_200320 tensor_200321 0=0 +Split 1186 1 1 tensor_200288 output_state_8_4 +Split 1187 1 2 tensor_200321 tensor_200323 tensor_200324 +LayerNorm 1188 1 1 tensor_200323 tensor_200325 0=2560 1=1.000000e-05 2=1 +Split 1189 1 4 tensor_200325 tensor_200326 tensor_200327 tensor_200328 tensor_200329 +Split 1190 1 3 state_9_0 tensor_200330 tensor_200331 tensor_200332 +MemoryData 1191 0 1 blocks.9.att.time_mix_k 0=2560 21=0 +Split 1192 1 2 blocks.9.att.time_mix_k tensor_200334 tensor_200335 +MemoryData 1193 0 1 blocks.9.att.time_mix_v 0=2560 21=0 +Split 1194 1 2 blocks.9.att.time_mix_v tensor_200337 tensor_200338 +MemoryData 1195 0 1 blocks.9.att.time_mix_r 0=2560 21=0 +Split 1196 1 2 blocks.9.att.time_mix_r tensor_200340 tensor_200341 +BinaryOp 1197 1 1 tensor_200335 tensor_200342 0=7 1=1 2=1.000000e+00 +BinaryOp 1198 2 1 tensor_200330 tensor_200342 tensor_200343 0=2 +BinaryOp 1199 2 1 tensor_200326 tensor_200334 tensor_200344 0=2 +BinaryOp 1200 2 1 tensor_200344 tensor_200343 tensor_200345 0=0 +BinaryOp 1201 1 1 tensor_200338 tensor_200346 0=7 1=1 2=1.000000e+00 +BinaryOp 1202 2 1 tensor_200331 tensor_200346 tensor_200347 0=2 +BinaryOp 1203 2 1 tensor_200327 tensor_200337 tensor_200348 0=2 +BinaryOp 1204 2 1 tensor_200348 tensor_200347 tensor_200349 0=0 +BinaryOp 1205 1 1 tensor_200341 tensor_200350 0=7 1=1 2=1.000000e+00 +BinaryOp 1206 2 1 tensor_200332 tensor_200350 tensor_200351 0=2 +BinaryOp 1207 2 1 tensor_200328 tensor_200340 tensor_200352 0=2 +BinaryOp 1208 2 1 tensor_200352 tensor_200351 tensor_200353 0=0 +GemvA32W4 1209 1 1 tensor_200353 tensor_200357 0=2560 1=2560 11=8 22=16 +Sigmoid 1210 1 1 tensor_200357 tensor_200358 +GemvA32W4 1211 1 1 tensor_200345 tensor_200362 0=2560 1=2560 11=8 22=16 +Split 1212 1 3 tensor_200362 tensor_200363 tensor_200364 tensor_200365 +GemvA32W4 1213 1 1 tensor_200349 tensor_200369 0=2560 1=2560 11=8 22=16 +Split 1214 1 2 tensor_200369 tensor_200370 tensor_200371 +MemoryData 1215 0 1 blocks.9.att.time_first 0=2560 21=0 +BinaryOp 1216 2 1 blocks.9.att.time_first tensor_200363 tensor_200373 0=0 +Split 1217 1 2 tensor_200373 tensor_200374 tensor_200375 +Split 1218 1 3 state_9_3 tensor_200376 tensor_200377 tensor_200378 +BinaryOp 1219 2 1 tensor_200376 tensor_200374 tensor_200379 0=4 +Split 1220 1 2 tensor_200379 tensor_200380 tensor_200381 +BinaryOp 1221 2 1 tensor_200377 tensor_200380 tensor_200382 0=1 +Exp 1222 1 1 tensor_200382 tensor_200383 +Split 1223 1 2 tensor_200383 tensor_200384 tensor_200385 +BinaryOp 1224 2 1 tensor_200375 tensor_200381 tensor_200386 0=1 +Exp 1225 1 1 tensor_200386 tensor_200387 +Split 1226 1 2 tensor_200387 tensor_200388 tensor_200389 +Split 1227 1 2 state_9_1 tensor_200390 tensor_200391 +Split 1228 1 2 state_9_2 tensor_200392 tensor_200393 +BinaryOp 1229 2 1 tensor_200385 tensor_200392 tensor_200394 0=2 +BinaryOp 1230 2 1 tensor_200394 tensor_200389 tensor_200395 0=0 +BinaryOp 1231 2 1 tensor_200388 tensor_200370 tensor_200396 0=2 +BinaryOp 1232 2 1 tensor_200384 tensor_200390 tensor_200397 0=2 +BinaryOp 1233 2 1 tensor_200397 tensor_200396 tensor_200398 0=0 +BinaryOp 1234 2 1 tensor_200398 tensor_200395 tensor_200399 0=3 +MemoryData 1235 0 1 blocks.9.att.time_decay 0=2560 21=0 +BinaryOp 1236 2 1 blocks.9.att.time_decay tensor_200378 tensor_200401 0=0 +Split 1237 1 2 tensor_200401 tensor_200402 tensor_200403 +BinaryOp 1238 2 1 tensor_200402 tensor_200364 tensor_200404 0=4 +Split 1239 1 3 tensor_200404 tensor_200405 tensor_200406 tensor_200407 +BinaryOp 1240 2 1 tensor_200403 tensor_200405 tensor_200408 0=1 +Exp 1241 1 1 tensor_200408 tensor_200409 +Split 1242 1 2 tensor_200409 tensor_200410 tensor_200411 +BinaryOp 1243 2 1 tensor_200365 tensor_200406 tensor_200412 0=1 +Exp 1244 1 1 tensor_200412 tensor_200413 +Split 1245 1 2 tensor_200413 tensor_200414 tensor_200415 +BinaryOp 1246 2 1 tensor_200358 tensor_200399 tensor_200416 0=2 +GemvA32W4 1247 1 1 tensor_200416 tensor_200420 0=2560 1=2560 11=8 22=16 +BinaryOp 1248 2 1 tensor_200324 tensor_200420 tensor_200421 0=0 +BinaryOp 1249 2 1 tensor_200414 tensor_200371 tensor_200422 0=2 +BinaryOp 1250 2 1 tensor_200410 tensor_200391 tensor_200423 0=2 +BinaryOp 1251 2 1 tensor_200423 tensor_200422 tensor_200424 0=0 +BinaryOp 1252 2 1 tensor_200411 tensor_200393 tensor_200425 0=2 +BinaryOp 1253 2 1 tensor_200425 tensor_200415 tensor_200426 0=0 +Split 1254 1 1 tensor_200329 output_state_9_0 +Split 1255 1 1 tensor_200424 output_state_9_1 +Split 1256 1 1 tensor_200426 output_state_9_2 +Split 1257 1 1 tensor_200407 output_state_9_3 +Split 1258 1 2 tensor_200421 tensor_200431 tensor_200432 +LayerNorm 1259 1 1 tensor_200431 tensor_200433 0=2560 1=1.000000e-05 2=1 +Split 1260 1 3 tensor_200433 tensor_200434 tensor_200435 tensor_200436 +Split 1261 1 2 state_9_4 tensor_200437 tensor_200438 +MemoryData 1262 0 1 blocks.9.ffn.time_mix_k 0=2560 21=0 +Split 1263 1 2 blocks.9.ffn.time_mix_k tensor_200440 tensor_200441 +MemoryData 1264 0 1 blocks.9.ffn.time_mix_r 0=2560 21=0 +Split 1265 1 2 blocks.9.ffn.time_mix_r tensor_200443 tensor_200444 +BinaryOp 1266 1 1 tensor_200441 tensor_200445 0=7 1=1 2=1.000000e+00 +BinaryOp 1267 2 1 tensor_200437 tensor_200445 tensor_200446 0=2 +BinaryOp 1268 2 1 tensor_200434 tensor_200440 tensor_200447 0=2 +BinaryOp 1269 2 1 tensor_200447 tensor_200446 tensor_200448 0=0 +BinaryOp 1270 1 1 tensor_200444 tensor_200449 0=7 1=1 2=1.000000e+00 +BinaryOp 1271 2 1 tensor_200438 tensor_200449 tensor_200450 0=2 +BinaryOp 1272 2 1 tensor_200435 tensor_200443 tensor_200451 0=2 +BinaryOp 1273 2 1 tensor_200451 tensor_200450 tensor_200452 0=0 +GemvA32W4 1274 1 1 tensor_200452 tensor_200456 0=2560 1=2560 11=8 22=16 +Sigmoid 1275 1 1 tensor_200456 tensor_200457 +GemvA32W4 1276 1 1 tensor_200448 tensor_200461 0=10240 1=2560 11=8 22=16 +ReLU 1277 1 1 tensor_200461 tensor_200462 +BinaryOp 1278 2 1 tensor_200462 tensor_200462 tensor_200463 0=2 +GemvA32W4 1279 1 1 tensor_200463 tensor_200467 0=2560 1=10240 11=8 22=16 +BinaryOp 1280 2 1 tensor_200457 tensor_200467 tensor_200468 0=2 +BinaryOp 1281 2 1 tensor_200432 tensor_200468 tensor_200469 0=0 +Split 1282 1 1 tensor_200436 output_state_9_4 +Split 1283 1 2 tensor_200469 tensor_200471 tensor_200472 +LayerNorm 1284 1 1 tensor_200471 tensor_200473 0=2560 1=1.000000e-05 2=1 +Split 1285 1 4 tensor_200473 tensor_200474 tensor_200475 tensor_200476 tensor_200477 +Split 1286 1 3 state_10_0 tensor_200478 tensor_200479 tensor_200480 +MemoryData 1287 0 1 blocks.10.att.time_mix_k 0=2560 21=0 +Split 1288 1 2 blocks.10.att.time_mix_k tensor_200482 tensor_200483 +MemoryData 1289 0 1 blocks.10.att.time_mix_v 0=2560 21=0 +Split 1290 1 2 blocks.10.att.time_mix_v tensor_200485 tensor_200486 +MemoryData 1291 0 1 blocks.10.att.time_mix_r 0=2560 21=0 +Split 1292 1 2 blocks.10.att.time_mix_r tensor_200488 tensor_200489 +BinaryOp 1293 1 1 tensor_200483 tensor_200490 0=7 1=1 2=1.000000e+00 +BinaryOp 1294 2 1 tensor_200478 tensor_200490 tensor_200491 0=2 +BinaryOp 1295 2 1 tensor_200474 tensor_200482 tensor_200492 0=2 +BinaryOp 1296 2 1 tensor_200492 tensor_200491 tensor_200493 0=0 +BinaryOp 1297 1 1 tensor_200486 tensor_200494 0=7 1=1 2=1.000000e+00 +BinaryOp 1298 2 1 tensor_200479 tensor_200494 tensor_200495 0=2 +BinaryOp 1299 2 1 tensor_200475 tensor_200485 tensor_200496 0=2 +BinaryOp 1300 2 1 tensor_200496 tensor_200495 tensor_200497 0=0 +BinaryOp 1301 1 1 tensor_200489 tensor_200498 0=7 1=1 2=1.000000e+00 +BinaryOp 1302 2 1 tensor_200480 tensor_200498 tensor_200499 0=2 +BinaryOp 1303 2 1 tensor_200476 tensor_200488 tensor_200500 0=2 +BinaryOp 1304 2 1 tensor_200500 tensor_200499 tensor_200501 0=0 +GemvA32W4 1305 1 1 tensor_200501 tensor_200505 0=2560 1=2560 11=8 22=16 +Sigmoid 1306 1 1 tensor_200505 tensor_200506 +GemvA32W4 1307 1 1 tensor_200493 tensor_200510 0=2560 1=2560 11=8 22=16 +Split 1308 1 3 tensor_200510 tensor_200511 tensor_200512 tensor_200513 +GemvA32W4 1309 1 1 tensor_200497 tensor_200517 0=2560 1=2560 11=8 22=16 +Split 1310 1 2 tensor_200517 tensor_200518 tensor_200519 +MemoryData 1311 0 1 blocks.10.att.time_first 0=2560 21=0 +BinaryOp 1312 2 1 blocks.10.att.time_first tensor_200511 tensor_200521 0=0 +Split 1313 1 2 tensor_200521 tensor_200522 tensor_200523 +Split 1314 1 3 state_10_3 tensor_200524 tensor_200525 tensor_200526 +BinaryOp 1315 2 1 tensor_200524 tensor_200522 tensor_200527 0=4 +Split 1316 1 2 tensor_200527 tensor_200528 tensor_200529 +BinaryOp 1317 2 1 tensor_200525 tensor_200528 tensor_200530 0=1 +Exp 1318 1 1 tensor_200530 tensor_200531 +Split 1319 1 2 tensor_200531 tensor_200532 tensor_200533 +BinaryOp 1320 2 1 tensor_200523 tensor_200529 tensor_200534 0=1 +Exp 1321 1 1 tensor_200534 tensor_200535 +Split 1322 1 2 tensor_200535 tensor_200536 tensor_200537 +Split 1323 1 2 state_10_1 tensor_200538 tensor_200539 +Split 1324 1 2 state_10_2 tensor_200540 tensor_200541 +BinaryOp 1325 2 1 tensor_200533 tensor_200540 tensor_200542 0=2 +BinaryOp 1326 2 1 tensor_200542 tensor_200537 tensor_200543 0=0 +BinaryOp 1327 2 1 tensor_200536 tensor_200518 tensor_200544 0=2 +BinaryOp 1328 2 1 tensor_200532 tensor_200538 tensor_200545 0=2 +BinaryOp 1329 2 1 tensor_200545 tensor_200544 tensor_200546 0=0 +BinaryOp 1330 2 1 tensor_200546 tensor_200543 tensor_200547 0=3 +MemoryData 1331 0 1 blocks.10.att.time_decay 0=2560 21=0 +BinaryOp 1332 2 1 blocks.10.att.time_decay tensor_200526 tensor_200549 0=0 +Split 1333 1 2 tensor_200549 tensor_200550 tensor_200551 +BinaryOp 1334 2 1 tensor_200550 tensor_200512 tensor_200552 0=4 +Split 1335 1 3 tensor_200552 tensor_200553 tensor_200554 tensor_200555 +BinaryOp 1336 2 1 tensor_200551 tensor_200553 tensor_200556 0=1 +Exp 1337 1 1 tensor_200556 tensor_200557 +Split 1338 1 2 tensor_200557 tensor_200558 tensor_200559 +BinaryOp 1339 2 1 tensor_200513 tensor_200554 tensor_200560 0=1 +Exp 1340 1 1 tensor_200560 tensor_200561 +Split 1341 1 2 tensor_200561 tensor_200562 tensor_200563 +BinaryOp 1342 2 1 tensor_200506 tensor_200547 tensor_200564 0=2 +GemvA32W4 1343 1 1 tensor_200564 tensor_200568 0=2560 1=2560 11=8 22=16 +BinaryOp 1344 2 1 tensor_200472 tensor_200568 tensor_200569 0=0 +BinaryOp 1345 2 1 tensor_200562 tensor_200519 tensor_200570 0=2 +BinaryOp 1346 2 1 tensor_200558 tensor_200539 tensor_200571 0=2 +BinaryOp 1347 2 1 tensor_200571 tensor_200570 tensor_200572 0=0 +BinaryOp 1348 2 1 tensor_200559 tensor_200541 tensor_200573 0=2 +BinaryOp 1349 2 1 tensor_200573 tensor_200563 tensor_200574 0=0 +Split 1350 1 1 tensor_200477 output_state_10_0 +Split 1351 1 1 tensor_200572 output_state_10_1 +Split 1352 1 1 tensor_200574 output_state_10_2 +Split 1353 1 1 tensor_200555 output_state_10_3 +Split 1354 1 2 tensor_200569 tensor_200579 tensor_200580 +LayerNorm 1355 1 1 tensor_200579 tensor_200581 0=2560 1=1.000000e-05 2=1 +Split 1356 1 3 tensor_200581 tensor_200582 tensor_200583 tensor_200584 +Split 1357 1 2 state_10_4 tensor_200585 tensor_200586 +MemoryData 1358 0 1 blocks.10.ffn.time_mix_k 0=2560 21=0 +Split 1359 1 2 blocks.10.ffn.time_mix_k tensor_200588 tensor_200589 +MemoryData 1360 0 1 blocks.10.ffn.time_mix_r 0=2560 21=0 +Split 1361 1 2 blocks.10.ffn.time_mix_r tensor_200591 tensor_200592 +BinaryOp 1362 1 1 tensor_200589 tensor_200593 0=7 1=1 2=1.000000e+00 +BinaryOp 1363 2 1 tensor_200585 tensor_200593 tensor_200594 0=2 +BinaryOp 1364 2 1 tensor_200582 tensor_200588 tensor_200595 0=2 +BinaryOp 1365 2 1 tensor_200595 tensor_200594 tensor_200596 0=0 +BinaryOp 1366 1 1 tensor_200592 tensor_200597 0=7 1=1 2=1.000000e+00 +BinaryOp 1367 2 1 tensor_200586 tensor_200597 tensor_200598 0=2 +BinaryOp 1368 2 1 tensor_200583 tensor_200591 tensor_200599 0=2 +BinaryOp 1369 2 1 tensor_200599 tensor_200598 tensor_200600 0=0 +GemvA32W4 1370 1 1 tensor_200600 tensor_200604 0=2560 1=2560 11=8 22=16 +Sigmoid 1371 1 1 tensor_200604 tensor_200605 +GemvA32W4 1372 1 1 tensor_200596 tensor_200609 0=10240 1=2560 11=8 22=16 +ReLU 1373 1 1 tensor_200609 tensor_200610 +BinaryOp 1374 2 1 tensor_200610 tensor_200610 tensor_200611 0=2 +GemvA32W4 1375 1 1 tensor_200611 tensor_200615 0=2560 1=10240 11=8 22=16 +BinaryOp 1376 2 1 tensor_200605 tensor_200615 tensor_200616 0=2 +BinaryOp 1377 2 1 tensor_200580 tensor_200616 tensor_200617 0=0 +Split 1378 1 1 tensor_200584 output_state_10_4 +Split 1379 1 2 tensor_200617 tensor_200619 tensor_200620 +LayerNorm 1380 1 1 tensor_200619 tensor_200621 0=2560 1=1.000000e-05 2=1 +Split 1381 1 4 tensor_200621 tensor_200622 tensor_200623 tensor_200624 tensor_200625 +Split 1382 1 3 state_11_0 tensor_200626 tensor_200627 tensor_200628 +MemoryData 1383 0 1 blocks.11.att.time_mix_k 0=2560 21=0 +Split 1384 1 2 blocks.11.att.time_mix_k tensor_200630 tensor_200631 +MemoryData 1385 0 1 blocks.11.att.time_mix_v 0=2560 21=0 +Split 1386 1 2 blocks.11.att.time_mix_v tensor_200633 tensor_200634 +MemoryData 1387 0 1 blocks.11.att.time_mix_r 0=2560 21=0 +Split 1388 1 2 blocks.11.att.time_mix_r tensor_200636 tensor_200637 +BinaryOp 1389 1 1 tensor_200631 tensor_200638 0=7 1=1 2=1.000000e+00 +BinaryOp 1390 2 1 tensor_200626 tensor_200638 tensor_200639 0=2 +BinaryOp 1391 2 1 tensor_200622 tensor_200630 tensor_200640 0=2 +BinaryOp 1392 2 1 tensor_200640 tensor_200639 tensor_200641 0=0 +BinaryOp 1393 1 1 tensor_200634 tensor_200642 0=7 1=1 2=1.000000e+00 +BinaryOp 1394 2 1 tensor_200627 tensor_200642 tensor_200643 0=2 +BinaryOp 1395 2 1 tensor_200623 tensor_200633 tensor_200644 0=2 +BinaryOp 1396 2 1 tensor_200644 tensor_200643 tensor_200645 0=0 +BinaryOp 1397 1 1 tensor_200637 tensor_200646 0=7 1=1 2=1.000000e+00 +BinaryOp 1398 2 1 tensor_200628 tensor_200646 tensor_200647 0=2 +BinaryOp 1399 2 1 tensor_200624 tensor_200636 tensor_200648 0=2 +BinaryOp 1400 2 1 tensor_200648 tensor_200647 tensor_200649 0=0 +GemvA32W4 1401 1 1 tensor_200649 tensor_200653 0=2560 1=2560 11=8 22=16 +Sigmoid 1402 1 1 tensor_200653 tensor_200654 +GemvA32W4 1403 1 1 tensor_200641 tensor_200658 0=2560 1=2560 11=8 22=16 +Split 1404 1 3 tensor_200658 tensor_200659 tensor_200660 tensor_200661 +GemvA32W4 1405 1 1 tensor_200645 tensor_200665 0=2560 1=2560 11=8 22=16 +Split 1406 1 2 tensor_200665 tensor_200666 tensor_200667 +MemoryData 1407 0 1 blocks.11.att.time_first 0=2560 21=0 +BinaryOp 1408 2 1 blocks.11.att.time_first tensor_200659 tensor_200669 0=0 +Split 1409 1 2 tensor_200669 tensor_200670 tensor_200671 +Split 1410 1 3 state_11_3 tensor_200672 tensor_200673 tensor_200674 +BinaryOp 1411 2 1 tensor_200672 tensor_200670 tensor_200675 0=4 +Split 1412 1 2 tensor_200675 tensor_200676 tensor_200677 +BinaryOp 1413 2 1 tensor_200673 tensor_200676 tensor_200678 0=1 +Exp 1414 1 1 tensor_200678 tensor_200679 +Split 1415 1 2 tensor_200679 tensor_200680 tensor_200681 +BinaryOp 1416 2 1 tensor_200671 tensor_200677 tensor_200682 0=1 +Exp 1417 1 1 tensor_200682 tensor_200683 +Split 1418 1 2 tensor_200683 tensor_200684 tensor_200685 +Split 1419 1 2 state_11_1 tensor_200686 tensor_200687 +Split 1420 1 2 state_11_2 tensor_200688 tensor_200689 +BinaryOp 1421 2 1 tensor_200681 tensor_200688 tensor_200690 0=2 +BinaryOp 1422 2 1 tensor_200690 tensor_200685 tensor_200691 0=0 +BinaryOp 1423 2 1 tensor_200684 tensor_200666 tensor_200692 0=2 +BinaryOp 1424 2 1 tensor_200680 tensor_200686 tensor_200693 0=2 +BinaryOp 1425 2 1 tensor_200693 tensor_200692 tensor_200694 0=0 +BinaryOp 1426 2 1 tensor_200694 tensor_200691 tensor_200695 0=3 +MemoryData 1427 0 1 blocks.11.att.time_decay 0=2560 21=0 +BinaryOp 1428 2 1 blocks.11.att.time_decay tensor_200674 tensor_200697 0=0 +Split 1429 1 2 tensor_200697 tensor_200698 tensor_200699 +BinaryOp 1430 2 1 tensor_200698 tensor_200660 tensor_200700 0=4 +Split 1431 1 3 tensor_200700 tensor_200701 tensor_200702 tensor_200703 +BinaryOp 1432 2 1 tensor_200699 tensor_200701 tensor_200704 0=1 +Exp 1433 1 1 tensor_200704 tensor_200705 +Split 1434 1 2 tensor_200705 tensor_200706 tensor_200707 +BinaryOp 1435 2 1 tensor_200661 tensor_200702 tensor_200708 0=1 +Exp 1436 1 1 tensor_200708 tensor_200709 +Split 1437 1 2 tensor_200709 tensor_200710 tensor_200711 +BinaryOp 1438 2 1 tensor_200654 tensor_200695 tensor_200712 0=2 +GemvA32W4 1439 1 1 tensor_200712 tensor_200716 0=2560 1=2560 11=8 22=16 +BinaryOp 1440 2 1 tensor_200620 tensor_200716 tensor_200717 0=0 +BinaryOp 1441 2 1 tensor_200710 tensor_200667 tensor_200718 0=2 +BinaryOp 1442 2 1 tensor_200706 tensor_200687 tensor_200719 0=2 +BinaryOp 1443 2 1 tensor_200719 tensor_200718 tensor_200720 0=0 +BinaryOp 1444 2 1 tensor_200707 tensor_200689 tensor_200721 0=2 +BinaryOp 1445 2 1 tensor_200721 tensor_200711 tensor_200722 0=0 +Split 1446 1 1 tensor_200625 output_state_11_0 +Split 1447 1 1 tensor_200720 output_state_11_1 +Split 1448 1 1 tensor_200722 output_state_11_2 +Split 1449 1 1 tensor_200703 output_state_11_3 +Split 1450 1 2 tensor_200717 tensor_200727 tensor_200728 +LayerNorm 1451 1 1 tensor_200727 tensor_200729 0=2560 1=1.000000e-05 2=1 +Split 1452 1 3 tensor_200729 tensor_200730 tensor_200731 tensor_200732 +Split 1453 1 2 state_11_4 tensor_200733 tensor_200734 +MemoryData 1454 0 1 blocks.11.ffn.time_mix_k 0=2560 21=0 +Split 1455 1 2 blocks.11.ffn.time_mix_k tensor_200736 tensor_200737 +MemoryData 1456 0 1 blocks.11.ffn.time_mix_r 0=2560 21=0 +Split 1457 1 2 blocks.11.ffn.time_mix_r tensor_200739 tensor_200740 +BinaryOp 1458 1 1 tensor_200737 tensor_200741 0=7 1=1 2=1.000000e+00 +BinaryOp 1459 2 1 tensor_200733 tensor_200741 tensor_200742 0=2 +BinaryOp 1460 2 1 tensor_200730 tensor_200736 tensor_200743 0=2 +BinaryOp 1461 2 1 tensor_200743 tensor_200742 tensor_200744 0=0 +BinaryOp 1462 1 1 tensor_200740 tensor_200745 0=7 1=1 2=1.000000e+00 +BinaryOp 1463 2 1 tensor_200734 tensor_200745 tensor_200746 0=2 +BinaryOp 1464 2 1 tensor_200731 tensor_200739 tensor_200747 0=2 +BinaryOp 1465 2 1 tensor_200747 tensor_200746 tensor_200748 0=0 +GemvA32W4 1466 1 1 tensor_200748 tensor_200752 0=2560 1=2560 11=8 22=16 +Sigmoid 1467 1 1 tensor_200752 tensor_200753 +GemvA32W4 1468 1 1 tensor_200744 tensor_200757 0=10240 1=2560 11=8 22=16 +ReLU 1469 1 1 tensor_200757 tensor_200758 +BinaryOp 1470 2 1 tensor_200758 tensor_200758 tensor_200759 0=2 +GemvA32W4 1471 1 1 tensor_200759 tensor_200763 0=2560 1=10240 11=8 22=16 +BinaryOp 1472 2 1 tensor_200753 tensor_200763 tensor_200764 0=2 +BinaryOp 1473 2 1 tensor_200728 tensor_200764 tensor_200765 0=0 +Split 1474 1 1 tensor_200732 output_state_11_4 +Split 1475 1 2 tensor_200765 tensor_200767 tensor_200768 +LayerNorm 1476 1 1 tensor_200767 tensor_200769 0=2560 1=1.000000e-05 2=1 +Split 1477 1 4 tensor_200769 tensor_200770 tensor_200771 tensor_200772 tensor_200773 +Split 1478 1 3 state_12_0 tensor_200774 tensor_200775 tensor_200776 +MemoryData 1479 0 1 blocks.12.att.time_mix_k 0=2560 21=0 +Split 1480 1 2 blocks.12.att.time_mix_k tensor_200778 tensor_200779 +MemoryData 1481 0 1 blocks.12.att.time_mix_v 0=2560 21=0 +Split 1482 1 2 blocks.12.att.time_mix_v tensor_200781 tensor_200782 +MemoryData 1483 0 1 blocks.12.att.time_mix_r 0=2560 21=0 +Split 1484 1 2 blocks.12.att.time_mix_r tensor_200784 tensor_200785 +BinaryOp 1485 1 1 tensor_200779 tensor_200786 0=7 1=1 2=1.000000e+00 +BinaryOp 1486 2 1 tensor_200774 tensor_200786 tensor_200787 0=2 +BinaryOp 1487 2 1 tensor_200770 tensor_200778 tensor_200788 0=2 +BinaryOp 1488 2 1 tensor_200788 tensor_200787 tensor_200789 0=0 +BinaryOp 1489 1 1 tensor_200782 tensor_200790 0=7 1=1 2=1.000000e+00 +BinaryOp 1490 2 1 tensor_200775 tensor_200790 tensor_200791 0=2 +BinaryOp 1491 2 1 tensor_200771 tensor_200781 tensor_200792 0=2 +BinaryOp 1492 2 1 tensor_200792 tensor_200791 tensor_200793 0=0 +BinaryOp 1493 1 1 tensor_200785 tensor_200794 0=7 1=1 2=1.000000e+00 +BinaryOp 1494 2 1 tensor_200776 tensor_200794 tensor_200795 0=2 +BinaryOp 1495 2 1 tensor_200772 tensor_200784 tensor_200796 0=2 +BinaryOp 1496 2 1 tensor_200796 tensor_200795 tensor_200797 0=0 +GemvA32W4 1497 1 1 tensor_200797 tensor_200801 0=2560 1=2560 11=8 22=16 +Sigmoid 1498 1 1 tensor_200801 tensor_200802 +GemvA32W4 1499 1 1 tensor_200789 tensor_200806 0=2560 1=2560 11=8 22=16 +Split 1500 1 3 tensor_200806 tensor_200807 tensor_200808 tensor_200809 +GemvA32W4 1501 1 1 tensor_200793 tensor_200813 0=2560 1=2560 11=8 22=16 +Split 1502 1 2 tensor_200813 tensor_200814 tensor_200815 +MemoryData 1503 0 1 blocks.12.att.time_first 0=2560 21=0 +BinaryOp 1504 2 1 blocks.12.att.time_first tensor_200807 tensor_200817 0=0 +Split 1505 1 2 tensor_200817 tensor_200818 tensor_200819 +Split 1506 1 3 state_12_3 tensor_200820 tensor_200821 tensor_200822 +BinaryOp 1507 2 1 tensor_200820 tensor_200818 tensor_200823 0=4 +Split 1508 1 2 tensor_200823 tensor_200824 tensor_200825 +BinaryOp 1509 2 1 tensor_200821 tensor_200824 tensor_200826 0=1 +Exp 1510 1 1 tensor_200826 tensor_200827 +Split 1511 1 2 tensor_200827 tensor_200828 tensor_200829 +BinaryOp 1512 2 1 tensor_200819 tensor_200825 tensor_200830 0=1 +Exp 1513 1 1 tensor_200830 tensor_200831 +Split 1514 1 2 tensor_200831 tensor_200832 tensor_200833 +Split 1515 1 2 state_12_1 tensor_200834 tensor_200835 +Split 1516 1 2 state_12_2 tensor_200836 tensor_200837 +BinaryOp 1517 2 1 tensor_200829 tensor_200836 tensor_200838 0=2 +BinaryOp 1518 2 1 tensor_200838 tensor_200833 tensor_200839 0=0 +BinaryOp 1519 2 1 tensor_200832 tensor_200814 tensor_200840 0=2 +BinaryOp 1520 2 1 tensor_200828 tensor_200834 tensor_200841 0=2 +BinaryOp 1521 2 1 tensor_200841 tensor_200840 tensor_200842 0=0 +BinaryOp 1522 2 1 tensor_200842 tensor_200839 tensor_200843 0=3 +MemoryData 1523 0 1 blocks.12.att.time_decay 0=2560 21=0 +BinaryOp 1524 2 1 blocks.12.att.time_decay tensor_200822 tensor_200845 0=0 +Split 1525 1 2 tensor_200845 tensor_200846 tensor_200847 +BinaryOp 1526 2 1 tensor_200846 tensor_200808 tensor_200848 0=4 +Split 1527 1 3 tensor_200848 tensor_200849 tensor_200850 tensor_200851 +BinaryOp 1528 2 1 tensor_200847 tensor_200849 tensor_200852 0=1 +Exp 1529 1 1 tensor_200852 tensor_200853 +Split 1530 1 2 tensor_200853 tensor_200854 tensor_200855 +BinaryOp 1531 2 1 tensor_200809 tensor_200850 tensor_200856 0=1 +Exp 1532 1 1 tensor_200856 tensor_200857 +Split 1533 1 2 tensor_200857 tensor_200858 tensor_200859 +BinaryOp 1534 2 1 tensor_200802 tensor_200843 tensor_200860 0=2 +GemvA32W4 1535 1 1 tensor_200860 tensor_200864 0=2560 1=2560 11=8 22=16 +BinaryOp 1536 2 1 tensor_200768 tensor_200864 tensor_200865 0=0 +BinaryOp 1537 2 1 tensor_200858 tensor_200815 tensor_200866 0=2 +BinaryOp 1538 2 1 tensor_200854 tensor_200835 tensor_200867 0=2 +BinaryOp 1539 2 1 tensor_200867 tensor_200866 tensor_200868 0=0 +BinaryOp 1540 2 1 tensor_200855 tensor_200837 tensor_200869 0=2 +BinaryOp 1541 2 1 tensor_200869 tensor_200859 tensor_200870 0=0 +Split 1542 1 1 tensor_200773 output_state_12_0 +Split 1543 1 1 tensor_200868 output_state_12_1 +Split 1544 1 1 tensor_200870 output_state_12_2 +Split 1545 1 1 tensor_200851 output_state_12_3 +Split 1546 1 2 tensor_200865 tensor_200875 tensor_200876 +LayerNorm 1547 1 1 tensor_200875 tensor_200877 0=2560 1=1.000000e-05 2=1 +Split 1548 1 3 tensor_200877 tensor_200878 tensor_200879 tensor_200880 +Split 1549 1 2 state_12_4 tensor_200881 tensor_200882 +MemoryData 1550 0 1 blocks.12.ffn.time_mix_k 0=2560 21=0 +Split 1551 1 2 blocks.12.ffn.time_mix_k tensor_200884 tensor_200885 +MemoryData 1552 0 1 blocks.12.ffn.time_mix_r 0=2560 21=0 +Split 1553 1 2 blocks.12.ffn.time_mix_r tensor_200887 tensor_200888 +BinaryOp 1554 1 1 tensor_200885 tensor_200889 0=7 1=1 2=1.000000e+00 +BinaryOp 1555 2 1 tensor_200881 tensor_200889 tensor_200890 0=2 +BinaryOp 1556 2 1 tensor_200878 tensor_200884 tensor_200891 0=2 +BinaryOp 1557 2 1 tensor_200891 tensor_200890 tensor_200892 0=0 +BinaryOp 1558 1 1 tensor_200888 tensor_200893 0=7 1=1 2=1.000000e+00 +BinaryOp 1559 2 1 tensor_200882 tensor_200893 tensor_200894 0=2 +BinaryOp 1560 2 1 tensor_200879 tensor_200887 tensor_200895 0=2 +BinaryOp 1561 2 1 tensor_200895 tensor_200894 tensor_200896 0=0 +GemvA32W4 1562 1 1 tensor_200896 tensor_200900 0=2560 1=2560 11=8 22=16 +Sigmoid 1563 1 1 tensor_200900 tensor_200901 +GemvA32W4 1564 1 1 tensor_200892 tensor_200905 0=10240 1=2560 11=8 22=16 +ReLU 1565 1 1 tensor_200905 tensor_200906 +BinaryOp 1566 2 1 tensor_200906 tensor_200906 tensor_200907 0=2 +GemvA32W4 1567 1 1 tensor_200907 tensor_200911 0=2560 1=10240 11=8 22=16 +BinaryOp 1568 2 1 tensor_200901 tensor_200911 tensor_200912 0=2 +BinaryOp 1569 2 1 tensor_200876 tensor_200912 tensor_200913 0=0 +Split 1570 1 1 tensor_200880 output_state_12_4 +Split 1571 1 2 tensor_200913 tensor_200915 tensor_200916 +LayerNorm 1572 1 1 tensor_200915 tensor_200917 0=2560 1=1.000000e-05 2=1 +Split 1573 1 4 tensor_200917 tensor_200918 tensor_200919 tensor_200920 tensor_200921 +Split 1574 1 3 state_13_0 tensor_200922 tensor_200923 tensor_200924 +MemoryData 1575 0 1 blocks.13.att.time_mix_k 0=2560 21=0 +Split 1576 1 2 blocks.13.att.time_mix_k tensor_200926 tensor_200927 +MemoryData 1577 0 1 blocks.13.att.time_mix_v 0=2560 21=0 +Split 1578 1 2 blocks.13.att.time_mix_v tensor_200929 tensor_200930 +MemoryData 1579 0 1 blocks.13.att.time_mix_r 0=2560 21=0 +Split 1580 1 2 blocks.13.att.time_mix_r tensor_200932 tensor_200933 +BinaryOp 1581 1 1 tensor_200927 tensor_200934 0=7 1=1 2=1.000000e+00 +BinaryOp 1582 2 1 tensor_200922 tensor_200934 tensor_200935 0=2 +BinaryOp 1583 2 1 tensor_200918 tensor_200926 tensor_200936 0=2 +BinaryOp 1584 2 1 tensor_200936 tensor_200935 tensor_200937 0=0 +BinaryOp 1585 1 1 tensor_200930 tensor_200938 0=7 1=1 2=1.000000e+00 +BinaryOp 1586 2 1 tensor_200923 tensor_200938 tensor_200939 0=2 +BinaryOp 1587 2 1 tensor_200919 tensor_200929 tensor_200940 0=2 +BinaryOp 1588 2 1 tensor_200940 tensor_200939 tensor_200941 0=0 +BinaryOp 1589 1 1 tensor_200933 tensor_200942 0=7 1=1 2=1.000000e+00 +BinaryOp 1590 2 1 tensor_200924 tensor_200942 tensor_200943 0=2 +BinaryOp 1591 2 1 tensor_200920 tensor_200932 tensor_200944 0=2 +BinaryOp 1592 2 1 tensor_200944 tensor_200943 tensor_200945 0=0 +GemvA32W4 1593 1 1 tensor_200945 tensor_200949 0=2560 1=2560 11=8 22=16 +Sigmoid 1594 1 1 tensor_200949 tensor_200950 +GemvA32W4 1595 1 1 tensor_200937 tensor_200954 0=2560 1=2560 11=8 22=16 +Split 1596 1 3 tensor_200954 tensor_200955 tensor_200956 tensor_200957 +GemvA32W4 1597 1 1 tensor_200941 tensor_200961 0=2560 1=2560 11=8 22=16 +Split 1598 1 2 tensor_200961 tensor_200962 tensor_200963 +MemoryData 1599 0 1 blocks.13.att.time_first 0=2560 21=0 +BinaryOp 1600 2 1 blocks.13.att.time_first tensor_200955 tensor_200965 0=0 +Split 1601 1 2 tensor_200965 tensor_200966 tensor_200967 +Split 1602 1 3 state_13_3 tensor_200968 tensor_200969 tensor_200970 +BinaryOp 1603 2 1 tensor_200968 tensor_200966 tensor_200971 0=4 +Split 1604 1 2 tensor_200971 tensor_200972 tensor_200973 +BinaryOp 1605 2 1 tensor_200969 tensor_200972 tensor_200974 0=1 +Exp 1606 1 1 tensor_200974 tensor_200975 +Split 1607 1 2 tensor_200975 tensor_200976 tensor_200977 +BinaryOp 1608 2 1 tensor_200967 tensor_200973 tensor_200978 0=1 +Exp 1609 1 1 tensor_200978 tensor_200979 +Split 1610 1 2 tensor_200979 tensor_200980 tensor_200981 +Split 1611 1 2 state_13_1 tensor_200982 tensor_200983 +Split 1612 1 2 state_13_2 tensor_200984 tensor_200985 +BinaryOp 1613 2 1 tensor_200977 tensor_200984 tensor_200986 0=2 +BinaryOp 1614 2 1 tensor_200986 tensor_200981 tensor_200987 0=0 +BinaryOp 1615 2 1 tensor_200980 tensor_200962 tensor_200988 0=2 +BinaryOp 1616 2 1 tensor_200976 tensor_200982 tensor_200989 0=2 +BinaryOp 1617 2 1 tensor_200989 tensor_200988 tensor_200990 0=0 +BinaryOp 1618 2 1 tensor_200990 tensor_200987 tensor_200991 0=3 +MemoryData 1619 0 1 blocks.13.att.time_decay 0=2560 21=0 +BinaryOp 1620 2 1 blocks.13.att.time_decay tensor_200970 tensor_200993 0=0 +Split 1621 1 2 tensor_200993 tensor_200994 tensor_200995 +BinaryOp 1622 2 1 tensor_200994 tensor_200956 tensor_200996 0=4 +Split 1623 1 3 tensor_200996 tensor_200997 tensor_200998 tensor_200999 +BinaryOp 1624 2 1 tensor_200995 tensor_200997 tensor_201000 0=1 +Exp 1625 1 1 tensor_201000 tensor_201001 +Split 1626 1 2 tensor_201001 tensor_201002 tensor_201003 +BinaryOp 1627 2 1 tensor_200957 tensor_200998 tensor_201004 0=1 +Exp 1628 1 1 tensor_201004 tensor_201005 +Split 1629 1 2 tensor_201005 tensor_201006 tensor_201007 +BinaryOp 1630 2 1 tensor_200950 tensor_200991 tensor_201008 0=2 +GemvA32W4 1631 1 1 tensor_201008 tensor_201012 0=2560 1=2560 11=8 22=16 +BinaryOp 1632 2 1 tensor_200916 tensor_201012 tensor_201013 0=0 +BinaryOp 1633 2 1 tensor_201006 tensor_200963 tensor_201014 0=2 +BinaryOp 1634 2 1 tensor_201002 tensor_200983 tensor_201015 0=2 +BinaryOp 1635 2 1 tensor_201015 tensor_201014 tensor_201016 0=0 +BinaryOp 1636 2 1 tensor_201003 tensor_200985 tensor_201017 0=2 +BinaryOp 1637 2 1 tensor_201017 tensor_201007 tensor_201018 0=0 +Split 1638 1 1 tensor_200921 output_state_13_0 +Split 1639 1 1 tensor_201016 output_state_13_1 +Split 1640 1 1 tensor_201018 output_state_13_2 +Split 1641 1 1 tensor_200999 output_state_13_3 +Split 1642 1 2 tensor_201013 tensor_201023 tensor_201024 +LayerNorm 1643 1 1 tensor_201023 tensor_201025 0=2560 1=1.000000e-05 2=1 +Split 1644 1 3 tensor_201025 tensor_201026 tensor_201027 tensor_201028 +Split 1645 1 2 state_13_4 tensor_201029 tensor_201030 +MemoryData 1646 0 1 blocks.13.ffn.time_mix_k 0=2560 21=0 +Split 1647 1 2 blocks.13.ffn.time_mix_k tensor_201032 tensor_201033 +MemoryData 1648 0 1 blocks.13.ffn.time_mix_r 0=2560 21=0 +Split 1649 1 2 blocks.13.ffn.time_mix_r tensor_201035 tensor_201036 +BinaryOp 1650 1 1 tensor_201033 tensor_201037 0=7 1=1 2=1.000000e+00 +BinaryOp 1651 2 1 tensor_201029 tensor_201037 tensor_201038 0=2 +BinaryOp 1652 2 1 tensor_201026 tensor_201032 tensor_201039 0=2 +BinaryOp 1653 2 1 tensor_201039 tensor_201038 tensor_201040 0=0 +BinaryOp 1654 1 1 tensor_201036 tensor_201041 0=7 1=1 2=1.000000e+00 +BinaryOp 1655 2 1 tensor_201030 tensor_201041 tensor_201042 0=2 +BinaryOp 1656 2 1 tensor_201027 tensor_201035 tensor_201043 0=2 +BinaryOp 1657 2 1 tensor_201043 tensor_201042 tensor_201044 0=0 +GemvA32W4 1658 1 1 tensor_201044 tensor_201048 0=2560 1=2560 11=8 22=16 +Sigmoid 1659 1 1 tensor_201048 tensor_201049 +GemvA32W4 1660 1 1 tensor_201040 tensor_201053 0=10240 1=2560 11=8 22=16 +ReLU 1661 1 1 tensor_201053 tensor_201054 +BinaryOp 1662 2 1 tensor_201054 tensor_201054 tensor_201055 0=2 +GemvA32W4 1663 1 1 tensor_201055 tensor_201059 0=2560 1=10240 11=8 22=16 +BinaryOp 1664 2 1 tensor_201049 tensor_201059 tensor_201060 0=2 +BinaryOp 1665 2 1 tensor_201024 tensor_201060 tensor_201061 0=0 +Split 1666 1 1 tensor_201028 output_state_13_4 +Split 1667 1 2 tensor_201061 tensor_201063 tensor_201064 +LayerNorm 1668 1 1 tensor_201063 tensor_201065 0=2560 1=1.000000e-05 2=1 +Split 1669 1 4 tensor_201065 tensor_201066 tensor_201067 tensor_201068 tensor_201069 +Split 1670 1 3 state_14_0 tensor_201070 tensor_201071 tensor_201072 +MemoryData 1671 0 1 blocks.14.att.time_mix_k 0=2560 21=0 +Split 1672 1 2 blocks.14.att.time_mix_k tensor_201074 tensor_201075 +MemoryData 1673 0 1 blocks.14.att.time_mix_v 0=2560 21=0 +Split 1674 1 2 blocks.14.att.time_mix_v tensor_201077 tensor_201078 +MemoryData 1675 0 1 blocks.14.att.time_mix_r 0=2560 21=0 +Split 1676 1 2 blocks.14.att.time_mix_r tensor_201080 tensor_201081 +BinaryOp 1677 1 1 tensor_201075 tensor_201082 0=7 1=1 2=1.000000e+00 +BinaryOp 1678 2 1 tensor_201070 tensor_201082 tensor_201083 0=2 +BinaryOp 1679 2 1 tensor_201066 tensor_201074 tensor_201084 0=2 +BinaryOp 1680 2 1 tensor_201084 tensor_201083 tensor_201085 0=0 +BinaryOp 1681 1 1 tensor_201078 tensor_201086 0=7 1=1 2=1.000000e+00 +BinaryOp 1682 2 1 tensor_201071 tensor_201086 tensor_201087 0=2 +BinaryOp 1683 2 1 tensor_201067 tensor_201077 tensor_201088 0=2 +BinaryOp 1684 2 1 tensor_201088 tensor_201087 tensor_201089 0=0 +BinaryOp 1685 1 1 tensor_201081 tensor_201090 0=7 1=1 2=1.000000e+00 +BinaryOp 1686 2 1 tensor_201072 tensor_201090 tensor_201091 0=2 +BinaryOp 1687 2 1 tensor_201068 tensor_201080 tensor_201092 0=2 +BinaryOp 1688 2 1 tensor_201092 tensor_201091 tensor_201093 0=0 +GemvA32W4 1689 1 1 tensor_201093 tensor_201097 0=2560 1=2560 11=8 22=16 +Sigmoid 1690 1 1 tensor_201097 tensor_201098 +GemvA32W4 1691 1 1 tensor_201085 tensor_201102 0=2560 1=2560 11=8 22=16 +Split 1692 1 3 tensor_201102 tensor_201103 tensor_201104 tensor_201105 +GemvA32W4 1693 1 1 tensor_201089 tensor_201109 0=2560 1=2560 11=8 22=16 +Split 1694 1 2 tensor_201109 tensor_201110 tensor_201111 +MemoryData 1695 0 1 blocks.14.att.time_first 0=2560 21=0 +BinaryOp 1696 2 1 blocks.14.att.time_first tensor_201103 tensor_201113 0=0 +Split 1697 1 2 tensor_201113 tensor_201114 tensor_201115 +Split 1698 1 3 state_14_3 tensor_201116 tensor_201117 tensor_201118 +BinaryOp 1699 2 1 tensor_201116 tensor_201114 tensor_201119 0=4 +Split 1700 1 2 tensor_201119 tensor_201120 tensor_201121 +BinaryOp 1701 2 1 tensor_201117 tensor_201120 tensor_201122 0=1 +Exp 1702 1 1 tensor_201122 tensor_201123 +Split 1703 1 2 tensor_201123 tensor_201124 tensor_201125 +BinaryOp 1704 2 1 tensor_201115 tensor_201121 tensor_201126 0=1 +Exp 1705 1 1 tensor_201126 tensor_201127 +Split 1706 1 2 tensor_201127 tensor_201128 tensor_201129 +Split 1707 1 2 state_14_1 tensor_201130 tensor_201131 +Split 1708 1 2 state_14_2 tensor_201132 tensor_201133 +BinaryOp 1709 2 1 tensor_201125 tensor_201132 tensor_201134 0=2 +BinaryOp 1710 2 1 tensor_201134 tensor_201129 tensor_201135 0=0 +BinaryOp 1711 2 1 tensor_201128 tensor_201110 tensor_201136 0=2 +BinaryOp 1712 2 1 tensor_201124 tensor_201130 tensor_201137 0=2 +BinaryOp 1713 2 1 tensor_201137 tensor_201136 tensor_201138 0=0 +BinaryOp 1714 2 1 tensor_201138 tensor_201135 tensor_201139 0=3 +MemoryData 1715 0 1 blocks.14.att.time_decay 0=2560 21=0 +BinaryOp 1716 2 1 blocks.14.att.time_decay tensor_201118 tensor_201141 0=0 +Split 1717 1 2 tensor_201141 tensor_201142 tensor_201143 +BinaryOp 1718 2 1 tensor_201142 tensor_201104 tensor_201144 0=4 +Split 1719 1 3 tensor_201144 tensor_201145 tensor_201146 tensor_201147 +BinaryOp 1720 2 1 tensor_201143 tensor_201145 tensor_201148 0=1 +Exp 1721 1 1 tensor_201148 tensor_201149 +Split 1722 1 2 tensor_201149 tensor_201150 tensor_201151 +BinaryOp 1723 2 1 tensor_201105 tensor_201146 tensor_201152 0=1 +Exp 1724 1 1 tensor_201152 tensor_201153 +Split 1725 1 2 tensor_201153 tensor_201154 tensor_201155 +BinaryOp 1726 2 1 tensor_201098 tensor_201139 tensor_201156 0=2 +GemvA32W4 1727 1 1 tensor_201156 tensor_201160 0=2560 1=2560 11=8 22=16 +BinaryOp 1728 2 1 tensor_201064 tensor_201160 tensor_201161 0=0 +BinaryOp 1729 2 1 tensor_201154 tensor_201111 tensor_201162 0=2 +BinaryOp 1730 2 1 tensor_201150 tensor_201131 tensor_201163 0=2 +BinaryOp 1731 2 1 tensor_201163 tensor_201162 tensor_201164 0=0 +BinaryOp 1732 2 1 tensor_201151 tensor_201133 tensor_201165 0=2 +BinaryOp 1733 2 1 tensor_201165 tensor_201155 tensor_201166 0=0 +Split 1734 1 1 tensor_201069 output_state_14_0 +Split 1735 1 1 tensor_201164 output_state_14_1 +Split 1736 1 1 tensor_201166 output_state_14_2 +Split 1737 1 1 tensor_201147 output_state_14_3 +Split 1738 1 2 tensor_201161 tensor_201171 tensor_201172 +LayerNorm 1739 1 1 tensor_201171 tensor_201173 0=2560 1=1.000000e-05 2=1 +Split 1740 1 3 tensor_201173 tensor_201174 tensor_201175 tensor_201176 +Split 1741 1 2 state_14_4 tensor_201177 tensor_201178 +MemoryData 1742 0 1 blocks.14.ffn.time_mix_k 0=2560 21=0 +Split 1743 1 2 blocks.14.ffn.time_mix_k tensor_201180 tensor_201181 +MemoryData 1744 0 1 blocks.14.ffn.time_mix_r 0=2560 21=0 +Split 1745 1 2 blocks.14.ffn.time_mix_r tensor_201183 tensor_201184 +BinaryOp 1746 1 1 tensor_201181 tensor_201185 0=7 1=1 2=1.000000e+00 +BinaryOp 1747 2 1 tensor_201177 tensor_201185 tensor_201186 0=2 +BinaryOp 1748 2 1 tensor_201174 tensor_201180 tensor_201187 0=2 +BinaryOp 1749 2 1 tensor_201187 tensor_201186 tensor_201188 0=0 +BinaryOp 1750 1 1 tensor_201184 tensor_201189 0=7 1=1 2=1.000000e+00 +BinaryOp 1751 2 1 tensor_201178 tensor_201189 tensor_201190 0=2 +BinaryOp 1752 2 1 tensor_201175 tensor_201183 tensor_201191 0=2 +BinaryOp 1753 2 1 tensor_201191 tensor_201190 tensor_201192 0=0 +GemvA32W4 1754 1 1 tensor_201192 tensor_201196 0=2560 1=2560 11=8 22=16 +Sigmoid 1755 1 1 tensor_201196 tensor_201197 +GemvA32W4 1756 1 1 tensor_201188 tensor_201201 0=10240 1=2560 11=8 22=16 +ReLU 1757 1 1 tensor_201201 tensor_201202 +BinaryOp 1758 2 1 tensor_201202 tensor_201202 tensor_201203 0=2 +GemvA32W4 1759 1 1 tensor_201203 tensor_201207 0=2560 1=10240 11=8 22=16 +BinaryOp 1760 2 1 tensor_201197 tensor_201207 tensor_201208 0=2 +BinaryOp 1761 2 1 tensor_201172 tensor_201208 tensor_201209 0=0 +Split 1762 1 1 tensor_201176 output_state_14_4 +Split 1763 1 2 tensor_201209 tensor_201211 tensor_201212 +LayerNorm 1764 1 1 tensor_201211 tensor_201213 0=2560 1=1.000000e-05 2=1 +Split 1765 1 4 tensor_201213 tensor_201214 tensor_201215 tensor_201216 tensor_201217 +Split 1766 1 3 state_15_0 tensor_201218 tensor_201219 tensor_201220 +MemoryData 1767 0 1 blocks.15.att.time_mix_k 0=2560 21=0 +Split 1768 1 2 blocks.15.att.time_mix_k tensor_201222 tensor_201223 +MemoryData 1769 0 1 blocks.15.att.time_mix_v 0=2560 21=0 +Split 1770 1 2 blocks.15.att.time_mix_v tensor_201225 tensor_201226 +MemoryData 1771 0 1 blocks.15.att.time_mix_r 0=2560 21=0 +Split 1772 1 2 blocks.15.att.time_mix_r tensor_201228 tensor_201229 +BinaryOp 1773 1 1 tensor_201223 tensor_201230 0=7 1=1 2=1.000000e+00 +BinaryOp 1774 2 1 tensor_201218 tensor_201230 tensor_201231 0=2 +BinaryOp 1775 2 1 tensor_201214 tensor_201222 tensor_201232 0=2 +BinaryOp 1776 2 1 tensor_201232 tensor_201231 tensor_201233 0=0 +BinaryOp 1777 1 1 tensor_201226 tensor_201234 0=7 1=1 2=1.000000e+00 +BinaryOp 1778 2 1 tensor_201219 tensor_201234 tensor_201235 0=2 +BinaryOp 1779 2 1 tensor_201215 tensor_201225 tensor_201236 0=2 +BinaryOp 1780 2 1 tensor_201236 tensor_201235 tensor_201237 0=0 +BinaryOp 1781 1 1 tensor_201229 tensor_201238 0=7 1=1 2=1.000000e+00 +BinaryOp 1782 2 1 tensor_201220 tensor_201238 tensor_201239 0=2 +BinaryOp 1783 2 1 tensor_201216 tensor_201228 tensor_201240 0=2 +BinaryOp 1784 2 1 tensor_201240 tensor_201239 tensor_201241 0=0 +GemvA32W4 1785 1 1 tensor_201241 tensor_201245 0=2560 1=2560 11=8 22=16 +Sigmoid 1786 1 1 tensor_201245 tensor_201246 +GemvA32W4 1787 1 1 tensor_201233 tensor_201250 0=2560 1=2560 11=8 22=16 +Split 1788 1 3 tensor_201250 tensor_201251 tensor_201252 tensor_201253 +GemvA32W4 1789 1 1 tensor_201237 tensor_201257 0=2560 1=2560 11=8 22=16 +Split 1790 1 2 tensor_201257 tensor_201258 tensor_201259 +MemoryData 1791 0 1 blocks.15.att.time_first 0=2560 21=0 +BinaryOp 1792 2 1 blocks.15.att.time_first tensor_201251 tensor_201261 0=0 +Split 1793 1 2 tensor_201261 tensor_201262 tensor_201263 +Split 1794 1 3 state_15_3 tensor_201264 tensor_201265 tensor_201266 +BinaryOp 1795 2 1 tensor_201264 tensor_201262 tensor_201267 0=4 +Split 1796 1 2 tensor_201267 tensor_201268 tensor_201269 +BinaryOp 1797 2 1 tensor_201265 tensor_201268 tensor_201270 0=1 +Exp 1798 1 1 tensor_201270 tensor_201271 +Split 1799 1 2 tensor_201271 tensor_201272 tensor_201273 +BinaryOp 1800 2 1 tensor_201263 tensor_201269 tensor_201274 0=1 +Exp 1801 1 1 tensor_201274 tensor_201275 +Split 1802 1 2 tensor_201275 tensor_201276 tensor_201277 +Split 1803 1 2 state_15_1 tensor_201278 tensor_201279 +Split 1804 1 2 state_15_2 tensor_201280 tensor_201281 +BinaryOp 1805 2 1 tensor_201273 tensor_201280 tensor_201282 0=2 +BinaryOp 1806 2 1 tensor_201282 tensor_201277 tensor_201283 0=0 +BinaryOp 1807 2 1 tensor_201276 tensor_201258 tensor_201284 0=2 +BinaryOp 1808 2 1 tensor_201272 tensor_201278 tensor_201285 0=2 +BinaryOp 1809 2 1 tensor_201285 tensor_201284 tensor_201286 0=0 +BinaryOp 1810 2 1 tensor_201286 tensor_201283 tensor_201287 0=3 +MemoryData 1811 0 1 blocks.15.att.time_decay 0=2560 21=0 +BinaryOp 1812 2 1 blocks.15.att.time_decay tensor_201266 tensor_201289 0=0 +Split 1813 1 2 tensor_201289 tensor_201290 tensor_201291 +BinaryOp 1814 2 1 tensor_201290 tensor_201252 tensor_201292 0=4 +Split 1815 1 3 tensor_201292 tensor_201293 tensor_201294 tensor_201295 +BinaryOp 1816 2 1 tensor_201291 tensor_201293 tensor_201296 0=1 +Exp 1817 1 1 tensor_201296 tensor_201297 +Split 1818 1 2 tensor_201297 tensor_201298 tensor_201299 +BinaryOp 1819 2 1 tensor_201253 tensor_201294 tensor_201300 0=1 +Exp 1820 1 1 tensor_201300 tensor_201301 +Split 1821 1 2 tensor_201301 tensor_201302 tensor_201303 +BinaryOp 1822 2 1 tensor_201246 tensor_201287 tensor_201304 0=2 +GemvA32W4 1823 1 1 tensor_201304 tensor_201308 0=2560 1=2560 11=8 22=16 +BinaryOp 1824 2 1 tensor_201212 tensor_201308 tensor_201309 0=0 +BinaryOp 1825 2 1 tensor_201302 tensor_201259 tensor_201310 0=2 +BinaryOp 1826 2 1 tensor_201298 tensor_201279 tensor_201311 0=2 +BinaryOp 1827 2 1 tensor_201311 tensor_201310 tensor_201312 0=0 +BinaryOp 1828 2 1 tensor_201299 tensor_201281 tensor_201313 0=2 +BinaryOp 1829 2 1 tensor_201313 tensor_201303 tensor_201314 0=0 +Split 1830 1 1 tensor_201217 output_state_15_0 +Split 1831 1 1 tensor_201312 output_state_15_1 +Split 1832 1 1 tensor_201314 output_state_15_2 +Split 1833 1 1 tensor_201295 output_state_15_3 +Split 1834 1 2 tensor_201309 tensor_201319 tensor_201320 +LayerNorm 1835 1 1 tensor_201319 tensor_201321 0=2560 1=1.000000e-05 2=1 +Split 1836 1 3 tensor_201321 tensor_201322 tensor_201323 tensor_201324 +Split 1837 1 2 state_15_4 tensor_201325 tensor_201326 +MemoryData 1838 0 1 blocks.15.ffn.time_mix_k 0=2560 21=0 +Split 1839 1 2 blocks.15.ffn.time_mix_k tensor_201328 tensor_201329 +MemoryData 1840 0 1 blocks.15.ffn.time_mix_r 0=2560 21=0 +Split 1841 1 2 blocks.15.ffn.time_mix_r tensor_201331 tensor_201332 +BinaryOp 1842 1 1 tensor_201329 tensor_201333 0=7 1=1 2=1.000000e+00 +BinaryOp 1843 2 1 tensor_201325 tensor_201333 tensor_201334 0=2 +BinaryOp 1844 2 1 tensor_201322 tensor_201328 tensor_201335 0=2 +BinaryOp 1845 2 1 tensor_201335 tensor_201334 tensor_201336 0=0 +BinaryOp 1846 1 1 tensor_201332 tensor_201337 0=7 1=1 2=1.000000e+00 +BinaryOp 1847 2 1 tensor_201326 tensor_201337 tensor_201338 0=2 +BinaryOp 1848 2 1 tensor_201323 tensor_201331 tensor_201339 0=2 +BinaryOp 1849 2 1 tensor_201339 tensor_201338 tensor_201340 0=0 +GemvA32W4 1850 1 1 tensor_201340 tensor_201344 0=2560 1=2560 11=8 22=16 +Sigmoid 1851 1 1 tensor_201344 tensor_201345 +GemvA32W4 1852 1 1 tensor_201336 tensor_201349 0=10240 1=2560 11=8 22=16 +ReLU 1853 1 1 tensor_201349 tensor_201350 +BinaryOp 1854 2 1 tensor_201350 tensor_201350 tensor_201351 0=2 +GemvA32W4 1855 1 1 tensor_201351 tensor_201355 0=2560 1=10240 11=8 22=16 +BinaryOp 1856 2 1 tensor_201345 tensor_201355 tensor_201356 0=2 +BinaryOp 1857 2 1 tensor_201320 tensor_201356 tensor_201357 0=0 +Split 1858 1 1 tensor_201324 output_state_15_4 +Split 1859 1 2 tensor_201357 tensor_201359 tensor_201360 +LayerNorm 1860 1 1 tensor_201359 tensor_201361 0=2560 1=1.000000e-05 2=1 +Split 1861 1 4 tensor_201361 tensor_201362 tensor_201363 tensor_201364 tensor_201365 +Split 1862 1 3 state_16_0 tensor_201366 tensor_201367 tensor_201368 +MemoryData 1863 0 1 blocks.16.att.time_mix_k 0=2560 21=0 +Split 1864 1 2 blocks.16.att.time_mix_k tensor_201370 tensor_201371 +MemoryData 1865 0 1 blocks.16.att.time_mix_v 0=2560 21=0 +Split 1866 1 2 blocks.16.att.time_mix_v tensor_201373 tensor_201374 +MemoryData 1867 0 1 blocks.16.att.time_mix_r 0=2560 21=0 +Split 1868 1 2 blocks.16.att.time_mix_r tensor_201376 tensor_201377 +BinaryOp 1869 1 1 tensor_201371 tensor_201378 0=7 1=1 2=1.000000e+00 +BinaryOp 1870 2 1 tensor_201366 tensor_201378 tensor_201379 0=2 +BinaryOp 1871 2 1 tensor_201362 tensor_201370 tensor_201380 0=2 +BinaryOp 1872 2 1 tensor_201380 tensor_201379 tensor_201381 0=0 +BinaryOp 1873 1 1 tensor_201374 tensor_201382 0=7 1=1 2=1.000000e+00 +BinaryOp 1874 2 1 tensor_201367 tensor_201382 tensor_201383 0=2 +BinaryOp 1875 2 1 tensor_201363 tensor_201373 tensor_201384 0=2 +BinaryOp 1876 2 1 tensor_201384 tensor_201383 tensor_201385 0=0 +BinaryOp 1877 1 1 tensor_201377 tensor_201386 0=7 1=1 2=1.000000e+00 +BinaryOp 1878 2 1 tensor_201368 tensor_201386 tensor_201387 0=2 +BinaryOp 1879 2 1 tensor_201364 tensor_201376 tensor_201388 0=2 +BinaryOp 1880 2 1 tensor_201388 tensor_201387 tensor_201389 0=0 +GemvA32W4 1881 1 1 tensor_201389 tensor_201393 0=2560 1=2560 11=8 22=16 +Sigmoid 1882 1 1 tensor_201393 tensor_201394 +GemvA32W4 1883 1 1 tensor_201381 tensor_201398 0=2560 1=2560 11=8 22=16 +Split 1884 1 3 tensor_201398 tensor_201399 tensor_201400 tensor_201401 +GemvA32W4 1885 1 1 tensor_201385 tensor_201405 0=2560 1=2560 11=8 22=16 +Split 1886 1 2 tensor_201405 tensor_201406 tensor_201407 +MemoryData 1887 0 1 blocks.16.att.time_first 0=2560 21=0 +BinaryOp 1888 2 1 blocks.16.att.time_first tensor_201399 tensor_201409 0=0 +Split 1889 1 2 tensor_201409 tensor_201410 tensor_201411 +Split 1890 1 3 state_16_3 tensor_201412 tensor_201413 tensor_201414 +BinaryOp 1891 2 1 tensor_201412 tensor_201410 tensor_201415 0=4 +Split 1892 1 2 tensor_201415 tensor_201416 tensor_201417 +BinaryOp 1893 2 1 tensor_201413 tensor_201416 tensor_201418 0=1 +Exp 1894 1 1 tensor_201418 tensor_201419 +Split 1895 1 2 tensor_201419 tensor_201420 tensor_201421 +BinaryOp 1896 2 1 tensor_201411 tensor_201417 tensor_201422 0=1 +Exp 1897 1 1 tensor_201422 tensor_201423 +Split 1898 1 2 tensor_201423 tensor_201424 tensor_201425 +Split 1899 1 2 state_16_1 tensor_201426 tensor_201427 +Split 1900 1 2 state_16_2 tensor_201428 tensor_201429 +BinaryOp 1901 2 1 tensor_201421 tensor_201428 tensor_201430 0=2 +BinaryOp 1902 2 1 tensor_201430 tensor_201425 tensor_201431 0=0 +BinaryOp 1903 2 1 tensor_201424 tensor_201406 tensor_201432 0=2 +BinaryOp 1904 2 1 tensor_201420 tensor_201426 tensor_201433 0=2 +BinaryOp 1905 2 1 tensor_201433 tensor_201432 tensor_201434 0=0 +BinaryOp 1906 2 1 tensor_201434 tensor_201431 tensor_201435 0=3 +MemoryData 1907 0 1 blocks.16.att.time_decay 0=2560 21=0 +BinaryOp 1908 2 1 blocks.16.att.time_decay tensor_201414 tensor_201437 0=0 +Split 1909 1 2 tensor_201437 tensor_201438 tensor_201439 +BinaryOp 1910 2 1 tensor_201438 tensor_201400 tensor_201440 0=4 +Split 1911 1 3 tensor_201440 tensor_201441 tensor_201442 tensor_201443 +BinaryOp 1912 2 1 tensor_201439 tensor_201441 tensor_201444 0=1 +Exp 1913 1 1 tensor_201444 tensor_201445 +Split 1914 1 2 tensor_201445 tensor_201446 tensor_201447 +BinaryOp 1915 2 1 tensor_201401 tensor_201442 tensor_201448 0=1 +Exp 1916 1 1 tensor_201448 tensor_201449 +Split 1917 1 2 tensor_201449 tensor_201450 tensor_201451 +BinaryOp 1918 2 1 tensor_201394 tensor_201435 tensor_201452 0=2 +GemvA32W4 1919 1 1 tensor_201452 tensor_201456 0=2560 1=2560 11=8 22=16 +BinaryOp 1920 2 1 tensor_201360 tensor_201456 tensor_201457 0=0 +BinaryOp 1921 2 1 tensor_201450 tensor_201407 tensor_201458 0=2 +BinaryOp 1922 2 1 tensor_201446 tensor_201427 tensor_201459 0=2 +BinaryOp 1923 2 1 tensor_201459 tensor_201458 tensor_201460 0=0 +BinaryOp 1924 2 1 tensor_201447 tensor_201429 tensor_201461 0=2 +BinaryOp 1925 2 1 tensor_201461 tensor_201451 tensor_201462 0=0 +Split 1926 1 1 tensor_201365 output_state_16_0 +Split 1927 1 1 tensor_201460 output_state_16_1 +Split 1928 1 1 tensor_201462 output_state_16_2 +Split 1929 1 1 tensor_201443 output_state_16_3 +Split 1930 1 2 tensor_201457 tensor_201467 tensor_201468 +LayerNorm 1931 1 1 tensor_201467 tensor_201469 0=2560 1=1.000000e-05 2=1 +Split 1932 1 3 tensor_201469 tensor_201470 tensor_201471 tensor_201472 +Split 1933 1 2 state_16_4 tensor_201473 tensor_201474 +MemoryData 1934 0 1 blocks.16.ffn.time_mix_k 0=2560 21=0 +Split 1935 1 2 blocks.16.ffn.time_mix_k tensor_201476 tensor_201477 +MemoryData 1936 0 1 blocks.16.ffn.time_mix_r 0=2560 21=0 +Split 1937 1 2 blocks.16.ffn.time_mix_r tensor_201479 tensor_201480 +BinaryOp 1938 1 1 tensor_201477 tensor_201481 0=7 1=1 2=1.000000e+00 +BinaryOp 1939 2 1 tensor_201473 tensor_201481 tensor_201482 0=2 +BinaryOp 1940 2 1 tensor_201470 tensor_201476 tensor_201483 0=2 +BinaryOp 1941 2 1 tensor_201483 tensor_201482 tensor_201484 0=0 +BinaryOp 1942 1 1 tensor_201480 tensor_201485 0=7 1=1 2=1.000000e+00 +BinaryOp 1943 2 1 tensor_201474 tensor_201485 tensor_201486 0=2 +BinaryOp 1944 2 1 tensor_201471 tensor_201479 tensor_201487 0=2 +BinaryOp 1945 2 1 tensor_201487 tensor_201486 tensor_201488 0=0 +GemvA32W4 1946 1 1 tensor_201488 tensor_201492 0=2560 1=2560 11=8 22=16 +Sigmoid 1947 1 1 tensor_201492 tensor_201493 +GemvA32W4 1948 1 1 tensor_201484 tensor_201497 0=10240 1=2560 11=8 22=16 +ReLU 1949 1 1 tensor_201497 tensor_201498 +BinaryOp 1950 2 1 tensor_201498 tensor_201498 tensor_201499 0=2 +GemvA32W4 1951 1 1 tensor_201499 tensor_201503 0=2560 1=10240 11=8 22=16 +BinaryOp 1952 2 1 tensor_201493 tensor_201503 tensor_201504 0=2 +BinaryOp 1953 2 1 tensor_201468 tensor_201504 tensor_201505 0=0 +Split 1954 1 1 tensor_201472 output_state_16_4 +Split 1955 1 2 tensor_201505 tensor_201507 tensor_201508 +LayerNorm 1956 1 1 tensor_201507 tensor_201509 0=2560 1=1.000000e-05 2=1 +Split 1957 1 4 tensor_201509 tensor_201510 tensor_201511 tensor_201512 tensor_201513 +Split 1958 1 3 state_17_0 tensor_201514 tensor_201515 tensor_201516 +MemoryData 1959 0 1 blocks.17.att.time_mix_k 0=2560 21=0 +Split 1960 1 2 blocks.17.att.time_mix_k tensor_201518 tensor_201519 +MemoryData 1961 0 1 blocks.17.att.time_mix_v 0=2560 21=0 +Split 1962 1 2 blocks.17.att.time_mix_v tensor_201521 tensor_201522 +MemoryData 1963 0 1 blocks.17.att.time_mix_r 0=2560 21=0 +Split 1964 1 2 blocks.17.att.time_mix_r tensor_201524 tensor_201525 +BinaryOp 1965 1 1 tensor_201519 tensor_201526 0=7 1=1 2=1.000000e+00 +BinaryOp 1966 2 1 tensor_201514 tensor_201526 tensor_201527 0=2 +BinaryOp 1967 2 1 tensor_201510 tensor_201518 tensor_201528 0=2 +BinaryOp 1968 2 1 tensor_201528 tensor_201527 tensor_201529 0=0 +BinaryOp 1969 1 1 tensor_201522 tensor_201530 0=7 1=1 2=1.000000e+00 +BinaryOp 1970 2 1 tensor_201515 tensor_201530 tensor_201531 0=2 +BinaryOp 1971 2 1 tensor_201511 tensor_201521 tensor_201532 0=2 +BinaryOp 1972 2 1 tensor_201532 tensor_201531 tensor_201533 0=0 +BinaryOp 1973 1 1 tensor_201525 tensor_201534 0=7 1=1 2=1.000000e+00 +BinaryOp 1974 2 1 tensor_201516 tensor_201534 tensor_201535 0=2 +BinaryOp 1975 2 1 tensor_201512 tensor_201524 tensor_201536 0=2 +BinaryOp 1976 2 1 tensor_201536 tensor_201535 tensor_201537 0=0 +GemvA32W4 1977 1 1 tensor_201537 tensor_201541 0=2560 1=2560 11=8 22=16 +Sigmoid 1978 1 1 tensor_201541 tensor_201542 +GemvA32W4 1979 1 1 tensor_201529 tensor_201546 0=2560 1=2560 11=8 22=16 +Split 1980 1 3 tensor_201546 tensor_201547 tensor_201548 tensor_201549 +GemvA32W4 1981 1 1 tensor_201533 tensor_201553 0=2560 1=2560 11=8 22=16 +Split 1982 1 2 tensor_201553 tensor_201554 tensor_201555 +MemoryData 1983 0 1 blocks.17.att.time_first 0=2560 21=0 +BinaryOp 1984 2 1 blocks.17.att.time_first tensor_201547 tensor_201557 0=0 +Split 1985 1 2 tensor_201557 tensor_201558 tensor_201559 +Split 1986 1 3 state_17_3 tensor_201560 tensor_201561 tensor_201562 +BinaryOp 1987 2 1 tensor_201560 tensor_201558 tensor_201563 0=4 +Split 1988 1 2 tensor_201563 tensor_201564 tensor_201565 +BinaryOp 1989 2 1 tensor_201561 tensor_201564 tensor_201566 0=1 +Exp 1990 1 1 tensor_201566 tensor_201567 +Split 1991 1 2 tensor_201567 tensor_201568 tensor_201569 +BinaryOp 1992 2 1 tensor_201559 tensor_201565 tensor_201570 0=1 +Exp 1993 1 1 tensor_201570 tensor_201571 +Split 1994 1 2 tensor_201571 tensor_201572 tensor_201573 +Split 1995 1 2 state_17_1 tensor_201574 tensor_201575 +Split 1996 1 2 state_17_2 tensor_201576 tensor_201577 +BinaryOp 1997 2 1 tensor_201569 tensor_201576 tensor_201578 0=2 +BinaryOp 1998 2 1 tensor_201578 tensor_201573 tensor_201579 0=0 +BinaryOp 1999 2 1 tensor_201572 tensor_201554 tensor_201580 0=2 +BinaryOp 2000 2 1 tensor_201568 tensor_201574 tensor_201581 0=2 +BinaryOp 2001 2 1 tensor_201581 tensor_201580 tensor_201582 0=0 +BinaryOp 2002 2 1 tensor_201582 tensor_201579 tensor_201583 0=3 +MemoryData 2003 0 1 blocks.17.att.time_decay 0=2560 21=0 +BinaryOp 2004 2 1 blocks.17.att.time_decay tensor_201562 tensor_201585 0=0 +Split 2005 1 2 tensor_201585 tensor_201586 tensor_201587 +BinaryOp 2006 2 1 tensor_201586 tensor_201548 tensor_201588 0=4 +Split 2007 1 3 tensor_201588 tensor_201589 tensor_201590 tensor_201591 +BinaryOp 2008 2 1 tensor_201587 tensor_201589 tensor_201592 0=1 +Exp 2009 1 1 tensor_201592 tensor_201593 +Split 2010 1 2 tensor_201593 tensor_201594 tensor_201595 +BinaryOp 2011 2 1 tensor_201549 tensor_201590 tensor_201596 0=1 +Exp 2012 1 1 tensor_201596 tensor_201597 +Split 2013 1 2 tensor_201597 tensor_201598 tensor_201599 +BinaryOp 2014 2 1 tensor_201542 tensor_201583 tensor_201600 0=2 +GemvA32W4 2015 1 1 tensor_201600 tensor_201604 0=2560 1=2560 11=8 22=16 +BinaryOp 2016 2 1 tensor_201508 tensor_201604 tensor_201605 0=0 +BinaryOp 2017 2 1 tensor_201598 tensor_201555 tensor_201606 0=2 +BinaryOp 2018 2 1 tensor_201594 tensor_201575 tensor_201607 0=2 +BinaryOp 2019 2 1 tensor_201607 tensor_201606 tensor_201608 0=0 +BinaryOp 2020 2 1 tensor_201595 tensor_201577 tensor_201609 0=2 +BinaryOp 2021 2 1 tensor_201609 tensor_201599 tensor_201610 0=0 +Split 2022 1 1 tensor_201513 output_state_17_0 +Split 2023 1 1 tensor_201608 output_state_17_1 +Split 2024 1 1 tensor_201610 output_state_17_2 +Split 2025 1 1 tensor_201591 output_state_17_3 +Split 2026 1 2 tensor_201605 tensor_201615 tensor_201616 +LayerNorm 2027 1 1 tensor_201615 tensor_201617 0=2560 1=1.000000e-05 2=1 +Split 2028 1 3 tensor_201617 tensor_201618 tensor_201619 tensor_201620 +Split 2029 1 2 state_17_4 tensor_201621 tensor_201622 +MemoryData 2030 0 1 blocks.17.ffn.time_mix_k 0=2560 21=0 +Split 2031 1 2 blocks.17.ffn.time_mix_k tensor_201624 tensor_201625 +MemoryData 2032 0 1 blocks.17.ffn.time_mix_r 0=2560 21=0 +Split 2033 1 2 blocks.17.ffn.time_mix_r tensor_201627 tensor_201628 +BinaryOp 2034 1 1 tensor_201625 tensor_201629 0=7 1=1 2=1.000000e+00 +BinaryOp 2035 2 1 tensor_201621 tensor_201629 tensor_201630 0=2 +BinaryOp 2036 2 1 tensor_201618 tensor_201624 tensor_201631 0=2 +BinaryOp 2037 2 1 tensor_201631 tensor_201630 tensor_201632 0=0 +BinaryOp 2038 1 1 tensor_201628 tensor_201633 0=7 1=1 2=1.000000e+00 +BinaryOp 2039 2 1 tensor_201622 tensor_201633 tensor_201634 0=2 +BinaryOp 2040 2 1 tensor_201619 tensor_201627 tensor_201635 0=2 +BinaryOp 2041 2 1 tensor_201635 tensor_201634 tensor_201636 0=0 +GemvA32W4 2042 1 1 tensor_201636 tensor_201640 0=2560 1=2560 11=8 22=16 +Sigmoid 2043 1 1 tensor_201640 tensor_201641 +GemvA32W4 2044 1 1 tensor_201632 tensor_201645 0=10240 1=2560 11=8 22=16 +ReLU 2045 1 1 tensor_201645 tensor_201646 +BinaryOp 2046 2 1 tensor_201646 tensor_201646 tensor_201647 0=2 +GemvA32W4 2047 1 1 tensor_201647 tensor_201651 0=2560 1=10240 11=8 22=16 +BinaryOp 2048 2 1 tensor_201641 tensor_201651 tensor_201652 0=2 +BinaryOp 2049 2 1 tensor_201616 tensor_201652 tensor_201653 0=0 +Split 2050 1 1 tensor_201620 output_state_17_4 +Split 2051 1 2 tensor_201653 tensor_201655 tensor_201656 +LayerNorm 2052 1 1 tensor_201655 tensor_201657 0=2560 1=1.000000e-05 2=1 +Split 2053 1 4 tensor_201657 tensor_201658 tensor_201659 tensor_201660 tensor_201661 +Split 2054 1 3 state_18_0 tensor_201662 tensor_201663 tensor_201664 +MemoryData 2055 0 1 blocks.18.att.time_mix_k 0=2560 21=0 +Split 2056 1 2 blocks.18.att.time_mix_k tensor_201666 tensor_201667 +MemoryData 2057 0 1 blocks.18.att.time_mix_v 0=2560 21=0 +Split 2058 1 2 blocks.18.att.time_mix_v tensor_201669 tensor_201670 +MemoryData 2059 0 1 blocks.18.att.time_mix_r 0=2560 21=0 +Split 2060 1 2 blocks.18.att.time_mix_r tensor_201672 tensor_201673 +BinaryOp 2061 1 1 tensor_201667 tensor_201674 0=7 1=1 2=1.000000e+00 +BinaryOp 2062 2 1 tensor_201662 tensor_201674 tensor_201675 0=2 +BinaryOp 2063 2 1 tensor_201658 tensor_201666 tensor_201676 0=2 +BinaryOp 2064 2 1 tensor_201676 tensor_201675 tensor_201677 0=0 +BinaryOp 2065 1 1 tensor_201670 tensor_201678 0=7 1=1 2=1.000000e+00 +BinaryOp 2066 2 1 tensor_201663 tensor_201678 tensor_201679 0=2 +BinaryOp 2067 2 1 tensor_201659 tensor_201669 tensor_201680 0=2 +BinaryOp 2068 2 1 tensor_201680 tensor_201679 tensor_201681 0=0 +BinaryOp 2069 1 1 tensor_201673 tensor_201682 0=7 1=1 2=1.000000e+00 +BinaryOp 2070 2 1 tensor_201664 tensor_201682 tensor_201683 0=2 +BinaryOp 2071 2 1 tensor_201660 tensor_201672 tensor_201684 0=2 +BinaryOp 2072 2 1 tensor_201684 tensor_201683 tensor_201685 0=0 +GemvA32W4 2073 1 1 tensor_201685 tensor_201689 0=2560 1=2560 11=8 22=16 +Sigmoid 2074 1 1 tensor_201689 tensor_201690 +GemvA32W4 2075 1 1 tensor_201677 tensor_201694 0=2560 1=2560 11=8 22=16 +Split 2076 1 3 tensor_201694 tensor_201695 tensor_201696 tensor_201697 +GemvA32W4 2077 1 1 tensor_201681 tensor_201701 0=2560 1=2560 11=8 22=16 +Split 2078 1 2 tensor_201701 tensor_201702 tensor_201703 +MemoryData 2079 0 1 blocks.18.att.time_first 0=2560 21=0 +BinaryOp 2080 2 1 blocks.18.att.time_first tensor_201695 tensor_201705 0=0 +Split 2081 1 2 tensor_201705 tensor_201706 tensor_201707 +Split 2082 1 3 state_18_3 tensor_201708 tensor_201709 tensor_201710 +BinaryOp 2083 2 1 tensor_201708 tensor_201706 tensor_201711 0=4 +Split 2084 1 2 tensor_201711 tensor_201712 tensor_201713 +BinaryOp 2085 2 1 tensor_201709 tensor_201712 tensor_201714 0=1 +Exp 2086 1 1 tensor_201714 tensor_201715 +Split 2087 1 2 tensor_201715 tensor_201716 tensor_201717 +BinaryOp 2088 2 1 tensor_201707 tensor_201713 tensor_201718 0=1 +Exp 2089 1 1 tensor_201718 tensor_201719 +Split 2090 1 2 tensor_201719 tensor_201720 tensor_201721 +Split 2091 1 2 state_18_1 tensor_201722 tensor_201723 +Split 2092 1 2 state_18_2 tensor_201724 tensor_201725 +BinaryOp 2093 2 1 tensor_201717 tensor_201724 tensor_201726 0=2 +BinaryOp 2094 2 1 tensor_201726 tensor_201721 tensor_201727 0=0 +BinaryOp 2095 2 1 tensor_201720 tensor_201702 tensor_201728 0=2 +BinaryOp 2096 2 1 tensor_201716 tensor_201722 tensor_201729 0=2 +BinaryOp 2097 2 1 tensor_201729 tensor_201728 tensor_201730 0=0 +BinaryOp 2098 2 1 tensor_201730 tensor_201727 tensor_201731 0=3 +MemoryData 2099 0 1 blocks.18.att.time_decay 0=2560 21=0 +BinaryOp 2100 2 1 blocks.18.att.time_decay tensor_201710 tensor_201733 0=0 +Split 2101 1 2 tensor_201733 tensor_201734 tensor_201735 +BinaryOp 2102 2 1 tensor_201734 tensor_201696 tensor_201736 0=4 +Split 2103 1 3 tensor_201736 tensor_201737 tensor_201738 tensor_201739 +BinaryOp 2104 2 1 tensor_201735 tensor_201737 tensor_201740 0=1 +Exp 2105 1 1 tensor_201740 tensor_201741 +Split 2106 1 2 tensor_201741 tensor_201742 tensor_201743 +BinaryOp 2107 2 1 tensor_201697 tensor_201738 tensor_201744 0=1 +Exp 2108 1 1 tensor_201744 tensor_201745 +Split 2109 1 2 tensor_201745 tensor_201746 tensor_201747 +BinaryOp 2110 2 1 tensor_201690 tensor_201731 tensor_201748 0=2 +GemvA32W4 2111 1 1 tensor_201748 tensor_201752 0=2560 1=2560 11=8 22=16 +BinaryOp 2112 2 1 tensor_201656 tensor_201752 tensor_201753 0=0 +BinaryOp 2113 2 1 tensor_201746 tensor_201703 tensor_201754 0=2 +BinaryOp 2114 2 1 tensor_201742 tensor_201723 tensor_201755 0=2 +BinaryOp 2115 2 1 tensor_201755 tensor_201754 tensor_201756 0=0 +BinaryOp 2116 2 1 tensor_201743 tensor_201725 tensor_201757 0=2 +BinaryOp 2117 2 1 tensor_201757 tensor_201747 tensor_201758 0=0 +Split 2118 1 1 tensor_201661 output_state_18_0 +Split 2119 1 1 tensor_201756 output_state_18_1 +Split 2120 1 1 tensor_201758 output_state_18_2 +Split 2121 1 1 tensor_201739 output_state_18_3 +Split 2122 1 2 tensor_201753 tensor_201763 tensor_201764 +LayerNorm 2123 1 1 tensor_201763 tensor_201765 0=2560 1=1.000000e-05 2=1 +Split 2124 1 3 tensor_201765 tensor_201766 tensor_201767 tensor_201768 +Split 2125 1 2 state_18_4 tensor_201769 tensor_201770 +MemoryData 2126 0 1 blocks.18.ffn.time_mix_k 0=2560 21=0 +Split 2127 1 2 blocks.18.ffn.time_mix_k tensor_201772 tensor_201773 +MemoryData 2128 0 1 blocks.18.ffn.time_mix_r 0=2560 21=0 +Split 2129 1 2 blocks.18.ffn.time_mix_r tensor_201775 tensor_201776 +BinaryOp 2130 1 1 tensor_201773 tensor_201777 0=7 1=1 2=1.000000e+00 +BinaryOp 2131 2 1 tensor_201769 tensor_201777 tensor_201778 0=2 +BinaryOp 2132 2 1 tensor_201766 tensor_201772 tensor_201779 0=2 +BinaryOp 2133 2 1 tensor_201779 tensor_201778 tensor_201780 0=0 +BinaryOp 2134 1 1 tensor_201776 tensor_201781 0=7 1=1 2=1.000000e+00 +BinaryOp 2135 2 1 tensor_201770 tensor_201781 tensor_201782 0=2 +BinaryOp 2136 2 1 tensor_201767 tensor_201775 tensor_201783 0=2 +BinaryOp 2137 2 1 tensor_201783 tensor_201782 tensor_201784 0=0 +GemvA32W4 2138 1 1 tensor_201784 tensor_201788 0=2560 1=2560 11=8 22=16 +Sigmoid 2139 1 1 tensor_201788 tensor_201789 +GemvA32W4 2140 1 1 tensor_201780 tensor_201793 0=10240 1=2560 11=8 22=16 +ReLU 2141 1 1 tensor_201793 tensor_201794 +BinaryOp 2142 2 1 tensor_201794 tensor_201794 tensor_201795 0=2 +GemvA32W4 2143 1 1 tensor_201795 tensor_201799 0=2560 1=10240 11=8 22=16 +BinaryOp 2144 2 1 tensor_201789 tensor_201799 tensor_201800 0=2 +BinaryOp 2145 2 1 tensor_201764 tensor_201800 tensor_201801 0=0 +Split 2146 1 1 tensor_201768 output_state_18_4 +Split 2147 1 2 tensor_201801 tensor_201803 tensor_201804 +LayerNorm 2148 1 1 tensor_201803 tensor_201805 0=2560 1=1.000000e-05 2=1 +Split 2149 1 4 tensor_201805 tensor_201806 tensor_201807 tensor_201808 tensor_201809 +Split 2150 1 3 state_19_0 tensor_201810 tensor_201811 tensor_201812 +MemoryData 2151 0 1 blocks.19.att.time_mix_k 0=2560 21=0 +Split 2152 1 2 blocks.19.att.time_mix_k tensor_201814 tensor_201815 +MemoryData 2153 0 1 blocks.19.att.time_mix_v 0=2560 21=0 +Split 2154 1 2 blocks.19.att.time_mix_v tensor_201817 tensor_201818 +MemoryData 2155 0 1 blocks.19.att.time_mix_r 0=2560 21=0 +Split 2156 1 2 blocks.19.att.time_mix_r tensor_201820 tensor_201821 +BinaryOp 2157 1 1 tensor_201815 tensor_201822 0=7 1=1 2=1.000000e+00 +BinaryOp 2158 2 1 tensor_201810 tensor_201822 tensor_201823 0=2 +BinaryOp 2159 2 1 tensor_201806 tensor_201814 tensor_201824 0=2 +BinaryOp 2160 2 1 tensor_201824 tensor_201823 tensor_201825 0=0 +BinaryOp 2161 1 1 tensor_201818 tensor_201826 0=7 1=1 2=1.000000e+00 +BinaryOp 2162 2 1 tensor_201811 tensor_201826 tensor_201827 0=2 +BinaryOp 2163 2 1 tensor_201807 tensor_201817 tensor_201828 0=2 +BinaryOp 2164 2 1 tensor_201828 tensor_201827 tensor_201829 0=0 +BinaryOp 2165 1 1 tensor_201821 tensor_201830 0=7 1=1 2=1.000000e+00 +BinaryOp 2166 2 1 tensor_201812 tensor_201830 tensor_201831 0=2 +BinaryOp 2167 2 1 tensor_201808 tensor_201820 tensor_201832 0=2 +BinaryOp 2168 2 1 tensor_201832 tensor_201831 tensor_201833 0=0 +GemvA32W4 2169 1 1 tensor_201833 tensor_201837 0=2560 1=2560 11=8 22=16 +Sigmoid 2170 1 1 tensor_201837 tensor_201838 +GemvA32W4 2171 1 1 tensor_201825 tensor_201842 0=2560 1=2560 11=8 22=16 +Split 2172 1 3 tensor_201842 tensor_201843 tensor_201844 tensor_201845 +GemvA32W4 2173 1 1 tensor_201829 tensor_201849 0=2560 1=2560 11=8 22=16 +Split 2174 1 2 tensor_201849 tensor_201850 tensor_201851 +MemoryData 2175 0 1 blocks.19.att.time_first 0=2560 21=0 +BinaryOp 2176 2 1 blocks.19.att.time_first tensor_201843 tensor_201853 0=0 +Split 2177 1 2 tensor_201853 tensor_201854 tensor_201855 +Split 2178 1 3 state_19_3 tensor_201856 tensor_201857 tensor_201858 +BinaryOp 2179 2 1 tensor_201856 tensor_201854 tensor_201859 0=4 +Split 2180 1 2 tensor_201859 tensor_201860 tensor_201861 +BinaryOp 2181 2 1 tensor_201857 tensor_201860 tensor_201862 0=1 +Exp 2182 1 1 tensor_201862 tensor_201863 +Split 2183 1 2 tensor_201863 tensor_201864 tensor_201865 +BinaryOp 2184 2 1 tensor_201855 tensor_201861 tensor_201866 0=1 +Exp 2185 1 1 tensor_201866 tensor_201867 +Split 2186 1 2 tensor_201867 tensor_201868 tensor_201869 +Split 2187 1 2 state_19_1 tensor_201870 tensor_201871 +Split 2188 1 2 state_19_2 tensor_201872 tensor_201873 +BinaryOp 2189 2 1 tensor_201865 tensor_201872 tensor_201874 0=2 +BinaryOp 2190 2 1 tensor_201874 tensor_201869 tensor_201875 0=0 +BinaryOp 2191 2 1 tensor_201868 tensor_201850 tensor_201876 0=2 +BinaryOp 2192 2 1 tensor_201864 tensor_201870 tensor_201877 0=2 +BinaryOp 2193 2 1 tensor_201877 tensor_201876 tensor_201878 0=0 +BinaryOp 2194 2 1 tensor_201878 tensor_201875 tensor_201879 0=3 +MemoryData 2195 0 1 blocks.19.att.time_decay 0=2560 21=0 +BinaryOp 2196 2 1 blocks.19.att.time_decay tensor_201858 tensor_201881 0=0 +Split 2197 1 2 tensor_201881 tensor_201882 tensor_201883 +BinaryOp 2198 2 1 tensor_201882 tensor_201844 tensor_201884 0=4 +Split 2199 1 3 tensor_201884 tensor_201885 tensor_201886 tensor_201887 +BinaryOp 2200 2 1 tensor_201883 tensor_201885 tensor_201888 0=1 +Exp 2201 1 1 tensor_201888 tensor_201889 +Split 2202 1 2 tensor_201889 tensor_201890 tensor_201891 +BinaryOp 2203 2 1 tensor_201845 tensor_201886 tensor_201892 0=1 +Exp 2204 1 1 tensor_201892 tensor_201893 +Split 2205 1 2 tensor_201893 tensor_201894 tensor_201895 +BinaryOp 2206 2 1 tensor_201838 tensor_201879 tensor_201896 0=2 +GemvA32W4 2207 1 1 tensor_201896 tensor_201900 0=2560 1=2560 11=8 22=16 +BinaryOp 2208 2 1 tensor_201804 tensor_201900 tensor_201901 0=0 +BinaryOp 2209 2 1 tensor_201894 tensor_201851 tensor_201902 0=2 +BinaryOp 2210 2 1 tensor_201890 tensor_201871 tensor_201903 0=2 +BinaryOp 2211 2 1 tensor_201903 tensor_201902 tensor_201904 0=0 +BinaryOp 2212 2 1 tensor_201891 tensor_201873 tensor_201905 0=2 +BinaryOp 2213 2 1 tensor_201905 tensor_201895 tensor_201906 0=0 +Split 2214 1 1 tensor_201809 output_state_19_0 +Split 2215 1 1 tensor_201904 output_state_19_1 +Split 2216 1 1 tensor_201906 output_state_19_2 +Split 2217 1 1 tensor_201887 output_state_19_3 +Split 2218 1 2 tensor_201901 tensor_201911 tensor_201912 +LayerNorm 2219 1 1 tensor_201911 tensor_201913 0=2560 1=1.000000e-05 2=1 +Split 2220 1 3 tensor_201913 tensor_201914 tensor_201915 tensor_201916 +Split 2221 1 2 state_19_4 tensor_201917 tensor_201918 +MemoryData 2222 0 1 blocks.19.ffn.time_mix_k 0=2560 21=0 +Split 2223 1 2 blocks.19.ffn.time_mix_k tensor_201920 tensor_201921 +MemoryData 2224 0 1 blocks.19.ffn.time_mix_r 0=2560 21=0 +Split 2225 1 2 blocks.19.ffn.time_mix_r tensor_201923 tensor_201924 +BinaryOp 2226 1 1 tensor_201921 tensor_201925 0=7 1=1 2=1.000000e+00 +BinaryOp 2227 2 1 tensor_201917 tensor_201925 tensor_201926 0=2 +BinaryOp 2228 2 1 tensor_201914 tensor_201920 tensor_201927 0=2 +BinaryOp 2229 2 1 tensor_201927 tensor_201926 tensor_201928 0=0 +BinaryOp 2230 1 1 tensor_201924 tensor_201929 0=7 1=1 2=1.000000e+00 +BinaryOp 2231 2 1 tensor_201918 tensor_201929 tensor_201930 0=2 +BinaryOp 2232 2 1 tensor_201915 tensor_201923 tensor_201931 0=2 +BinaryOp 2233 2 1 tensor_201931 tensor_201930 tensor_201932 0=0 +GemvA32W4 2234 1 1 tensor_201932 tensor_201936 0=2560 1=2560 11=8 22=16 +Sigmoid 2235 1 1 tensor_201936 tensor_201937 +GemvA32W4 2236 1 1 tensor_201928 tensor_201941 0=10240 1=2560 11=8 22=16 +ReLU 2237 1 1 tensor_201941 tensor_201942 +BinaryOp 2238 2 1 tensor_201942 tensor_201942 tensor_201943 0=2 +GemvA32W4 2239 1 1 tensor_201943 tensor_201947 0=2560 1=10240 11=8 22=16 +BinaryOp 2240 2 1 tensor_201937 tensor_201947 tensor_201948 0=2 +BinaryOp 2241 2 1 tensor_201912 tensor_201948 tensor_201949 0=0 +Split 2242 1 1 tensor_201916 output_state_19_4 +Split 2243 1 2 tensor_201949 tensor_201951 tensor_201952 +LayerNorm 2244 1 1 tensor_201951 tensor_201953 0=2560 1=1.000000e-05 2=1 +Split 2245 1 4 tensor_201953 tensor_201954 tensor_201955 tensor_201956 tensor_201957 +Split 2246 1 3 state_20_0 tensor_201958 tensor_201959 tensor_201960 +MemoryData 2247 0 1 blocks.20.att.time_mix_k 0=2560 21=0 +Split 2248 1 2 blocks.20.att.time_mix_k tensor_201962 tensor_201963 +MemoryData 2249 0 1 blocks.20.att.time_mix_v 0=2560 21=0 +Split 2250 1 2 blocks.20.att.time_mix_v tensor_201965 tensor_201966 +MemoryData 2251 0 1 blocks.20.att.time_mix_r 0=2560 21=0 +Split 2252 1 2 blocks.20.att.time_mix_r tensor_201968 tensor_201969 +BinaryOp 2253 1 1 tensor_201963 tensor_201970 0=7 1=1 2=1.000000e+00 +BinaryOp 2254 2 1 tensor_201958 tensor_201970 tensor_201971 0=2 +BinaryOp 2255 2 1 tensor_201954 tensor_201962 tensor_201972 0=2 +BinaryOp 2256 2 1 tensor_201972 tensor_201971 tensor_201973 0=0 +BinaryOp 2257 1 1 tensor_201966 tensor_201974 0=7 1=1 2=1.000000e+00 +BinaryOp 2258 2 1 tensor_201959 tensor_201974 tensor_201975 0=2 +BinaryOp 2259 2 1 tensor_201955 tensor_201965 tensor_201976 0=2 +BinaryOp 2260 2 1 tensor_201976 tensor_201975 tensor_201977 0=0 +BinaryOp 2261 1 1 tensor_201969 tensor_201978 0=7 1=1 2=1.000000e+00 +BinaryOp 2262 2 1 tensor_201960 tensor_201978 tensor_201979 0=2 +BinaryOp 2263 2 1 tensor_201956 tensor_201968 tensor_201980 0=2 +BinaryOp 2264 2 1 tensor_201980 tensor_201979 tensor_201981 0=0 +GemvA32W4 2265 1 1 tensor_201981 tensor_201985 0=2560 1=2560 11=8 22=16 +Sigmoid 2266 1 1 tensor_201985 tensor_201986 +GemvA32W4 2267 1 1 tensor_201973 tensor_201990 0=2560 1=2560 11=8 22=16 +Split 2268 1 3 tensor_201990 tensor_201991 tensor_201992 tensor_201993 +GemvA32W4 2269 1 1 tensor_201977 tensor_201997 0=2560 1=2560 11=8 22=16 +Split 2270 1 2 tensor_201997 tensor_201998 tensor_201999 +MemoryData 2271 0 1 blocks.20.att.time_first 0=2560 21=0 +BinaryOp 2272 2 1 blocks.20.att.time_first tensor_201991 tensor_202001 0=0 +Split 2273 1 2 tensor_202001 tensor_202002 tensor_202003 +Split 2274 1 3 state_20_3 tensor_202004 tensor_202005 tensor_202006 +BinaryOp 2275 2 1 tensor_202004 tensor_202002 tensor_202007 0=4 +Split 2276 1 2 tensor_202007 tensor_202008 tensor_202009 +BinaryOp 2277 2 1 tensor_202005 tensor_202008 tensor_202010 0=1 +Exp 2278 1 1 tensor_202010 tensor_202011 +Split 2279 1 2 tensor_202011 tensor_202012 tensor_202013 +BinaryOp 2280 2 1 tensor_202003 tensor_202009 tensor_202014 0=1 +Exp 2281 1 1 tensor_202014 tensor_202015 +Split 2282 1 2 tensor_202015 tensor_202016 tensor_202017 +Split 2283 1 2 state_20_1 tensor_202018 tensor_202019 +Split 2284 1 2 state_20_2 tensor_202020 tensor_202021 +BinaryOp 2285 2 1 tensor_202013 tensor_202020 tensor_202022 0=2 +BinaryOp 2286 2 1 tensor_202022 tensor_202017 tensor_202023 0=0 +BinaryOp 2287 2 1 tensor_202016 tensor_201998 tensor_202024 0=2 +BinaryOp 2288 2 1 tensor_202012 tensor_202018 tensor_202025 0=2 +BinaryOp 2289 2 1 tensor_202025 tensor_202024 tensor_202026 0=0 +BinaryOp 2290 2 1 tensor_202026 tensor_202023 tensor_202027 0=3 +MemoryData 2291 0 1 blocks.20.att.time_decay 0=2560 21=0 +BinaryOp 2292 2 1 blocks.20.att.time_decay tensor_202006 tensor_202029 0=0 +Split 2293 1 2 tensor_202029 tensor_202030 tensor_202031 +BinaryOp 2294 2 1 tensor_202030 tensor_201992 tensor_202032 0=4 +Split 2295 1 3 tensor_202032 tensor_202033 tensor_202034 tensor_202035 +BinaryOp 2296 2 1 tensor_202031 tensor_202033 tensor_202036 0=1 +Exp 2297 1 1 tensor_202036 tensor_202037 +Split 2298 1 2 tensor_202037 tensor_202038 tensor_202039 +BinaryOp 2299 2 1 tensor_201993 tensor_202034 tensor_202040 0=1 +Exp 2300 1 1 tensor_202040 tensor_202041 +Split 2301 1 2 tensor_202041 tensor_202042 tensor_202043 +BinaryOp 2302 2 1 tensor_201986 tensor_202027 tensor_202044 0=2 +GemvA32W4 2303 1 1 tensor_202044 tensor_202048 0=2560 1=2560 11=8 22=16 +BinaryOp 2304 2 1 tensor_201952 tensor_202048 tensor_202049 0=0 +BinaryOp 2305 2 1 tensor_202042 tensor_201999 tensor_202050 0=2 +BinaryOp 2306 2 1 tensor_202038 tensor_202019 tensor_202051 0=2 +BinaryOp 2307 2 1 tensor_202051 tensor_202050 tensor_202052 0=0 +BinaryOp 2308 2 1 tensor_202039 tensor_202021 tensor_202053 0=2 +BinaryOp 2309 2 1 tensor_202053 tensor_202043 tensor_202054 0=0 +Split 2310 1 1 tensor_201957 output_state_20_0 +Split 2311 1 1 tensor_202052 output_state_20_1 +Split 2312 1 1 tensor_202054 output_state_20_2 +Split 2313 1 1 tensor_202035 output_state_20_3 +Split 2314 1 2 tensor_202049 tensor_202059 tensor_202060 +LayerNorm 2315 1 1 tensor_202059 tensor_202061 0=2560 1=1.000000e-05 2=1 +Split 2316 1 3 tensor_202061 tensor_202062 tensor_202063 tensor_202064 +Split 2317 1 2 state_20_4 tensor_202065 tensor_202066 +MemoryData 2318 0 1 blocks.20.ffn.time_mix_k 0=2560 21=0 +Split 2319 1 2 blocks.20.ffn.time_mix_k tensor_202068 tensor_202069 +MemoryData 2320 0 1 blocks.20.ffn.time_mix_r 0=2560 21=0 +Split 2321 1 2 blocks.20.ffn.time_mix_r tensor_202071 tensor_202072 +BinaryOp 2322 1 1 tensor_202069 tensor_202073 0=7 1=1 2=1.000000e+00 +BinaryOp 2323 2 1 tensor_202065 tensor_202073 tensor_202074 0=2 +BinaryOp 2324 2 1 tensor_202062 tensor_202068 tensor_202075 0=2 +BinaryOp 2325 2 1 tensor_202075 tensor_202074 tensor_202076 0=0 +BinaryOp 2326 1 1 tensor_202072 tensor_202077 0=7 1=1 2=1.000000e+00 +BinaryOp 2327 2 1 tensor_202066 tensor_202077 tensor_202078 0=2 +BinaryOp 2328 2 1 tensor_202063 tensor_202071 tensor_202079 0=2 +BinaryOp 2329 2 1 tensor_202079 tensor_202078 tensor_202080 0=0 +GemvA32W4 2330 1 1 tensor_202080 tensor_202084 0=2560 1=2560 11=8 22=16 +Sigmoid 2331 1 1 tensor_202084 tensor_202085 +GemvA32W4 2332 1 1 tensor_202076 tensor_202089 0=10240 1=2560 11=8 22=16 +ReLU 2333 1 1 tensor_202089 tensor_202090 +BinaryOp 2334 2 1 tensor_202090 tensor_202090 tensor_202091 0=2 +GemvA32W4 2335 1 1 tensor_202091 tensor_202095 0=2560 1=10240 11=8 22=16 +BinaryOp 2336 2 1 tensor_202085 tensor_202095 tensor_202096 0=2 +BinaryOp 2337 2 1 tensor_202060 tensor_202096 tensor_202097 0=0 +Split 2338 1 1 tensor_202064 output_state_20_4 +Split 2339 1 2 tensor_202097 tensor_202099 tensor_202100 +LayerNorm 2340 1 1 tensor_202099 tensor_202101 0=2560 1=1.000000e-05 2=1 +Split 2341 1 4 tensor_202101 tensor_202102 tensor_202103 tensor_202104 tensor_202105 +Split 2342 1 3 state_21_0 tensor_202106 tensor_202107 tensor_202108 +MemoryData 2343 0 1 blocks.21.att.time_mix_k 0=2560 21=0 +Split 2344 1 2 blocks.21.att.time_mix_k tensor_202110 tensor_202111 +MemoryData 2345 0 1 blocks.21.att.time_mix_v 0=2560 21=0 +Split 2346 1 2 blocks.21.att.time_mix_v tensor_202113 tensor_202114 +MemoryData 2347 0 1 blocks.21.att.time_mix_r 0=2560 21=0 +Split 2348 1 2 blocks.21.att.time_mix_r tensor_202116 tensor_202117 +BinaryOp 2349 1 1 tensor_202111 tensor_202118 0=7 1=1 2=1.000000e+00 +BinaryOp 2350 2 1 tensor_202106 tensor_202118 tensor_202119 0=2 +BinaryOp 2351 2 1 tensor_202102 tensor_202110 tensor_202120 0=2 +BinaryOp 2352 2 1 tensor_202120 tensor_202119 tensor_202121 0=0 +BinaryOp 2353 1 1 tensor_202114 tensor_202122 0=7 1=1 2=1.000000e+00 +BinaryOp 2354 2 1 tensor_202107 tensor_202122 tensor_202123 0=2 +BinaryOp 2355 2 1 tensor_202103 tensor_202113 tensor_202124 0=2 +BinaryOp 2356 2 1 tensor_202124 tensor_202123 tensor_202125 0=0 +BinaryOp 2357 1 1 tensor_202117 tensor_202126 0=7 1=1 2=1.000000e+00 +BinaryOp 2358 2 1 tensor_202108 tensor_202126 tensor_202127 0=2 +BinaryOp 2359 2 1 tensor_202104 tensor_202116 tensor_202128 0=2 +BinaryOp 2360 2 1 tensor_202128 tensor_202127 tensor_202129 0=0 +GemvA32W4 2361 1 1 tensor_202129 tensor_202133 0=2560 1=2560 11=8 22=16 +Sigmoid 2362 1 1 tensor_202133 tensor_202134 +GemvA32W4 2363 1 1 tensor_202121 tensor_202138 0=2560 1=2560 11=8 22=16 +Split 2364 1 3 tensor_202138 tensor_202139 tensor_202140 tensor_202141 +GemvA32W4 2365 1 1 tensor_202125 tensor_202145 0=2560 1=2560 11=8 22=16 +Split 2366 1 2 tensor_202145 tensor_202146 tensor_202147 +MemoryData 2367 0 1 blocks.21.att.time_first 0=2560 21=0 +BinaryOp 2368 2 1 blocks.21.att.time_first tensor_202139 tensor_202149 0=0 +Split 2369 1 2 tensor_202149 tensor_202150 tensor_202151 +Split 2370 1 3 state_21_3 tensor_202152 tensor_202153 tensor_202154 +BinaryOp 2371 2 1 tensor_202152 tensor_202150 tensor_202155 0=4 +Split 2372 1 2 tensor_202155 tensor_202156 tensor_202157 +BinaryOp 2373 2 1 tensor_202153 tensor_202156 tensor_202158 0=1 +Exp 2374 1 1 tensor_202158 tensor_202159 +Split 2375 1 2 tensor_202159 tensor_202160 tensor_202161 +BinaryOp 2376 2 1 tensor_202151 tensor_202157 tensor_202162 0=1 +Exp 2377 1 1 tensor_202162 tensor_202163 +Split 2378 1 2 tensor_202163 tensor_202164 tensor_202165 +Split 2379 1 2 state_21_1 tensor_202166 tensor_202167 +Split 2380 1 2 state_21_2 tensor_202168 tensor_202169 +BinaryOp 2381 2 1 tensor_202161 tensor_202168 tensor_202170 0=2 +BinaryOp 2382 2 1 tensor_202170 tensor_202165 tensor_202171 0=0 +BinaryOp 2383 2 1 tensor_202164 tensor_202146 tensor_202172 0=2 +BinaryOp 2384 2 1 tensor_202160 tensor_202166 tensor_202173 0=2 +BinaryOp 2385 2 1 tensor_202173 tensor_202172 tensor_202174 0=0 +BinaryOp 2386 2 1 tensor_202174 tensor_202171 tensor_202175 0=3 +MemoryData 2387 0 1 blocks.21.att.time_decay 0=2560 21=0 +BinaryOp 2388 2 1 blocks.21.att.time_decay tensor_202154 tensor_202177 0=0 +Split 2389 1 2 tensor_202177 tensor_202178 tensor_202179 +BinaryOp 2390 2 1 tensor_202178 tensor_202140 tensor_202180 0=4 +Split 2391 1 3 tensor_202180 tensor_202181 tensor_202182 tensor_202183 +BinaryOp 2392 2 1 tensor_202179 tensor_202181 tensor_202184 0=1 +Exp 2393 1 1 tensor_202184 tensor_202185 +Split 2394 1 2 tensor_202185 tensor_202186 tensor_202187 +BinaryOp 2395 2 1 tensor_202141 tensor_202182 tensor_202188 0=1 +Exp 2396 1 1 tensor_202188 tensor_202189 +Split 2397 1 2 tensor_202189 tensor_202190 tensor_202191 +BinaryOp 2398 2 1 tensor_202134 tensor_202175 tensor_202192 0=2 +GemvA32W4 2399 1 1 tensor_202192 tensor_202196 0=2560 1=2560 11=8 22=16 +BinaryOp 2400 2 1 tensor_202100 tensor_202196 tensor_202197 0=0 +BinaryOp 2401 2 1 tensor_202190 tensor_202147 tensor_202198 0=2 +BinaryOp 2402 2 1 tensor_202186 tensor_202167 tensor_202199 0=2 +BinaryOp 2403 2 1 tensor_202199 tensor_202198 tensor_202200 0=0 +BinaryOp 2404 2 1 tensor_202187 tensor_202169 tensor_202201 0=2 +BinaryOp 2405 2 1 tensor_202201 tensor_202191 tensor_202202 0=0 +Split 2406 1 1 tensor_202105 output_state_21_0 +Split 2407 1 1 tensor_202200 output_state_21_1 +Split 2408 1 1 tensor_202202 output_state_21_2 +Split 2409 1 1 tensor_202183 output_state_21_3 +Split 2410 1 2 tensor_202197 tensor_202207 tensor_202208 +LayerNorm 2411 1 1 tensor_202207 tensor_202209 0=2560 1=1.000000e-05 2=1 +Split 2412 1 3 tensor_202209 tensor_202210 tensor_202211 tensor_202212 +Split 2413 1 2 state_21_4 tensor_202213 tensor_202214 +MemoryData 2414 0 1 blocks.21.ffn.time_mix_k 0=2560 21=0 +Split 2415 1 2 blocks.21.ffn.time_mix_k tensor_202216 tensor_202217 +MemoryData 2416 0 1 blocks.21.ffn.time_mix_r 0=2560 21=0 +Split 2417 1 2 blocks.21.ffn.time_mix_r tensor_202219 tensor_202220 +BinaryOp 2418 1 1 tensor_202217 tensor_202221 0=7 1=1 2=1.000000e+00 +BinaryOp 2419 2 1 tensor_202213 tensor_202221 tensor_202222 0=2 +BinaryOp 2420 2 1 tensor_202210 tensor_202216 tensor_202223 0=2 +BinaryOp 2421 2 1 tensor_202223 tensor_202222 tensor_202224 0=0 +BinaryOp 2422 1 1 tensor_202220 tensor_202225 0=7 1=1 2=1.000000e+00 +BinaryOp 2423 2 1 tensor_202214 tensor_202225 tensor_202226 0=2 +BinaryOp 2424 2 1 tensor_202211 tensor_202219 tensor_202227 0=2 +BinaryOp 2425 2 1 tensor_202227 tensor_202226 tensor_202228 0=0 +GemvA32W4 2426 1 1 tensor_202228 tensor_202232 0=2560 1=2560 11=8 22=16 +Sigmoid 2427 1 1 tensor_202232 tensor_202233 +GemvA32W4 2428 1 1 tensor_202224 tensor_202237 0=10240 1=2560 11=8 22=16 +ReLU 2429 1 1 tensor_202237 tensor_202238 +BinaryOp 2430 2 1 tensor_202238 tensor_202238 tensor_202239 0=2 +GemvA32W4 2431 1 1 tensor_202239 tensor_202243 0=2560 1=10240 11=8 22=16 +BinaryOp 2432 2 1 tensor_202233 tensor_202243 tensor_202244 0=2 +BinaryOp 2433 2 1 tensor_202208 tensor_202244 tensor_202245 0=0 +Split 2434 1 1 tensor_202212 output_state_21_4 +Split 2435 1 2 tensor_202245 tensor_202247 tensor_202248 +LayerNorm 2436 1 1 tensor_202247 tensor_202249 0=2560 1=1.000000e-05 2=1 +Split 2437 1 4 tensor_202249 tensor_202250 tensor_202251 tensor_202252 tensor_202253 +Split 2438 1 3 state_22_0 tensor_202254 tensor_202255 tensor_202256 +MemoryData 2439 0 1 blocks.22.att.time_mix_k 0=2560 21=0 +Split 2440 1 2 blocks.22.att.time_mix_k tensor_202258 tensor_202259 +MemoryData 2441 0 1 blocks.22.att.time_mix_v 0=2560 21=0 +Split 2442 1 2 blocks.22.att.time_mix_v tensor_202261 tensor_202262 +MemoryData 2443 0 1 blocks.22.att.time_mix_r 0=2560 21=0 +Split 2444 1 2 blocks.22.att.time_mix_r tensor_202264 tensor_202265 +BinaryOp 2445 1 1 tensor_202259 tensor_202266 0=7 1=1 2=1.000000e+00 +BinaryOp 2446 2 1 tensor_202254 tensor_202266 tensor_202267 0=2 +BinaryOp 2447 2 1 tensor_202250 tensor_202258 tensor_202268 0=2 +BinaryOp 2448 2 1 tensor_202268 tensor_202267 tensor_202269 0=0 +BinaryOp 2449 1 1 tensor_202262 tensor_202270 0=7 1=1 2=1.000000e+00 +BinaryOp 2450 2 1 tensor_202255 tensor_202270 tensor_202271 0=2 +BinaryOp 2451 2 1 tensor_202251 tensor_202261 tensor_202272 0=2 +BinaryOp 2452 2 1 tensor_202272 tensor_202271 tensor_202273 0=0 +BinaryOp 2453 1 1 tensor_202265 tensor_202274 0=7 1=1 2=1.000000e+00 +BinaryOp 2454 2 1 tensor_202256 tensor_202274 tensor_202275 0=2 +BinaryOp 2455 2 1 tensor_202252 tensor_202264 tensor_202276 0=2 +BinaryOp 2456 2 1 tensor_202276 tensor_202275 tensor_202277 0=0 +GemvA32W4 2457 1 1 tensor_202277 tensor_202281 0=2560 1=2560 11=8 22=16 +Sigmoid 2458 1 1 tensor_202281 tensor_202282 +GemvA32W4 2459 1 1 tensor_202269 tensor_202286 0=2560 1=2560 11=8 22=16 +Split 2460 1 3 tensor_202286 tensor_202287 tensor_202288 tensor_202289 +GemvA32W4 2461 1 1 tensor_202273 tensor_202293 0=2560 1=2560 11=8 22=16 +Split 2462 1 2 tensor_202293 tensor_202294 tensor_202295 +MemoryData 2463 0 1 blocks.22.att.time_first 0=2560 21=0 +BinaryOp 2464 2 1 blocks.22.att.time_first tensor_202287 tensor_202297 0=0 +Split 2465 1 2 tensor_202297 tensor_202298 tensor_202299 +Split 2466 1 3 state_22_3 tensor_202300 tensor_202301 tensor_202302 +BinaryOp 2467 2 1 tensor_202300 tensor_202298 tensor_202303 0=4 +Split 2468 1 2 tensor_202303 tensor_202304 tensor_202305 +BinaryOp 2469 2 1 tensor_202301 tensor_202304 tensor_202306 0=1 +Exp 2470 1 1 tensor_202306 tensor_202307 +Split 2471 1 2 tensor_202307 tensor_202308 tensor_202309 +BinaryOp 2472 2 1 tensor_202299 tensor_202305 tensor_202310 0=1 +Exp 2473 1 1 tensor_202310 tensor_202311 +Split 2474 1 2 tensor_202311 tensor_202312 tensor_202313 +Split 2475 1 2 state_22_1 tensor_202314 tensor_202315 +Split 2476 1 2 state_22_2 tensor_202316 tensor_202317 +BinaryOp 2477 2 1 tensor_202309 tensor_202316 tensor_202318 0=2 +BinaryOp 2478 2 1 tensor_202318 tensor_202313 tensor_202319 0=0 +BinaryOp 2479 2 1 tensor_202312 tensor_202294 tensor_202320 0=2 +BinaryOp 2480 2 1 tensor_202308 tensor_202314 tensor_202321 0=2 +BinaryOp 2481 2 1 tensor_202321 tensor_202320 tensor_202322 0=0 +BinaryOp 2482 2 1 tensor_202322 tensor_202319 tensor_202323 0=3 +MemoryData 2483 0 1 blocks.22.att.time_decay 0=2560 21=0 +BinaryOp 2484 2 1 blocks.22.att.time_decay tensor_202302 tensor_202325 0=0 +Split 2485 1 2 tensor_202325 tensor_202326 tensor_202327 +BinaryOp 2486 2 1 tensor_202326 tensor_202288 tensor_202328 0=4 +Split 2487 1 3 tensor_202328 tensor_202329 tensor_202330 tensor_202331 +BinaryOp 2488 2 1 tensor_202327 tensor_202329 tensor_202332 0=1 +Exp 2489 1 1 tensor_202332 tensor_202333 +Split 2490 1 2 tensor_202333 tensor_202334 tensor_202335 +BinaryOp 2491 2 1 tensor_202289 tensor_202330 tensor_202336 0=1 +Exp 2492 1 1 tensor_202336 tensor_202337 +Split 2493 1 2 tensor_202337 tensor_202338 tensor_202339 +BinaryOp 2494 2 1 tensor_202282 tensor_202323 tensor_202340 0=2 +GemvA32W4 2495 1 1 tensor_202340 tensor_202344 0=2560 1=2560 11=8 22=16 +BinaryOp 2496 2 1 tensor_202248 tensor_202344 tensor_202345 0=0 +BinaryOp 2497 2 1 tensor_202338 tensor_202295 tensor_202346 0=2 +BinaryOp 2498 2 1 tensor_202334 tensor_202315 tensor_202347 0=2 +BinaryOp 2499 2 1 tensor_202347 tensor_202346 tensor_202348 0=0 +BinaryOp 2500 2 1 tensor_202335 tensor_202317 tensor_202349 0=2 +BinaryOp 2501 2 1 tensor_202349 tensor_202339 tensor_202350 0=0 +Split 2502 1 1 tensor_202253 output_state_22_0 +Split 2503 1 1 tensor_202348 output_state_22_1 +Split 2504 1 1 tensor_202350 output_state_22_2 +Split 2505 1 1 tensor_202331 output_state_22_3 +Split 2506 1 2 tensor_202345 tensor_202355 tensor_202356 +LayerNorm 2507 1 1 tensor_202355 tensor_202357 0=2560 1=1.000000e-05 2=1 +Split 2508 1 3 tensor_202357 tensor_202358 tensor_202359 tensor_202360 +Split 2509 1 2 state_22_4 tensor_202361 tensor_202362 +MemoryData 2510 0 1 blocks.22.ffn.time_mix_k 0=2560 21=0 +Split 2511 1 2 blocks.22.ffn.time_mix_k tensor_202364 tensor_202365 +MemoryData 2512 0 1 blocks.22.ffn.time_mix_r 0=2560 21=0 +Split 2513 1 2 blocks.22.ffn.time_mix_r tensor_202367 tensor_202368 +BinaryOp 2514 1 1 tensor_202365 tensor_202369 0=7 1=1 2=1.000000e+00 +BinaryOp 2515 2 1 tensor_202361 tensor_202369 tensor_202370 0=2 +BinaryOp 2516 2 1 tensor_202358 tensor_202364 tensor_202371 0=2 +BinaryOp 2517 2 1 tensor_202371 tensor_202370 tensor_202372 0=0 +BinaryOp 2518 1 1 tensor_202368 tensor_202373 0=7 1=1 2=1.000000e+00 +BinaryOp 2519 2 1 tensor_202362 tensor_202373 tensor_202374 0=2 +BinaryOp 2520 2 1 tensor_202359 tensor_202367 tensor_202375 0=2 +BinaryOp 2521 2 1 tensor_202375 tensor_202374 tensor_202376 0=0 +GemvA32W4 2522 1 1 tensor_202376 tensor_202380 0=2560 1=2560 11=8 22=16 +Sigmoid 2523 1 1 tensor_202380 tensor_202381 +GemvA32W4 2524 1 1 tensor_202372 tensor_202385 0=10240 1=2560 11=8 22=16 +ReLU 2525 1 1 tensor_202385 tensor_202386 +BinaryOp 2526 2 1 tensor_202386 tensor_202386 tensor_202387 0=2 +GemvA32W4 2527 1 1 tensor_202387 tensor_202391 0=2560 1=10240 11=8 22=16 +BinaryOp 2528 2 1 tensor_202381 tensor_202391 tensor_202392 0=2 +BinaryOp 2529 2 1 tensor_202356 tensor_202392 tensor_202393 0=0 +Split 2530 1 1 tensor_202360 output_state_22_4 +Split 2531 1 2 tensor_202393 tensor_202395 tensor_202396 +LayerNorm 2532 1 1 tensor_202395 tensor_202397 0=2560 1=1.000000e-05 2=1 +Split 2533 1 4 tensor_202397 tensor_202398 tensor_202399 tensor_202400 tensor_202401 +Split 2534 1 3 state_23_0 tensor_202402 tensor_202403 tensor_202404 +MemoryData 2535 0 1 blocks.23.att.time_mix_k 0=2560 21=0 +Split 2536 1 2 blocks.23.att.time_mix_k tensor_202406 tensor_202407 +MemoryData 2537 0 1 blocks.23.att.time_mix_v 0=2560 21=0 +Split 2538 1 2 blocks.23.att.time_mix_v tensor_202409 tensor_202410 +MemoryData 2539 0 1 blocks.23.att.time_mix_r 0=2560 21=0 +Split 2540 1 2 blocks.23.att.time_mix_r tensor_202412 tensor_202413 +BinaryOp 2541 1 1 tensor_202407 tensor_202414 0=7 1=1 2=1.000000e+00 +BinaryOp 2542 2 1 tensor_202402 tensor_202414 tensor_202415 0=2 +BinaryOp 2543 2 1 tensor_202398 tensor_202406 tensor_202416 0=2 +BinaryOp 2544 2 1 tensor_202416 tensor_202415 tensor_202417 0=0 +BinaryOp 2545 1 1 tensor_202410 tensor_202418 0=7 1=1 2=1.000000e+00 +BinaryOp 2546 2 1 tensor_202403 tensor_202418 tensor_202419 0=2 +BinaryOp 2547 2 1 tensor_202399 tensor_202409 tensor_202420 0=2 +BinaryOp 2548 2 1 tensor_202420 tensor_202419 tensor_202421 0=0 +BinaryOp 2549 1 1 tensor_202413 tensor_202422 0=7 1=1 2=1.000000e+00 +BinaryOp 2550 2 1 tensor_202404 tensor_202422 tensor_202423 0=2 +BinaryOp 2551 2 1 tensor_202400 tensor_202412 tensor_202424 0=2 +BinaryOp 2552 2 1 tensor_202424 tensor_202423 tensor_202425 0=0 +GemvA32W4 2553 1 1 tensor_202425 tensor_202429 0=2560 1=2560 11=8 22=16 +Sigmoid 2554 1 1 tensor_202429 tensor_202430 +GemvA32W4 2555 1 1 tensor_202417 tensor_202434 0=2560 1=2560 11=8 22=16 +Split 2556 1 3 tensor_202434 tensor_202435 tensor_202436 tensor_202437 +GemvA32W4 2557 1 1 tensor_202421 tensor_202441 0=2560 1=2560 11=8 22=16 +Split 2558 1 2 tensor_202441 tensor_202442 tensor_202443 +MemoryData 2559 0 1 blocks.23.att.time_first 0=2560 21=0 +BinaryOp 2560 2 1 blocks.23.att.time_first tensor_202435 tensor_202445 0=0 +Split 2561 1 2 tensor_202445 tensor_202446 tensor_202447 +Split 2562 1 3 state_23_3 tensor_202448 tensor_202449 tensor_202450 +BinaryOp 2563 2 1 tensor_202448 tensor_202446 tensor_202451 0=4 +Split 2564 1 2 tensor_202451 tensor_202452 tensor_202453 +BinaryOp 2565 2 1 tensor_202449 tensor_202452 tensor_202454 0=1 +Exp 2566 1 1 tensor_202454 tensor_202455 +Split 2567 1 2 tensor_202455 tensor_202456 tensor_202457 +BinaryOp 2568 2 1 tensor_202447 tensor_202453 tensor_202458 0=1 +Exp 2569 1 1 tensor_202458 tensor_202459 +Split 2570 1 2 tensor_202459 tensor_202460 tensor_202461 +Split 2571 1 2 state_23_1 tensor_202462 tensor_202463 +Split 2572 1 2 state_23_2 tensor_202464 tensor_202465 +BinaryOp 2573 2 1 tensor_202457 tensor_202464 tensor_202466 0=2 +BinaryOp 2574 2 1 tensor_202466 tensor_202461 tensor_202467 0=0 +BinaryOp 2575 2 1 tensor_202460 tensor_202442 tensor_202468 0=2 +BinaryOp 2576 2 1 tensor_202456 tensor_202462 tensor_202469 0=2 +BinaryOp 2577 2 1 tensor_202469 tensor_202468 tensor_202470 0=0 +BinaryOp 2578 2 1 tensor_202470 tensor_202467 tensor_202471 0=3 +MemoryData 2579 0 1 blocks.23.att.time_decay 0=2560 21=0 +BinaryOp 2580 2 1 blocks.23.att.time_decay tensor_202450 tensor_202473 0=0 +Split 2581 1 2 tensor_202473 tensor_202474 tensor_202475 +BinaryOp 2582 2 1 tensor_202474 tensor_202436 tensor_202476 0=4 +Split 2583 1 3 tensor_202476 tensor_202477 tensor_202478 tensor_202479 +BinaryOp 2584 2 1 tensor_202475 tensor_202477 tensor_202480 0=1 +Exp 2585 1 1 tensor_202480 tensor_202481 +Split 2586 1 2 tensor_202481 tensor_202482 tensor_202483 +BinaryOp 2587 2 1 tensor_202437 tensor_202478 tensor_202484 0=1 +Exp 2588 1 1 tensor_202484 tensor_202485 +Split 2589 1 2 tensor_202485 tensor_202486 tensor_202487 +BinaryOp 2590 2 1 tensor_202430 tensor_202471 tensor_202488 0=2 +GemvA32W4 2591 1 1 tensor_202488 tensor_202492 0=2560 1=2560 11=8 22=16 +BinaryOp 2592 2 1 tensor_202396 tensor_202492 tensor_202493 0=0 +BinaryOp 2593 2 1 tensor_202486 tensor_202443 tensor_202494 0=2 +BinaryOp 2594 2 1 tensor_202482 tensor_202463 tensor_202495 0=2 +BinaryOp 2595 2 1 tensor_202495 tensor_202494 tensor_202496 0=0 +BinaryOp 2596 2 1 tensor_202483 tensor_202465 tensor_202497 0=2 +BinaryOp 2597 2 1 tensor_202497 tensor_202487 tensor_202498 0=0 +Split 2598 1 1 tensor_202401 output_state_23_0 +Split 2599 1 1 tensor_202496 output_state_23_1 +Split 2600 1 1 tensor_202498 output_state_23_2 +Split 2601 1 1 tensor_202479 output_state_23_3 +Split 2602 1 2 tensor_202493 tensor_202503 tensor_202504 +LayerNorm 2603 1 1 tensor_202503 tensor_202505 0=2560 1=1.000000e-05 2=1 +Split 2604 1 3 tensor_202505 tensor_202506 tensor_202507 tensor_202508 +Split 2605 1 2 state_23_4 tensor_202509 tensor_202510 +MemoryData 2606 0 1 blocks.23.ffn.time_mix_k 0=2560 21=0 +Split 2607 1 2 blocks.23.ffn.time_mix_k tensor_202512 tensor_202513 +MemoryData 2608 0 1 blocks.23.ffn.time_mix_r 0=2560 21=0 +Split 2609 1 2 blocks.23.ffn.time_mix_r tensor_202515 tensor_202516 +BinaryOp 2610 1 1 tensor_202513 tensor_202517 0=7 1=1 2=1.000000e+00 +BinaryOp 2611 2 1 tensor_202509 tensor_202517 tensor_202518 0=2 +BinaryOp 2612 2 1 tensor_202506 tensor_202512 tensor_202519 0=2 +BinaryOp 2613 2 1 tensor_202519 tensor_202518 tensor_202520 0=0 +BinaryOp 2614 1 1 tensor_202516 tensor_202521 0=7 1=1 2=1.000000e+00 +BinaryOp 2615 2 1 tensor_202510 tensor_202521 tensor_202522 0=2 +BinaryOp 2616 2 1 tensor_202507 tensor_202515 tensor_202523 0=2 +BinaryOp 2617 2 1 tensor_202523 tensor_202522 tensor_202524 0=0 +GemvA32W4 2618 1 1 tensor_202524 tensor_202528 0=2560 1=2560 11=8 22=16 +Sigmoid 2619 1 1 tensor_202528 tensor_202529 +GemvA32W4 2620 1 1 tensor_202520 tensor_202533 0=10240 1=2560 11=8 22=16 +ReLU 2621 1 1 tensor_202533 tensor_202534 +BinaryOp 2622 2 1 tensor_202534 tensor_202534 tensor_202535 0=2 +GemvA32W4 2623 1 1 tensor_202535 tensor_202539 0=2560 1=10240 11=8 22=16 +BinaryOp 2624 2 1 tensor_202529 tensor_202539 tensor_202540 0=2 +BinaryOp 2625 2 1 tensor_202504 tensor_202540 tensor_202541 0=0 +Split 2626 1 1 tensor_202508 output_state_23_4 +Split 2627 1 2 tensor_202541 tensor_202543 tensor_202544 +LayerNorm 2628 1 1 tensor_202543 tensor_202545 0=2560 1=1.000000e-05 2=1 +Split 2629 1 4 tensor_202545 tensor_202546 tensor_202547 tensor_202548 tensor_202549 +Split 2630 1 3 state_24_0 tensor_202550 tensor_202551 tensor_202552 +MemoryData 2631 0 1 blocks.24.att.time_mix_k 0=2560 21=0 +Split 2632 1 2 blocks.24.att.time_mix_k tensor_202554 tensor_202555 +MemoryData 2633 0 1 blocks.24.att.time_mix_v 0=2560 21=0 +Split 2634 1 2 blocks.24.att.time_mix_v tensor_202557 tensor_202558 +MemoryData 2635 0 1 blocks.24.att.time_mix_r 0=2560 21=0 +Split 2636 1 2 blocks.24.att.time_mix_r tensor_202560 tensor_202561 +BinaryOp 2637 1 1 tensor_202555 tensor_202562 0=7 1=1 2=1.000000e+00 +BinaryOp 2638 2 1 tensor_202550 tensor_202562 tensor_202563 0=2 +BinaryOp 2639 2 1 tensor_202546 tensor_202554 tensor_202564 0=2 +BinaryOp 2640 2 1 tensor_202564 tensor_202563 tensor_202565 0=0 +BinaryOp 2641 1 1 tensor_202558 tensor_202566 0=7 1=1 2=1.000000e+00 +BinaryOp 2642 2 1 tensor_202551 tensor_202566 tensor_202567 0=2 +BinaryOp 2643 2 1 tensor_202547 tensor_202557 tensor_202568 0=2 +BinaryOp 2644 2 1 tensor_202568 tensor_202567 tensor_202569 0=0 +BinaryOp 2645 1 1 tensor_202561 tensor_202570 0=7 1=1 2=1.000000e+00 +BinaryOp 2646 2 1 tensor_202552 tensor_202570 tensor_202571 0=2 +BinaryOp 2647 2 1 tensor_202548 tensor_202560 tensor_202572 0=2 +BinaryOp 2648 2 1 tensor_202572 tensor_202571 tensor_202573 0=0 +GemvA32W4 2649 1 1 tensor_202573 tensor_202577 0=2560 1=2560 11=8 22=16 +Sigmoid 2650 1 1 tensor_202577 tensor_202578 +GemvA32W4 2651 1 1 tensor_202565 tensor_202582 0=2560 1=2560 11=8 22=16 +Split 2652 1 3 tensor_202582 tensor_202583 tensor_202584 tensor_202585 +GemvA32W4 2653 1 1 tensor_202569 tensor_202589 0=2560 1=2560 11=8 22=16 +Split 2654 1 2 tensor_202589 tensor_202590 tensor_202591 +MemoryData 2655 0 1 blocks.24.att.time_first 0=2560 21=0 +BinaryOp 2656 2 1 blocks.24.att.time_first tensor_202583 tensor_202593 0=0 +Split 2657 1 2 tensor_202593 tensor_202594 tensor_202595 +Split 2658 1 3 state_24_3 tensor_202596 tensor_202597 tensor_202598 +BinaryOp 2659 2 1 tensor_202596 tensor_202594 tensor_202599 0=4 +Split 2660 1 2 tensor_202599 tensor_202600 tensor_202601 +BinaryOp 2661 2 1 tensor_202597 tensor_202600 tensor_202602 0=1 +Exp 2662 1 1 tensor_202602 tensor_202603 +Split 2663 1 2 tensor_202603 tensor_202604 tensor_202605 +BinaryOp 2664 2 1 tensor_202595 tensor_202601 tensor_202606 0=1 +Exp 2665 1 1 tensor_202606 tensor_202607 +Split 2666 1 2 tensor_202607 tensor_202608 tensor_202609 +Split 2667 1 2 state_24_1 tensor_202610 tensor_202611 +Split 2668 1 2 state_24_2 tensor_202612 tensor_202613 +BinaryOp 2669 2 1 tensor_202605 tensor_202612 tensor_202614 0=2 +BinaryOp 2670 2 1 tensor_202614 tensor_202609 tensor_202615 0=0 +BinaryOp 2671 2 1 tensor_202608 tensor_202590 tensor_202616 0=2 +BinaryOp 2672 2 1 tensor_202604 tensor_202610 tensor_202617 0=2 +BinaryOp 2673 2 1 tensor_202617 tensor_202616 tensor_202618 0=0 +BinaryOp 2674 2 1 tensor_202618 tensor_202615 tensor_202619 0=3 +MemoryData 2675 0 1 blocks.24.att.time_decay 0=2560 21=0 +BinaryOp 2676 2 1 blocks.24.att.time_decay tensor_202598 tensor_202621 0=0 +Split 2677 1 2 tensor_202621 tensor_202622 tensor_202623 +BinaryOp 2678 2 1 tensor_202622 tensor_202584 tensor_202624 0=4 +Split 2679 1 3 tensor_202624 tensor_202625 tensor_202626 tensor_202627 +BinaryOp 2680 2 1 tensor_202623 tensor_202625 tensor_202628 0=1 +Exp 2681 1 1 tensor_202628 tensor_202629 +Split 2682 1 2 tensor_202629 tensor_202630 tensor_202631 +BinaryOp 2683 2 1 tensor_202585 tensor_202626 tensor_202632 0=1 +Exp 2684 1 1 tensor_202632 tensor_202633 +Split 2685 1 2 tensor_202633 tensor_202634 tensor_202635 +BinaryOp 2686 2 1 tensor_202578 tensor_202619 tensor_202636 0=2 +GemvA32W4 2687 1 1 tensor_202636 tensor_202640 0=2560 1=2560 11=8 22=16 +BinaryOp 2688 2 1 tensor_202544 tensor_202640 tensor_202641 0=0 +BinaryOp 2689 2 1 tensor_202634 tensor_202591 tensor_202642 0=2 +BinaryOp 2690 2 1 tensor_202630 tensor_202611 tensor_202643 0=2 +BinaryOp 2691 2 1 tensor_202643 tensor_202642 tensor_202644 0=0 +BinaryOp 2692 2 1 tensor_202631 tensor_202613 tensor_202645 0=2 +BinaryOp 2693 2 1 tensor_202645 tensor_202635 tensor_202646 0=0 +Split 2694 1 1 tensor_202549 output_state_24_0 +Split 2695 1 1 tensor_202644 output_state_24_1 +Split 2696 1 1 tensor_202646 output_state_24_2 +Split 2697 1 1 tensor_202627 output_state_24_3 +Split 2698 1 2 tensor_202641 tensor_202651 tensor_202652 +LayerNorm 2699 1 1 tensor_202651 tensor_202653 0=2560 1=1.000000e-05 2=1 +Split 2700 1 3 tensor_202653 tensor_202654 tensor_202655 tensor_202656 +Split 2701 1 2 state_24_4 tensor_202657 tensor_202658 +MemoryData 2702 0 1 blocks.24.ffn.time_mix_k 0=2560 21=0 +Split 2703 1 2 blocks.24.ffn.time_mix_k tensor_202660 tensor_202661 +MemoryData 2704 0 1 blocks.24.ffn.time_mix_r 0=2560 21=0 +Split 2705 1 2 blocks.24.ffn.time_mix_r tensor_202663 tensor_202664 +BinaryOp 2706 1 1 tensor_202661 tensor_202665 0=7 1=1 2=1.000000e+00 +BinaryOp 2707 2 1 tensor_202657 tensor_202665 tensor_202666 0=2 +BinaryOp 2708 2 1 tensor_202654 tensor_202660 tensor_202667 0=2 +BinaryOp 2709 2 1 tensor_202667 tensor_202666 tensor_202668 0=0 +BinaryOp 2710 1 1 tensor_202664 tensor_202669 0=7 1=1 2=1.000000e+00 +BinaryOp 2711 2 1 tensor_202658 tensor_202669 tensor_202670 0=2 +BinaryOp 2712 2 1 tensor_202655 tensor_202663 tensor_202671 0=2 +BinaryOp 2713 2 1 tensor_202671 tensor_202670 tensor_202672 0=0 +GemvA32W4 2714 1 1 tensor_202672 tensor_202676 0=2560 1=2560 11=8 22=16 +Sigmoid 2715 1 1 tensor_202676 tensor_202677 +GemvA32W4 2716 1 1 tensor_202668 tensor_202681 0=10240 1=2560 11=8 22=16 +ReLU 2717 1 1 tensor_202681 tensor_202682 +BinaryOp 2718 2 1 tensor_202682 tensor_202682 tensor_202683 0=2 +GemvA32W4 2719 1 1 tensor_202683 tensor_202687 0=2560 1=10240 11=8 22=16 +BinaryOp 2720 2 1 tensor_202677 tensor_202687 tensor_202688 0=2 +BinaryOp 2721 2 1 tensor_202652 tensor_202688 tensor_202689 0=0 +Split 2722 1 1 tensor_202656 output_state_24_4 +Split 2723 1 2 tensor_202689 tensor_202691 tensor_202692 +LayerNorm 2724 1 1 tensor_202691 tensor_202693 0=2560 1=1.000000e-05 2=1 +Split 2725 1 4 tensor_202693 tensor_202694 tensor_202695 tensor_202696 tensor_202697 +Split 2726 1 3 state_25_0 tensor_202698 tensor_202699 tensor_202700 +MemoryData 2727 0 1 blocks.25.att.time_mix_k 0=2560 21=0 +Split 2728 1 2 blocks.25.att.time_mix_k tensor_202702 tensor_202703 +MemoryData 2729 0 1 blocks.25.att.time_mix_v 0=2560 21=0 +Split 2730 1 2 blocks.25.att.time_mix_v tensor_202705 tensor_202706 +MemoryData 2731 0 1 blocks.25.att.time_mix_r 0=2560 21=0 +Split 2732 1 2 blocks.25.att.time_mix_r tensor_202708 tensor_202709 +BinaryOp 2733 1 1 tensor_202703 tensor_202710 0=7 1=1 2=1.000000e+00 +BinaryOp 2734 2 1 tensor_202698 tensor_202710 tensor_202711 0=2 +BinaryOp 2735 2 1 tensor_202694 tensor_202702 tensor_202712 0=2 +BinaryOp 2736 2 1 tensor_202712 tensor_202711 tensor_202713 0=0 +BinaryOp 2737 1 1 tensor_202706 tensor_202714 0=7 1=1 2=1.000000e+00 +BinaryOp 2738 2 1 tensor_202699 tensor_202714 tensor_202715 0=2 +BinaryOp 2739 2 1 tensor_202695 tensor_202705 tensor_202716 0=2 +BinaryOp 2740 2 1 tensor_202716 tensor_202715 tensor_202717 0=0 +BinaryOp 2741 1 1 tensor_202709 tensor_202718 0=7 1=1 2=1.000000e+00 +BinaryOp 2742 2 1 tensor_202700 tensor_202718 tensor_202719 0=2 +BinaryOp 2743 2 1 tensor_202696 tensor_202708 tensor_202720 0=2 +BinaryOp 2744 2 1 tensor_202720 tensor_202719 tensor_202721 0=0 +GemvA32W4 2745 1 1 tensor_202721 tensor_202725 0=2560 1=2560 11=8 22=16 +Sigmoid 2746 1 1 tensor_202725 tensor_202726 +GemvA32W4 2747 1 1 tensor_202713 tensor_202730 0=2560 1=2560 11=8 22=16 +Split 2748 1 3 tensor_202730 tensor_202731 tensor_202732 tensor_202733 +GemvA32W4 2749 1 1 tensor_202717 tensor_202737 0=2560 1=2560 11=8 22=16 +Split 2750 1 2 tensor_202737 tensor_202738 tensor_202739 +MemoryData 2751 0 1 blocks.25.att.time_first 0=2560 21=0 +BinaryOp 2752 2 1 blocks.25.att.time_first tensor_202731 tensor_202741 0=0 +Split 2753 1 2 tensor_202741 tensor_202742 tensor_202743 +Split 2754 1 3 state_25_3 tensor_202744 tensor_202745 tensor_202746 +BinaryOp 2755 2 1 tensor_202744 tensor_202742 tensor_202747 0=4 +Split 2756 1 2 tensor_202747 tensor_202748 tensor_202749 +BinaryOp 2757 2 1 tensor_202745 tensor_202748 tensor_202750 0=1 +Exp 2758 1 1 tensor_202750 tensor_202751 +Split 2759 1 2 tensor_202751 tensor_202752 tensor_202753 +BinaryOp 2760 2 1 tensor_202743 tensor_202749 tensor_202754 0=1 +Exp 2761 1 1 tensor_202754 tensor_202755 +Split 2762 1 2 tensor_202755 tensor_202756 tensor_202757 +Split 2763 1 2 state_25_1 tensor_202758 tensor_202759 +Split 2764 1 2 state_25_2 tensor_202760 tensor_202761 +BinaryOp 2765 2 1 tensor_202753 tensor_202760 tensor_202762 0=2 +BinaryOp 2766 2 1 tensor_202762 tensor_202757 tensor_202763 0=0 +BinaryOp 2767 2 1 tensor_202756 tensor_202738 tensor_202764 0=2 +BinaryOp 2768 2 1 tensor_202752 tensor_202758 tensor_202765 0=2 +BinaryOp 2769 2 1 tensor_202765 tensor_202764 tensor_202766 0=0 +BinaryOp 2770 2 1 tensor_202766 tensor_202763 tensor_202767 0=3 +MemoryData 2771 0 1 blocks.25.att.time_decay 0=2560 21=0 +BinaryOp 2772 2 1 blocks.25.att.time_decay tensor_202746 tensor_202769 0=0 +Split 2773 1 2 tensor_202769 tensor_202770 tensor_202771 +BinaryOp 2774 2 1 tensor_202770 tensor_202732 tensor_202772 0=4 +Split 2775 1 3 tensor_202772 tensor_202773 tensor_202774 tensor_202775 +BinaryOp 2776 2 1 tensor_202771 tensor_202773 tensor_202776 0=1 +Exp 2777 1 1 tensor_202776 tensor_202777 +Split 2778 1 2 tensor_202777 tensor_202778 tensor_202779 +BinaryOp 2779 2 1 tensor_202733 tensor_202774 tensor_202780 0=1 +Exp 2780 1 1 tensor_202780 tensor_202781 +Split 2781 1 2 tensor_202781 tensor_202782 tensor_202783 +BinaryOp 2782 2 1 tensor_202726 tensor_202767 tensor_202784 0=2 +GemvA32W4 2783 1 1 tensor_202784 tensor_202788 0=2560 1=2560 11=8 22=16 +BinaryOp 2784 2 1 tensor_202692 tensor_202788 tensor_202789 0=0 +BinaryOp 2785 2 1 tensor_202782 tensor_202739 tensor_202790 0=2 +BinaryOp 2786 2 1 tensor_202778 tensor_202759 tensor_202791 0=2 +BinaryOp 2787 2 1 tensor_202791 tensor_202790 tensor_202792 0=0 +BinaryOp 2788 2 1 tensor_202779 tensor_202761 tensor_202793 0=2 +BinaryOp 2789 2 1 tensor_202793 tensor_202783 tensor_202794 0=0 +Split 2790 1 1 tensor_202697 output_state_25_0 +Split 2791 1 1 tensor_202792 output_state_25_1 +Split 2792 1 1 tensor_202794 output_state_25_2 +Split 2793 1 1 tensor_202775 output_state_25_3 +Split 2794 1 2 tensor_202789 tensor_202799 tensor_202800 +LayerNorm 2795 1 1 tensor_202799 tensor_202801 0=2560 1=1.000000e-05 2=1 +Split 2796 1 3 tensor_202801 tensor_202802 tensor_202803 tensor_202804 +Split 2797 1 2 state_25_4 tensor_202805 tensor_202806 +MemoryData 2798 0 1 blocks.25.ffn.time_mix_k 0=2560 21=0 +Split 2799 1 2 blocks.25.ffn.time_mix_k tensor_202808 tensor_202809 +MemoryData 2800 0 1 blocks.25.ffn.time_mix_r 0=2560 21=0 +Split 2801 1 2 blocks.25.ffn.time_mix_r tensor_202811 tensor_202812 +BinaryOp 2802 1 1 tensor_202809 tensor_202813 0=7 1=1 2=1.000000e+00 +BinaryOp 2803 2 1 tensor_202805 tensor_202813 tensor_202814 0=2 +BinaryOp 2804 2 1 tensor_202802 tensor_202808 tensor_202815 0=2 +BinaryOp 2805 2 1 tensor_202815 tensor_202814 tensor_202816 0=0 +BinaryOp 2806 1 1 tensor_202812 tensor_202817 0=7 1=1 2=1.000000e+00 +BinaryOp 2807 2 1 tensor_202806 tensor_202817 tensor_202818 0=2 +BinaryOp 2808 2 1 tensor_202803 tensor_202811 tensor_202819 0=2 +BinaryOp 2809 2 1 tensor_202819 tensor_202818 tensor_202820 0=0 +GemvA32W4 2810 1 1 tensor_202820 tensor_202824 0=2560 1=2560 11=8 22=16 +Sigmoid 2811 1 1 tensor_202824 tensor_202825 +GemvA32W4 2812 1 1 tensor_202816 tensor_202829 0=10240 1=2560 11=8 22=16 +ReLU 2813 1 1 tensor_202829 tensor_202830 +BinaryOp 2814 2 1 tensor_202830 tensor_202830 tensor_202831 0=2 +GemvA32W4 2815 1 1 tensor_202831 tensor_202835 0=2560 1=10240 11=8 22=16 +BinaryOp 2816 2 1 tensor_202825 tensor_202835 tensor_202836 0=2 +BinaryOp 2817 2 1 tensor_202800 tensor_202836 tensor_202837 0=0 +Split 2818 1 1 tensor_202804 output_state_25_4 +Split 2819 1 2 tensor_202837 tensor_202839 tensor_202840 +LayerNorm 2820 1 1 tensor_202839 tensor_202841 0=2560 1=1.000000e-05 2=1 +Split 2821 1 4 tensor_202841 tensor_202842 tensor_202843 tensor_202844 tensor_202845 +Split 2822 1 3 state_26_0 tensor_202846 tensor_202847 tensor_202848 +MemoryData 2823 0 1 blocks.26.att.time_mix_k 0=2560 21=0 +Split 2824 1 2 blocks.26.att.time_mix_k tensor_202850 tensor_202851 +MemoryData 2825 0 1 blocks.26.att.time_mix_v 0=2560 21=0 +Split 2826 1 2 blocks.26.att.time_mix_v tensor_202853 tensor_202854 +MemoryData 2827 0 1 blocks.26.att.time_mix_r 0=2560 21=0 +Split 2828 1 2 blocks.26.att.time_mix_r tensor_202856 tensor_202857 +BinaryOp 2829 1 1 tensor_202851 tensor_202858 0=7 1=1 2=1.000000e+00 +BinaryOp 2830 2 1 tensor_202846 tensor_202858 tensor_202859 0=2 +BinaryOp 2831 2 1 tensor_202842 tensor_202850 tensor_202860 0=2 +BinaryOp 2832 2 1 tensor_202860 tensor_202859 tensor_202861 0=0 +BinaryOp 2833 1 1 tensor_202854 tensor_202862 0=7 1=1 2=1.000000e+00 +BinaryOp 2834 2 1 tensor_202847 tensor_202862 tensor_202863 0=2 +BinaryOp 2835 2 1 tensor_202843 tensor_202853 tensor_202864 0=2 +BinaryOp 2836 2 1 tensor_202864 tensor_202863 tensor_202865 0=0 +BinaryOp 2837 1 1 tensor_202857 tensor_202866 0=7 1=1 2=1.000000e+00 +BinaryOp 2838 2 1 tensor_202848 tensor_202866 tensor_202867 0=2 +BinaryOp 2839 2 1 tensor_202844 tensor_202856 tensor_202868 0=2 +BinaryOp 2840 2 1 tensor_202868 tensor_202867 tensor_202869 0=0 +GemvA32W4 2841 1 1 tensor_202869 tensor_202873 0=2560 1=2560 11=8 22=16 +Sigmoid 2842 1 1 tensor_202873 tensor_202874 +GemvA32W4 2843 1 1 tensor_202861 tensor_202878 0=2560 1=2560 11=8 22=16 +Split 2844 1 3 tensor_202878 tensor_202879 tensor_202880 tensor_202881 +GemvA32W4 2845 1 1 tensor_202865 tensor_202885 0=2560 1=2560 11=8 22=16 +Split 2846 1 2 tensor_202885 tensor_202886 tensor_202887 +MemoryData 2847 0 1 blocks.26.att.time_first 0=2560 21=0 +BinaryOp 2848 2 1 blocks.26.att.time_first tensor_202879 tensor_202889 0=0 +Split 2849 1 2 tensor_202889 tensor_202890 tensor_202891 +Split 2850 1 3 state_26_3 tensor_202892 tensor_202893 tensor_202894 +BinaryOp 2851 2 1 tensor_202892 tensor_202890 tensor_202895 0=4 +Split 2852 1 2 tensor_202895 tensor_202896 tensor_202897 +BinaryOp 2853 2 1 tensor_202893 tensor_202896 tensor_202898 0=1 +Exp 2854 1 1 tensor_202898 tensor_202899 +Split 2855 1 2 tensor_202899 tensor_202900 tensor_202901 +BinaryOp 2856 2 1 tensor_202891 tensor_202897 tensor_202902 0=1 +Exp 2857 1 1 tensor_202902 tensor_202903 +Split 2858 1 2 tensor_202903 tensor_202904 tensor_202905 +Split 2859 1 2 state_26_1 tensor_202906 tensor_202907 +Split 2860 1 2 state_26_2 tensor_202908 tensor_202909 +BinaryOp 2861 2 1 tensor_202901 tensor_202908 tensor_202910 0=2 +BinaryOp 2862 2 1 tensor_202910 tensor_202905 tensor_202911 0=0 +BinaryOp 2863 2 1 tensor_202904 tensor_202886 tensor_202912 0=2 +BinaryOp 2864 2 1 tensor_202900 tensor_202906 tensor_202913 0=2 +BinaryOp 2865 2 1 tensor_202913 tensor_202912 tensor_202914 0=0 +BinaryOp 2866 2 1 tensor_202914 tensor_202911 tensor_202915 0=3 +MemoryData 2867 0 1 blocks.26.att.time_decay 0=2560 21=0 +BinaryOp 2868 2 1 blocks.26.att.time_decay tensor_202894 tensor_202917 0=0 +Split 2869 1 2 tensor_202917 tensor_202918 tensor_202919 +BinaryOp 2870 2 1 tensor_202918 tensor_202880 tensor_202920 0=4 +Split 2871 1 3 tensor_202920 tensor_202921 tensor_202922 tensor_202923 +BinaryOp 2872 2 1 tensor_202919 tensor_202921 tensor_202924 0=1 +Exp 2873 1 1 tensor_202924 tensor_202925 +Split 2874 1 2 tensor_202925 tensor_202926 tensor_202927 +BinaryOp 2875 2 1 tensor_202881 tensor_202922 tensor_202928 0=1 +Exp 2876 1 1 tensor_202928 tensor_202929 +Split 2877 1 2 tensor_202929 tensor_202930 tensor_202931 +BinaryOp 2878 2 1 tensor_202874 tensor_202915 tensor_202932 0=2 +GemvA32W4 2879 1 1 tensor_202932 tensor_202936 0=2560 1=2560 11=8 22=16 +BinaryOp 2880 2 1 tensor_202840 tensor_202936 tensor_202937 0=0 +BinaryOp 2881 2 1 tensor_202930 tensor_202887 tensor_202938 0=2 +BinaryOp 2882 2 1 tensor_202926 tensor_202907 tensor_202939 0=2 +BinaryOp 2883 2 1 tensor_202939 tensor_202938 tensor_202940 0=0 +BinaryOp 2884 2 1 tensor_202927 tensor_202909 tensor_202941 0=2 +BinaryOp 2885 2 1 tensor_202941 tensor_202931 tensor_202942 0=0 +Split 2886 1 1 tensor_202845 output_state_26_0 +Split 2887 1 1 tensor_202940 output_state_26_1 +Split 2888 1 1 tensor_202942 output_state_26_2 +Split 2889 1 1 tensor_202923 output_state_26_3 +Split 2890 1 2 tensor_202937 tensor_202947 tensor_202948 +LayerNorm 2891 1 1 tensor_202947 tensor_202949 0=2560 1=1.000000e-05 2=1 +Split 2892 1 3 tensor_202949 tensor_202950 tensor_202951 tensor_202952 +Split 2893 1 2 state_26_4 tensor_202953 tensor_202954 +MemoryData 2894 0 1 blocks.26.ffn.time_mix_k 0=2560 21=0 +Split 2895 1 2 blocks.26.ffn.time_mix_k tensor_202956 tensor_202957 +MemoryData 2896 0 1 blocks.26.ffn.time_mix_r 0=2560 21=0 +Split 2897 1 2 blocks.26.ffn.time_mix_r tensor_202959 tensor_202960 +BinaryOp 2898 1 1 tensor_202957 tensor_202961 0=7 1=1 2=1.000000e+00 +BinaryOp 2899 2 1 tensor_202953 tensor_202961 tensor_202962 0=2 +BinaryOp 2900 2 1 tensor_202950 tensor_202956 tensor_202963 0=2 +BinaryOp 2901 2 1 tensor_202963 tensor_202962 tensor_202964 0=0 +BinaryOp 2902 1 1 tensor_202960 tensor_202965 0=7 1=1 2=1.000000e+00 +BinaryOp 2903 2 1 tensor_202954 tensor_202965 tensor_202966 0=2 +BinaryOp 2904 2 1 tensor_202951 tensor_202959 tensor_202967 0=2 +BinaryOp 2905 2 1 tensor_202967 tensor_202966 tensor_202968 0=0 +GemvA32W4 2906 1 1 tensor_202968 tensor_202972 0=2560 1=2560 11=8 22=16 +Sigmoid 2907 1 1 tensor_202972 tensor_202973 +GemvA32W4 2908 1 1 tensor_202964 tensor_202977 0=10240 1=2560 11=8 22=16 +ReLU 2909 1 1 tensor_202977 tensor_202978 +BinaryOp 2910 2 1 tensor_202978 tensor_202978 tensor_202979 0=2 +GemvA32W4 2911 1 1 tensor_202979 tensor_202983 0=2560 1=10240 11=8 22=16 +BinaryOp 2912 2 1 tensor_202973 tensor_202983 tensor_202984 0=2 +BinaryOp 2913 2 1 tensor_202948 tensor_202984 tensor_202985 0=0 +Split 2914 1 1 tensor_202952 output_state_26_4 +Split 2915 1 2 tensor_202985 tensor_202987 tensor_202988 +LayerNorm 2916 1 1 tensor_202987 tensor_202989 0=2560 1=1.000000e-05 2=1 +Split 2917 1 4 tensor_202989 tensor_202990 tensor_202991 tensor_202992 tensor_202993 +Split 2918 1 3 state_27_0 tensor_202994 tensor_202995 tensor_202996 +MemoryData 2919 0 1 blocks.27.att.time_mix_k 0=2560 21=0 +Split 2920 1 2 blocks.27.att.time_mix_k tensor_202998 tensor_202999 +MemoryData 2921 0 1 blocks.27.att.time_mix_v 0=2560 21=0 +Split 2922 1 2 blocks.27.att.time_mix_v tensor_203001 tensor_203002 +MemoryData 2923 0 1 blocks.27.att.time_mix_r 0=2560 21=0 +Split 2924 1 2 blocks.27.att.time_mix_r tensor_203004 tensor_203005 +BinaryOp 2925 1 1 tensor_202999 tensor_203006 0=7 1=1 2=1.000000e+00 +BinaryOp 2926 2 1 tensor_202994 tensor_203006 tensor_203007 0=2 +BinaryOp 2927 2 1 tensor_202990 tensor_202998 tensor_203008 0=2 +BinaryOp 2928 2 1 tensor_203008 tensor_203007 tensor_203009 0=0 +BinaryOp 2929 1 1 tensor_203002 tensor_203010 0=7 1=1 2=1.000000e+00 +BinaryOp 2930 2 1 tensor_202995 tensor_203010 tensor_203011 0=2 +BinaryOp 2931 2 1 tensor_202991 tensor_203001 tensor_203012 0=2 +BinaryOp 2932 2 1 tensor_203012 tensor_203011 tensor_203013 0=0 +BinaryOp 2933 1 1 tensor_203005 tensor_203014 0=7 1=1 2=1.000000e+00 +BinaryOp 2934 2 1 tensor_202996 tensor_203014 tensor_203015 0=2 +BinaryOp 2935 2 1 tensor_202992 tensor_203004 tensor_203016 0=2 +BinaryOp 2936 2 1 tensor_203016 tensor_203015 tensor_203017 0=0 +GemvA32W4 2937 1 1 tensor_203017 tensor_203021 0=2560 1=2560 11=8 22=16 +Sigmoid 2938 1 1 tensor_203021 tensor_203022 +GemvA32W4 2939 1 1 tensor_203009 tensor_203026 0=2560 1=2560 11=8 22=16 +Split 2940 1 3 tensor_203026 tensor_203027 tensor_203028 tensor_203029 +GemvA32W4 2941 1 1 tensor_203013 tensor_203033 0=2560 1=2560 11=8 22=16 +Split 2942 1 2 tensor_203033 tensor_203034 tensor_203035 +MemoryData 2943 0 1 blocks.27.att.time_first 0=2560 21=0 +BinaryOp 2944 2 1 blocks.27.att.time_first tensor_203027 tensor_203037 0=0 +Split 2945 1 2 tensor_203037 tensor_203038 tensor_203039 +Split 2946 1 3 state_27_3 tensor_203040 tensor_203041 tensor_203042 +BinaryOp 2947 2 1 tensor_203040 tensor_203038 tensor_203043 0=4 +Split 2948 1 2 tensor_203043 tensor_203044 tensor_203045 +BinaryOp 2949 2 1 tensor_203041 tensor_203044 tensor_203046 0=1 +Exp 2950 1 1 tensor_203046 tensor_203047 +Split 2951 1 2 tensor_203047 tensor_203048 tensor_203049 +BinaryOp 2952 2 1 tensor_203039 tensor_203045 tensor_203050 0=1 +Exp 2953 1 1 tensor_203050 tensor_203051 +Split 2954 1 2 tensor_203051 tensor_203052 tensor_203053 +Split 2955 1 2 state_27_1 tensor_203054 tensor_203055 +Split 2956 1 2 state_27_2 tensor_203056 tensor_203057 +BinaryOp 2957 2 1 tensor_203049 tensor_203056 tensor_203058 0=2 +BinaryOp 2958 2 1 tensor_203058 tensor_203053 tensor_203059 0=0 +BinaryOp 2959 2 1 tensor_203052 tensor_203034 tensor_203060 0=2 +BinaryOp 2960 2 1 tensor_203048 tensor_203054 tensor_203061 0=2 +BinaryOp 2961 2 1 tensor_203061 tensor_203060 tensor_203062 0=0 +BinaryOp 2962 2 1 tensor_203062 tensor_203059 tensor_203063 0=3 +MemoryData 2963 0 1 blocks.27.att.time_decay 0=2560 21=0 +BinaryOp 2964 2 1 blocks.27.att.time_decay tensor_203042 tensor_203065 0=0 +Split 2965 1 2 tensor_203065 tensor_203066 tensor_203067 +BinaryOp 2966 2 1 tensor_203066 tensor_203028 tensor_203068 0=4 +Split 2967 1 3 tensor_203068 tensor_203069 tensor_203070 tensor_203071 +BinaryOp 2968 2 1 tensor_203067 tensor_203069 tensor_203072 0=1 +Exp 2969 1 1 tensor_203072 tensor_203073 +Split 2970 1 2 tensor_203073 tensor_203074 tensor_203075 +BinaryOp 2971 2 1 tensor_203029 tensor_203070 tensor_203076 0=1 +Exp 2972 1 1 tensor_203076 tensor_203077 +Split 2973 1 2 tensor_203077 tensor_203078 tensor_203079 +BinaryOp 2974 2 1 tensor_203022 tensor_203063 tensor_203080 0=2 +GemvA32W4 2975 1 1 tensor_203080 tensor_203084 0=2560 1=2560 11=8 22=16 +BinaryOp 2976 2 1 tensor_202988 tensor_203084 tensor_203085 0=0 +BinaryOp 2977 2 1 tensor_203078 tensor_203035 tensor_203086 0=2 +BinaryOp 2978 2 1 tensor_203074 tensor_203055 tensor_203087 0=2 +BinaryOp 2979 2 1 tensor_203087 tensor_203086 tensor_203088 0=0 +BinaryOp 2980 2 1 tensor_203075 tensor_203057 tensor_203089 0=2 +BinaryOp 2981 2 1 tensor_203089 tensor_203079 tensor_203090 0=0 +Split 2982 1 1 tensor_202993 output_state_27_0 +Split 2983 1 1 tensor_203088 output_state_27_1 +Split 2984 1 1 tensor_203090 output_state_27_2 +Split 2985 1 1 tensor_203071 output_state_27_3 +Split 2986 1 2 tensor_203085 tensor_203095 tensor_203096 +LayerNorm 2987 1 1 tensor_203095 tensor_203097 0=2560 1=1.000000e-05 2=1 +Split 2988 1 3 tensor_203097 tensor_203098 tensor_203099 tensor_203100 +Split 2989 1 2 state_27_4 tensor_203101 tensor_203102 +MemoryData 2990 0 1 blocks.27.ffn.time_mix_k 0=2560 21=0 +Split 2991 1 2 blocks.27.ffn.time_mix_k tensor_203104 tensor_203105 +MemoryData 2992 0 1 blocks.27.ffn.time_mix_r 0=2560 21=0 +Split 2993 1 2 blocks.27.ffn.time_mix_r tensor_203107 tensor_203108 +BinaryOp 2994 1 1 tensor_203105 tensor_203109 0=7 1=1 2=1.000000e+00 +BinaryOp 2995 2 1 tensor_203101 tensor_203109 tensor_203110 0=2 +BinaryOp 2996 2 1 tensor_203098 tensor_203104 tensor_203111 0=2 +BinaryOp 2997 2 1 tensor_203111 tensor_203110 tensor_203112 0=0 +BinaryOp 2998 1 1 tensor_203108 tensor_203113 0=7 1=1 2=1.000000e+00 +BinaryOp 2999 2 1 tensor_203102 tensor_203113 tensor_203114 0=2 +BinaryOp 3000 2 1 tensor_203099 tensor_203107 tensor_203115 0=2 +BinaryOp 3001 2 1 tensor_203115 tensor_203114 tensor_203116 0=0 +GemvA32W4 3002 1 1 tensor_203116 tensor_203120 0=2560 1=2560 11=8 22=16 +Sigmoid 3003 1 1 tensor_203120 tensor_203121 +GemvA32W4 3004 1 1 tensor_203112 tensor_203125 0=10240 1=2560 11=8 22=16 +ReLU 3005 1 1 tensor_203125 tensor_203126 +BinaryOp 3006 2 1 tensor_203126 tensor_203126 tensor_203127 0=2 +GemvA32W4 3007 1 1 tensor_203127 tensor_203131 0=2560 1=10240 11=8 22=16 +BinaryOp 3008 2 1 tensor_203121 tensor_203131 tensor_203132 0=2 +BinaryOp 3009 2 1 tensor_203096 tensor_203132 tensor_203133 0=0 +Split 3010 1 1 tensor_203100 output_state_27_4 +Split 3011 1 2 tensor_203133 tensor_203135 tensor_203136 +LayerNorm 3012 1 1 tensor_203135 tensor_203137 0=2560 1=1.000000e-05 2=1 +Split 3013 1 4 tensor_203137 tensor_203138 tensor_203139 tensor_203140 tensor_203141 +Split 3014 1 3 state_28_0 tensor_203142 tensor_203143 tensor_203144 +MemoryData 3015 0 1 blocks.28.att.time_mix_k 0=2560 21=0 +Split 3016 1 2 blocks.28.att.time_mix_k tensor_203146 tensor_203147 +MemoryData 3017 0 1 blocks.28.att.time_mix_v 0=2560 21=0 +Split 3018 1 2 blocks.28.att.time_mix_v tensor_203149 tensor_203150 +MemoryData 3019 0 1 blocks.28.att.time_mix_r 0=2560 21=0 +Split 3020 1 2 blocks.28.att.time_mix_r tensor_203152 tensor_203153 +BinaryOp 3021 1 1 tensor_203147 tensor_203154 0=7 1=1 2=1.000000e+00 +BinaryOp 3022 2 1 tensor_203142 tensor_203154 tensor_203155 0=2 +BinaryOp 3023 2 1 tensor_203138 tensor_203146 tensor_203156 0=2 +BinaryOp 3024 2 1 tensor_203156 tensor_203155 tensor_203157 0=0 +BinaryOp 3025 1 1 tensor_203150 tensor_203158 0=7 1=1 2=1.000000e+00 +BinaryOp 3026 2 1 tensor_203143 tensor_203158 tensor_203159 0=2 +BinaryOp 3027 2 1 tensor_203139 tensor_203149 tensor_203160 0=2 +BinaryOp 3028 2 1 tensor_203160 tensor_203159 tensor_203161 0=0 +BinaryOp 3029 1 1 tensor_203153 tensor_203162 0=7 1=1 2=1.000000e+00 +BinaryOp 3030 2 1 tensor_203144 tensor_203162 tensor_203163 0=2 +BinaryOp 3031 2 1 tensor_203140 tensor_203152 tensor_203164 0=2 +BinaryOp 3032 2 1 tensor_203164 tensor_203163 tensor_203165 0=0 +GemvA32W4 3033 1 1 tensor_203165 tensor_203169 0=2560 1=2560 11=8 22=16 +Sigmoid 3034 1 1 tensor_203169 tensor_203170 +GemvA32W4 3035 1 1 tensor_203157 tensor_203174 0=2560 1=2560 11=8 22=16 +Split 3036 1 3 tensor_203174 tensor_203175 tensor_203176 tensor_203177 +GemvA32W4 3037 1 1 tensor_203161 tensor_203181 0=2560 1=2560 11=8 22=16 +Split 3038 1 2 tensor_203181 tensor_203182 tensor_203183 +MemoryData 3039 0 1 blocks.28.att.time_first 0=2560 21=0 +BinaryOp 3040 2 1 blocks.28.att.time_first tensor_203175 tensor_203185 0=0 +Split 3041 1 2 tensor_203185 tensor_203186 tensor_203187 +Split 3042 1 3 state_28_3 tensor_203188 tensor_203189 tensor_203190 +BinaryOp 3043 2 1 tensor_203188 tensor_203186 tensor_203191 0=4 +Split 3044 1 2 tensor_203191 tensor_203192 tensor_203193 +BinaryOp 3045 2 1 tensor_203189 tensor_203192 tensor_203194 0=1 +Exp 3046 1 1 tensor_203194 tensor_203195 +Split 3047 1 2 tensor_203195 tensor_203196 tensor_203197 +BinaryOp 3048 2 1 tensor_203187 tensor_203193 tensor_203198 0=1 +Exp 3049 1 1 tensor_203198 tensor_203199 +Split 3050 1 2 tensor_203199 tensor_203200 tensor_203201 +Split 3051 1 2 state_28_1 tensor_203202 tensor_203203 +Split 3052 1 2 state_28_2 tensor_203204 tensor_203205 +BinaryOp 3053 2 1 tensor_203197 tensor_203204 tensor_203206 0=2 +BinaryOp 3054 2 1 tensor_203206 tensor_203201 tensor_203207 0=0 +BinaryOp 3055 2 1 tensor_203200 tensor_203182 tensor_203208 0=2 +BinaryOp 3056 2 1 tensor_203196 tensor_203202 tensor_203209 0=2 +BinaryOp 3057 2 1 tensor_203209 tensor_203208 tensor_203210 0=0 +BinaryOp 3058 2 1 tensor_203210 tensor_203207 tensor_203211 0=3 +MemoryData 3059 0 1 blocks.28.att.time_decay 0=2560 21=0 +BinaryOp 3060 2 1 blocks.28.att.time_decay tensor_203190 tensor_203213 0=0 +Split 3061 1 2 tensor_203213 tensor_203214 tensor_203215 +BinaryOp 3062 2 1 tensor_203214 tensor_203176 tensor_203216 0=4 +Split 3063 1 3 tensor_203216 tensor_203217 tensor_203218 tensor_203219 +BinaryOp 3064 2 1 tensor_203215 tensor_203217 tensor_203220 0=1 +Exp 3065 1 1 tensor_203220 tensor_203221 +Split 3066 1 2 tensor_203221 tensor_203222 tensor_203223 +BinaryOp 3067 2 1 tensor_203177 tensor_203218 tensor_203224 0=1 +Exp 3068 1 1 tensor_203224 tensor_203225 +Split 3069 1 2 tensor_203225 tensor_203226 tensor_203227 +BinaryOp 3070 2 1 tensor_203170 tensor_203211 tensor_203228 0=2 +GemvA32W4 3071 1 1 tensor_203228 tensor_203232 0=2560 1=2560 11=8 22=16 +BinaryOp 3072 2 1 tensor_203136 tensor_203232 tensor_203233 0=0 +BinaryOp 3073 2 1 tensor_203226 tensor_203183 tensor_203234 0=2 +BinaryOp 3074 2 1 tensor_203222 tensor_203203 tensor_203235 0=2 +BinaryOp 3075 2 1 tensor_203235 tensor_203234 tensor_203236 0=0 +BinaryOp 3076 2 1 tensor_203223 tensor_203205 tensor_203237 0=2 +BinaryOp 3077 2 1 tensor_203237 tensor_203227 tensor_203238 0=0 +Split 3078 1 1 tensor_203141 output_state_28_0 +Split 3079 1 1 tensor_203236 output_state_28_1 +Split 3080 1 1 tensor_203238 output_state_28_2 +Split 3081 1 1 tensor_203219 output_state_28_3 +Split 3082 1 2 tensor_203233 tensor_203243 tensor_203244 +LayerNorm 3083 1 1 tensor_203243 tensor_203245 0=2560 1=1.000000e-05 2=1 +Split 3084 1 3 tensor_203245 tensor_203246 tensor_203247 tensor_203248 +Split 3085 1 2 state_28_4 tensor_203249 tensor_203250 +MemoryData 3086 0 1 blocks.28.ffn.time_mix_k 0=2560 21=0 +Split 3087 1 2 blocks.28.ffn.time_mix_k tensor_203252 tensor_203253 +MemoryData 3088 0 1 blocks.28.ffn.time_mix_r 0=2560 21=0 +Split 3089 1 2 blocks.28.ffn.time_mix_r tensor_203255 tensor_203256 +BinaryOp 3090 1 1 tensor_203253 tensor_203257 0=7 1=1 2=1.000000e+00 +BinaryOp 3091 2 1 tensor_203249 tensor_203257 tensor_203258 0=2 +BinaryOp 3092 2 1 tensor_203246 tensor_203252 tensor_203259 0=2 +BinaryOp 3093 2 1 tensor_203259 tensor_203258 tensor_203260 0=0 +BinaryOp 3094 1 1 tensor_203256 tensor_203261 0=7 1=1 2=1.000000e+00 +BinaryOp 3095 2 1 tensor_203250 tensor_203261 tensor_203262 0=2 +BinaryOp 3096 2 1 tensor_203247 tensor_203255 tensor_203263 0=2 +BinaryOp 3097 2 1 tensor_203263 tensor_203262 tensor_203264 0=0 +GemvA32W4 3098 1 1 tensor_203264 tensor_203268 0=2560 1=2560 11=8 22=16 +Sigmoid 3099 1 1 tensor_203268 tensor_203269 +GemvA32W4 3100 1 1 tensor_203260 tensor_203273 0=10240 1=2560 11=8 22=16 +ReLU 3101 1 1 tensor_203273 tensor_203274 +BinaryOp 3102 2 1 tensor_203274 tensor_203274 tensor_203275 0=2 +GemvA32W4 3103 1 1 tensor_203275 tensor_203279 0=2560 1=10240 11=8 22=16 +BinaryOp 3104 2 1 tensor_203269 tensor_203279 tensor_203280 0=2 +BinaryOp 3105 2 1 tensor_203244 tensor_203280 tensor_203281 0=0 +Split 3106 1 1 tensor_203248 output_state_28_4 +Split 3107 1 2 tensor_203281 tensor_203283 tensor_203284 +LayerNorm 3108 1 1 tensor_203283 tensor_203285 0=2560 1=1.000000e-05 2=1 +Split 3109 1 4 tensor_203285 tensor_203286 tensor_203287 tensor_203288 tensor_203289 +Split 3110 1 3 state_29_0 tensor_203290 tensor_203291 tensor_203292 +MemoryData 3111 0 1 blocks.29.att.time_mix_k 0=2560 21=0 +Split 3112 1 2 blocks.29.att.time_mix_k tensor_203294 tensor_203295 +MemoryData 3113 0 1 blocks.29.att.time_mix_v 0=2560 21=0 +Split 3114 1 2 blocks.29.att.time_mix_v tensor_203297 tensor_203298 +MemoryData 3115 0 1 blocks.29.att.time_mix_r 0=2560 21=0 +Split 3116 1 2 blocks.29.att.time_mix_r tensor_203300 tensor_203301 +BinaryOp 3117 1 1 tensor_203295 tensor_203302 0=7 1=1 2=1.000000e+00 +BinaryOp 3118 2 1 tensor_203290 tensor_203302 tensor_203303 0=2 +BinaryOp 3119 2 1 tensor_203286 tensor_203294 tensor_203304 0=2 +BinaryOp 3120 2 1 tensor_203304 tensor_203303 tensor_203305 0=0 +BinaryOp 3121 1 1 tensor_203298 tensor_203306 0=7 1=1 2=1.000000e+00 +BinaryOp 3122 2 1 tensor_203291 tensor_203306 tensor_203307 0=2 +BinaryOp 3123 2 1 tensor_203287 tensor_203297 tensor_203308 0=2 +BinaryOp 3124 2 1 tensor_203308 tensor_203307 tensor_203309 0=0 +BinaryOp 3125 1 1 tensor_203301 tensor_203310 0=7 1=1 2=1.000000e+00 +BinaryOp 3126 2 1 tensor_203292 tensor_203310 tensor_203311 0=2 +BinaryOp 3127 2 1 tensor_203288 tensor_203300 tensor_203312 0=2 +BinaryOp 3128 2 1 tensor_203312 tensor_203311 tensor_203313 0=0 +GemvA32W4 3129 1 1 tensor_203313 tensor_203317 0=2560 1=2560 11=8 22=16 +Sigmoid 3130 1 1 tensor_203317 tensor_203318 +GemvA32W4 3131 1 1 tensor_203305 tensor_203322 0=2560 1=2560 11=8 22=16 +Split 3132 1 3 tensor_203322 tensor_203323 tensor_203324 tensor_203325 +GemvA32W4 3133 1 1 tensor_203309 tensor_203329 0=2560 1=2560 11=8 22=16 +Split 3134 1 2 tensor_203329 tensor_203330 tensor_203331 +MemoryData 3135 0 1 blocks.29.att.time_first 0=2560 21=0 +BinaryOp 3136 2 1 blocks.29.att.time_first tensor_203323 tensor_203333 0=0 +Split 3137 1 2 tensor_203333 tensor_203334 tensor_203335 +Split 3138 1 3 state_29_3 tensor_203336 tensor_203337 tensor_203338 +BinaryOp 3139 2 1 tensor_203336 tensor_203334 tensor_203339 0=4 +Split 3140 1 2 tensor_203339 tensor_203340 tensor_203341 +BinaryOp 3141 2 1 tensor_203337 tensor_203340 tensor_203342 0=1 +Exp 3142 1 1 tensor_203342 tensor_203343 +Split 3143 1 2 tensor_203343 tensor_203344 tensor_203345 +BinaryOp 3144 2 1 tensor_203335 tensor_203341 tensor_203346 0=1 +Exp 3145 1 1 tensor_203346 tensor_203347 +Split 3146 1 2 tensor_203347 tensor_203348 tensor_203349 +Split 3147 1 2 state_29_1 tensor_203350 tensor_203351 +Split 3148 1 2 state_29_2 tensor_203352 tensor_203353 +BinaryOp 3149 2 1 tensor_203345 tensor_203352 tensor_203354 0=2 +BinaryOp 3150 2 1 tensor_203354 tensor_203349 tensor_203355 0=0 +BinaryOp 3151 2 1 tensor_203348 tensor_203330 tensor_203356 0=2 +BinaryOp 3152 2 1 tensor_203344 tensor_203350 tensor_203357 0=2 +BinaryOp 3153 2 1 tensor_203357 tensor_203356 tensor_203358 0=0 +BinaryOp 3154 2 1 tensor_203358 tensor_203355 tensor_203359 0=3 +MemoryData 3155 0 1 blocks.29.att.time_decay 0=2560 21=0 +BinaryOp 3156 2 1 blocks.29.att.time_decay tensor_203338 tensor_203361 0=0 +Split 3157 1 2 tensor_203361 tensor_203362 tensor_203363 +BinaryOp 3158 2 1 tensor_203362 tensor_203324 tensor_203364 0=4 +Split 3159 1 3 tensor_203364 tensor_203365 tensor_203366 tensor_203367 +BinaryOp 3160 2 1 tensor_203363 tensor_203365 tensor_203368 0=1 +Exp 3161 1 1 tensor_203368 tensor_203369 +Split 3162 1 2 tensor_203369 tensor_203370 tensor_203371 +BinaryOp 3163 2 1 tensor_203325 tensor_203366 tensor_203372 0=1 +Exp 3164 1 1 tensor_203372 tensor_203373 +Split 3165 1 2 tensor_203373 tensor_203374 tensor_203375 +BinaryOp 3166 2 1 tensor_203318 tensor_203359 tensor_203376 0=2 +GemvA32W4 3167 1 1 tensor_203376 tensor_203380 0=2560 1=2560 11=8 22=16 +BinaryOp 3168 2 1 tensor_203284 tensor_203380 tensor_203381 0=0 +BinaryOp 3169 2 1 tensor_203374 tensor_203331 tensor_203382 0=2 +BinaryOp 3170 2 1 tensor_203370 tensor_203351 tensor_203383 0=2 +BinaryOp 3171 2 1 tensor_203383 tensor_203382 tensor_203384 0=0 +BinaryOp 3172 2 1 tensor_203371 tensor_203353 tensor_203385 0=2 +BinaryOp 3173 2 1 tensor_203385 tensor_203375 tensor_203386 0=0 +Split 3174 1 1 tensor_203289 output_state_29_0 +Split 3175 1 1 tensor_203384 output_state_29_1 +Split 3176 1 1 tensor_203386 output_state_29_2 +Split 3177 1 1 tensor_203367 output_state_29_3 +Split 3178 1 2 tensor_203381 tensor_203391 tensor_203392 +LayerNorm 3179 1 1 tensor_203391 tensor_203393 0=2560 1=1.000000e-05 2=1 +Split 3180 1 3 tensor_203393 tensor_203394 tensor_203395 tensor_203396 +Split 3181 1 2 state_29_4 tensor_203397 tensor_203398 +MemoryData 3182 0 1 blocks.29.ffn.time_mix_k 0=2560 21=0 +Split 3183 1 2 blocks.29.ffn.time_mix_k tensor_203400 tensor_203401 +MemoryData 3184 0 1 blocks.29.ffn.time_mix_r 0=2560 21=0 +Split 3185 1 2 blocks.29.ffn.time_mix_r tensor_203403 tensor_203404 +BinaryOp 3186 1 1 tensor_203401 tensor_203405 0=7 1=1 2=1.000000e+00 +BinaryOp 3187 2 1 tensor_203397 tensor_203405 tensor_203406 0=2 +BinaryOp 3188 2 1 tensor_203394 tensor_203400 tensor_203407 0=2 +BinaryOp 3189 2 1 tensor_203407 tensor_203406 tensor_203408 0=0 +BinaryOp 3190 1 1 tensor_203404 tensor_203409 0=7 1=1 2=1.000000e+00 +BinaryOp 3191 2 1 tensor_203398 tensor_203409 tensor_203410 0=2 +BinaryOp 3192 2 1 tensor_203395 tensor_203403 tensor_203411 0=2 +BinaryOp 3193 2 1 tensor_203411 tensor_203410 tensor_203412 0=0 +GemvA32W4 3194 1 1 tensor_203412 tensor_203416 0=2560 1=2560 11=8 22=16 +Sigmoid 3195 1 1 tensor_203416 tensor_203417 +GemvA32W4 3196 1 1 tensor_203408 tensor_203421 0=10240 1=2560 11=8 22=16 +ReLU 3197 1 1 tensor_203421 tensor_203422 +BinaryOp 3198 2 1 tensor_203422 tensor_203422 tensor_203423 0=2 +GemvA32W4 3199 1 1 tensor_203423 tensor_203427 0=2560 1=10240 11=8 22=16 +BinaryOp 3200 2 1 tensor_203417 tensor_203427 tensor_203428 0=2 +BinaryOp 3201 2 1 tensor_203392 tensor_203428 tensor_203429 0=0 +Split 3202 1 1 tensor_203396 output_state_29_4 +Split 3203 1 2 tensor_203429 tensor_203431 tensor_203432 +LayerNorm 3204 1 1 tensor_203431 tensor_203433 0=2560 1=1.000000e-05 2=1 +Split 3205 1 4 tensor_203433 tensor_203434 tensor_203435 tensor_203436 tensor_203437 +Split 3206 1 3 state_30_0 tensor_203438 tensor_203439 tensor_203440 +MemoryData 3207 0 1 blocks.30.att.time_mix_k 0=2560 21=0 +Split 3208 1 2 blocks.30.att.time_mix_k tensor_203442 tensor_203443 +MemoryData 3209 0 1 blocks.30.att.time_mix_v 0=2560 21=0 +Split 3210 1 2 blocks.30.att.time_mix_v tensor_203445 tensor_203446 +MemoryData 3211 0 1 blocks.30.att.time_mix_r 0=2560 21=0 +Split 3212 1 2 blocks.30.att.time_mix_r tensor_203448 tensor_203449 +BinaryOp 3213 1 1 tensor_203443 tensor_203450 0=7 1=1 2=1.000000e+00 +BinaryOp 3214 2 1 tensor_203438 tensor_203450 tensor_203451 0=2 +BinaryOp 3215 2 1 tensor_203434 tensor_203442 tensor_203452 0=2 +BinaryOp 3216 2 1 tensor_203452 tensor_203451 tensor_203453 0=0 +BinaryOp 3217 1 1 tensor_203446 tensor_203454 0=7 1=1 2=1.000000e+00 +BinaryOp 3218 2 1 tensor_203439 tensor_203454 tensor_203455 0=2 +BinaryOp 3219 2 1 tensor_203435 tensor_203445 tensor_203456 0=2 +BinaryOp 3220 2 1 tensor_203456 tensor_203455 tensor_203457 0=0 +BinaryOp 3221 1 1 tensor_203449 tensor_203458 0=7 1=1 2=1.000000e+00 +BinaryOp 3222 2 1 tensor_203440 tensor_203458 tensor_203459 0=2 +BinaryOp 3223 2 1 tensor_203436 tensor_203448 tensor_203460 0=2 +BinaryOp 3224 2 1 tensor_203460 tensor_203459 tensor_203461 0=0 +GemvA32W4 3225 1 1 tensor_203461 tensor_203465 0=2560 1=2560 11=8 22=16 +Sigmoid 3226 1 1 tensor_203465 tensor_203466 +GemvA32W4 3227 1 1 tensor_203453 tensor_203470 0=2560 1=2560 11=8 22=16 +Split 3228 1 3 tensor_203470 tensor_203471 tensor_203472 tensor_203473 +GemvA32W4 3229 1 1 tensor_203457 tensor_203477 0=2560 1=2560 11=8 22=16 +Split 3230 1 2 tensor_203477 tensor_203478 tensor_203479 +MemoryData 3231 0 1 blocks.30.att.time_first 0=2560 21=0 +BinaryOp 3232 2 1 blocks.30.att.time_first tensor_203471 tensor_203481 0=0 +Split 3233 1 2 tensor_203481 tensor_203482 tensor_203483 +Split 3234 1 3 state_30_3 tensor_203484 tensor_203485 tensor_203486 +BinaryOp 3235 2 1 tensor_203484 tensor_203482 tensor_203487 0=4 +Split 3236 1 2 tensor_203487 tensor_203488 tensor_203489 +BinaryOp 3237 2 1 tensor_203485 tensor_203488 tensor_203490 0=1 +Exp 3238 1 1 tensor_203490 tensor_203491 +Split 3239 1 2 tensor_203491 tensor_203492 tensor_203493 +BinaryOp 3240 2 1 tensor_203483 tensor_203489 tensor_203494 0=1 +Exp 3241 1 1 tensor_203494 tensor_203495 +Split 3242 1 2 tensor_203495 tensor_203496 tensor_203497 +Split 3243 1 2 state_30_1 tensor_203498 tensor_203499 +Split 3244 1 2 state_30_2 tensor_203500 tensor_203501 +BinaryOp 3245 2 1 tensor_203493 tensor_203500 tensor_203502 0=2 +BinaryOp 3246 2 1 tensor_203502 tensor_203497 tensor_203503 0=0 +BinaryOp 3247 2 1 tensor_203496 tensor_203478 tensor_203504 0=2 +BinaryOp 3248 2 1 tensor_203492 tensor_203498 tensor_203505 0=2 +BinaryOp 3249 2 1 tensor_203505 tensor_203504 tensor_203506 0=0 +BinaryOp 3250 2 1 tensor_203506 tensor_203503 tensor_203507 0=3 +MemoryData 3251 0 1 blocks.30.att.time_decay 0=2560 21=0 +BinaryOp 3252 2 1 blocks.30.att.time_decay tensor_203486 tensor_203509 0=0 +Split 3253 1 2 tensor_203509 tensor_203510 tensor_203511 +BinaryOp 3254 2 1 tensor_203510 tensor_203472 tensor_203512 0=4 +Split 3255 1 3 tensor_203512 tensor_203513 tensor_203514 tensor_203515 +BinaryOp 3256 2 1 tensor_203511 tensor_203513 tensor_203516 0=1 +Exp 3257 1 1 tensor_203516 tensor_203517 +Split 3258 1 2 tensor_203517 tensor_203518 tensor_203519 +BinaryOp 3259 2 1 tensor_203473 tensor_203514 tensor_203520 0=1 +Exp 3260 1 1 tensor_203520 tensor_203521 +Split 3261 1 2 tensor_203521 tensor_203522 tensor_203523 +BinaryOp 3262 2 1 tensor_203466 tensor_203507 tensor_203524 0=2 +GemvA32W4 3263 1 1 tensor_203524 tensor_203528 0=2560 1=2560 11=8 22=16 +BinaryOp 3264 2 1 tensor_203432 tensor_203528 tensor_203529 0=0 +BinaryOp 3265 2 1 tensor_203522 tensor_203479 tensor_203530 0=2 +BinaryOp 3266 2 1 tensor_203518 tensor_203499 tensor_203531 0=2 +BinaryOp 3267 2 1 tensor_203531 tensor_203530 tensor_203532 0=0 +BinaryOp 3268 2 1 tensor_203519 tensor_203501 tensor_203533 0=2 +BinaryOp 3269 2 1 tensor_203533 tensor_203523 tensor_203534 0=0 +Split 3270 1 1 tensor_203437 output_state_30_0 +Split 3271 1 1 tensor_203532 output_state_30_1 +Split 3272 1 1 tensor_203534 output_state_30_2 +Split 3273 1 1 tensor_203515 output_state_30_3 +Split 3274 1 2 tensor_203529 tensor_203539 tensor_203540 +LayerNorm 3275 1 1 tensor_203539 tensor_203541 0=2560 1=1.000000e-05 2=1 +Split 3276 1 3 tensor_203541 tensor_203542 tensor_203543 tensor_203544 +Split 3277 1 2 state_30_4 tensor_203545 tensor_203546 +MemoryData 3278 0 1 blocks.30.ffn.time_mix_k 0=2560 21=0 +Split 3279 1 2 blocks.30.ffn.time_mix_k tensor_203548 tensor_203549 +MemoryData 3280 0 1 blocks.30.ffn.time_mix_r 0=2560 21=0 +Split 3281 1 2 blocks.30.ffn.time_mix_r tensor_203551 tensor_203552 +BinaryOp 3282 1 1 tensor_203549 tensor_203553 0=7 1=1 2=1.000000e+00 +BinaryOp 3283 2 1 tensor_203545 tensor_203553 tensor_203554 0=2 +BinaryOp 3284 2 1 tensor_203542 tensor_203548 tensor_203555 0=2 +BinaryOp 3285 2 1 tensor_203555 tensor_203554 tensor_203556 0=0 +BinaryOp 3286 1 1 tensor_203552 tensor_203557 0=7 1=1 2=1.000000e+00 +BinaryOp 3287 2 1 tensor_203546 tensor_203557 tensor_203558 0=2 +BinaryOp 3288 2 1 tensor_203543 tensor_203551 tensor_203559 0=2 +BinaryOp 3289 2 1 tensor_203559 tensor_203558 tensor_203560 0=0 +GemvA32W4 3290 1 1 tensor_203560 tensor_203564 0=2560 1=2560 11=8 22=16 +Sigmoid 3291 1 1 tensor_203564 tensor_203565 +GemvA32W4 3292 1 1 tensor_203556 tensor_203569 0=10240 1=2560 11=8 22=16 +ReLU 3293 1 1 tensor_203569 tensor_203570 +BinaryOp 3294 2 1 tensor_203570 tensor_203570 tensor_203571 0=2 +GemvA32W4 3295 1 1 tensor_203571 tensor_203575 0=2560 1=10240 11=8 22=16 +BinaryOp 3296 2 1 tensor_203565 tensor_203575 tensor_203576 0=2 +BinaryOp 3297 2 1 tensor_203540 tensor_203576 tensor_203577 0=0 +Split 3298 1 1 tensor_203544 output_state_30_4 +Split 3299 1 2 tensor_203577 tensor_203579 tensor_203580 +LayerNorm 3300 1 1 tensor_203579 tensor_203581 0=2560 1=1.000000e-05 2=1 +Split 3301 1 4 tensor_203581 tensor_203582 tensor_203583 tensor_203584 tensor_203585 +Split 3302 1 3 state_31_0 tensor_203586 tensor_203587 tensor_203588 +MemoryData 3303 0 1 blocks.31.att.time_mix_k 0=2560 21=0 +Split 3304 1 2 blocks.31.att.time_mix_k tensor_203590 tensor_203591 +MemoryData 3305 0 1 blocks.31.att.time_mix_v 0=2560 21=0 +Split 3306 1 2 blocks.31.att.time_mix_v tensor_203593 tensor_203594 +MemoryData 3307 0 1 blocks.31.att.time_mix_r 0=2560 21=0 +Split 3308 1 2 blocks.31.att.time_mix_r tensor_203596 tensor_203597 +BinaryOp 3309 1 1 tensor_203591 tensor_203598 0=7 1=1 2=1.000000e+00 +BinaryOp 3310 2 1 tensor_203586 tensor_203598 tensor_203599 0=2 +BinaryOp 3311 2 1 tensor_203582 tensor_203590 tensor_203600 0=2 +BinaryOp 3312 2 1 tensor_203600 tensor_203599 tensor_203601 0=0 +BinaryOp 3313 1 1 tensor_203594 tensor_203602 0=7 1=1 2=1.000000e+00 +BinaryOp 3314 2 1 tensor_203587 tensor_203602 tensor_203603 0=2 +BinaryOp 3315 2 1 tensor_203583 tensor_203593 tensor_203604 0=2 +BinaryOp 3316 2 1 tensor_203604 tensor_203603 tensor_203605 0=0 +BinaryOp 3317 1 1 tensor_203597 tensor_203606 0=7 1=1 2=1.000000e+00 +BinaryOp 3318 2 1 tensor_203588 tensor_203606 tensor_203607 0=2 +BinaryOp 3319 2 1 tensor_203584 tensor_203596 tensor_203608 0=2 +BinaryOp 3320 2 1 tensor_203608 tensor_203607 tensor_203609 0=0 +GemvA32W4 3321 1 1 tensor_203609 tensor_203613 0=2560 1=2560 11=8 22=16 +Sigmoid 3322 1 1 tensor_203613 tensor_203614 +GemvA32W4 3323 1 1 tensor_203601 tensor_203618 0=2560 1=2560 11=8 22=16 +Split 3324 1 3 tensor_203618 tensor_203619 tensor_203620 tensor_203621 +GemvA32W4 3325 1 1 tensor_203605 tensor_203625 0=2560 1=2560 11=8 22=16 +Split 3326 1 2 tensor_203625 tensor_203626 tensor_203627 +MemoryData 3327 0 1 blocks.31.att.time_first 0=2560 21=0 +BinaryOp 3328 2 1 blocks.31.att.time_first tensor_203619 tensor_203629 0=0 +Split 3329 1 2 tensor_203629 tensor_203630 tensor_203631 +Split 3330 1 3 state_31_3 tensor_203632 tensor_203633 tensor_203634 +BinaryOp 3331 2 1 tensor_203632 tensor_203630 tensor_203635 0=4 +Split 3332 1 2 tensor_203635 tensor_203636 tensor_203637 +BinaryOp 3333 2 1 tensor_203633 tensor_203636 tensor_203638 0=1 +Exp 3334 1 1 tensor_203638 tensor_203639 +Split 3335 1 2 tensor_203639 tensor_203640 tensor_203641 +BinaryOp 3336 2 1 tensor_203631 tensor_203637 tensor_203642 0=1 +Exp 3337 1 1 tensor_203642 tensor_203643 +Split 3338 1 2 tensor_203643 tensor_203644 tensor_203645 +Split 3339 1 2 state_31_1 tensor_203646 tensor_203647 +Split 3340 1 2 state_31_2 tensor_203648 tensor_203649 +BinaryOp 3341 2 1 tensor_203641 tensor_203648 tensor_203650 0=2 +BinaryOp 3342 2 1 tensor_203650 tensor_203645 tensor_203651 0=0 +BinaryOp 3343 2 1 tensor_203644 tensor_203626 tensor_203652 0=2 +BinaryOp 3344 2 1 tensor_203640 tensor_203646 tensor_203653 0=2 +BinaryOp 3345 2 1 tensor_203653 tensor_203652 tensor_203654 0=0 +BinaryOp 3346 2 1 tensor_203654 tensor_203651 tensor_203655 0=3 +MemoryData 3347 0 1 blocks.31.att.time_decay 0=2560 21=0 +BinaryOp 3348 2 1 blocks.31.att.time_decay tensor_203634 tensor_203657 0=0 +Split 3349 1 2 tensor_203657 tensor_203658 tensor_203659 +BinaryOp 3350 2 1 tensor_203658 tensor_203620 tensor_203660 0=4 +Split 3351 1 3 tensor_203660 tensor_203661 tensor_203662 tensor_203663 +BinaryOp 3352 2 1 tensor_203659 tensor_203661 tensor_203664 0=1 +Exp 3353 1 1 tensor_203664 tensor_203665 +Split 3354 1 2 tensor_203665 tensor_203666 tensor_203667 +BinaryOp 3355 2 1 tensor_203621 tensor_203662 tensor_203668 0=1 +Exp 3356 1 1 tensor_203668 tensor_203669 +Split 3357 1 2 tensor_203669 tensor_203670 tensor_203671 +BinaryOp 3358 2 1 tensor_203614 tensor_203655 tensor_203672 0=2 +GemvA32W4 3359 1 1 tensor_203672 tensor_203676 0=2560 1=2560 11=8 22=16 +BinaryOp 3360 2 1 tensor_203580 tensor_203676 tensor_203677 0=0 +BinaryOp 3361 2 1 tensor_203670 tensor_203627 tensor_203678 0=2 +BinaryOp 3362 2 1 tensor_203666 tensor_203647 tensor_203679 0=2 +BinaryOp 3363 2 1 tensor_203679 tensor_203678 tensor_203680 0=0 +BinaryOp 3364 2 1 tensor_203667 tensor_203649 tensor_203681 0=2 +BinaryOp 3365 2 1 tensor_203681 tensor_203671 tensor_203682 0=0 +Split 3366 1 1 tensor_203585 output_state_31_0 +Split 3367 1 1 tensor_203680 output_state_31_1 +Split 3368 1 1 tensor_203682 output_state_31_2 +Split 3369 1 1 tensor_203663 output_state_31_3 +Split 3370 1 2 tensor_203677 tensor_203687 tensor_203688 +LayerNorm 3371 1 1 tensor_203687 tensor_203689 0=2560 1=1.000000e-05 2=1 +Split 3372 1 3 tensor_203689 tensor_203690 tensor_203691 tensor_203692 +Split 3373 1 2 state_31_4 tensor_203693 tensor_203694 +MemoryData 3374 0 1 blocks.31.ffn.time_mix_k 0=2560 21=0 +Split 3375 1 2 blocks.31.ffn.time_mix_k tensor_203696 tensor_203697 +MemoryData 3376 0 1 blocks.31.ffn.time_mix_r 0=2560 21=0 +Split 3377 1 2 blocks.31.ffn.time_mix_r tensor_203699 tensor_203700 +BinaryOp 3378 1 1 tensor_203697 tensor_203701 0=7 1=1 2=1.000000e+00 +BinaryOp 3379 2 1 tensor_203693 tensor_203701 tensor_203702 0=2 +BinaryOp 3380 2 1 tensor_203690 tensor_203696 tensor_203703 0=2 +BinaryOp 3381 2 1 tensor_203703 tensor_203702 tensor_203704 0=0 +BinaryOp 3382 1 1 tensor_203700 tensor_203705 0=7 1=1 2=1.000000e+00 +BinaryOp 3383 2 1 tensor_203694 tensor_203705 tensor_203706 0=2 +BinaryOp 3384 2 1 tensor_203691 tensor_203699 tensor_203707 0=2 +BinaryOp 3385 2 1 tensor_203707 tensor_203706 tensor_203708 0=0 +GemvA32W4 3386 1 1 tensor_203708 tensor_203712 0=2560 1=2560 11=8 22=16 +Sigmoid 3387 1 1 tensor_203712 tensor_203713 +GemvA32W4 3388 1 1 tensor_203704 tensor_203717 0=10240 1=2560 11=8 22=16 +ReLU 3389 1 1 tensor_203717 tensor_203718 +BinaryOp 3390 2 1 tensor_203718 tensor_203718 tensor_203719 0=2 +GemvA32W4 3391 1 1 tensor_203719 tensor_203723 0=2560 1=10240 11=8 22=16 +BinaryOp 3392 2 1 tensor_203713 tensor_203723 tensor_203724 0=2 +BinaryOp 3393 2 1 tensor_203688 tensor_203724 tensor_203725 0=0 +Split 3394 1 1 tensor_203692 output_state_31_4 +LayerNorm 3395 1 1 tensor_203725 tensor_203727 0=2560 1=1.000000e-05 2=1 +GemvA32W8 3396 1 1 tensor_203727 tensor_203731 0=65536 1=2560 +Split 3397 1 1 tensor_203731 output