请问一下，batch_size上中的每条数据的长度大概是多少？以及，该项目是不是对长文本无法起到加速效果？实测，A100 80G，batch_size为24，每条数据的长度控制在2000个token以上，推理耗费的时间比普通的transformers的要长？
· Sign up or log in to comment
