openbmb

/

MiniCPM-Llama3-V-2_5

like 1.35k

背景信息
模型所有文件都已经被下载且验证，开启了trust-remote-code，载入器：Transformers，load in 4 bit，use_double_quant，compute_dtype：float16，quant_type ：nf4

问题
在执行推理时，推理失败且报错如下：
Traceback (most recent call last):
File "/content/text-generation-webui/modules/callbacks.py", line 61, in gentask
ret = self.mfunc(callback=_callback, *args, **self.kwargs)
File "/content/text-generation-webui/modules/text_generation.py", line 376, in generate_with_callback
shared.model.generate(**kwargs)
File "/root/.cache/huggingface/modules/transformers_modules/openbmb_MiniCPM-Llama3-V-2_5/modeling_minicpmv.py", line 327, in generate
assert input_id_list is not None
AssertionError
Output generated in 0.81 seconds (0.00 tokens/s, 0 tokens, context 59, seed 1890816148)

尝试解决发现，这个input_id_list需要模型的tokenizer将输入文本token化并传值给它，可能涉及到改动webui的代码，然后就不会了……

我只是一个普通本科软工专业学生，并不是AI专业领域的开发者。但我很喜欢研究一些好玩的ai产品，还请大佬们能多多指教下😭