集群上离线加载模型
#37
by
sindri101
- opened
如题，集群的计算节点无法联网，如何离线加载ChatGLM3-6B。
我尝试直接把 "Files and versions"下面的文件手动下载到集群上，但输出以下报错：
huggingface_hub.utils._errors.LocalEntryNotFoundError: Connection error, and we cannot find the requested files in the disk cache. Please try again or make sure your Internet connection is on.
我确认本地路径是正确的，但仍然无法加载
你把所有文件都git到本地就行了，按照GitHub的demo都是离线的 正常来说不会需要链接hf hub
zRzRzRzRzRzRzR
changed discussion status to
closed
我也遇到了类似的无法离线加载的问题，但是我将 tokenizer_config.json 中 auto_map的 AutoTokenizer 字段的前缀 "THUDM/chatglm3-6b-- "去除，即可正常加载。不知道是不是这个原因。
我也遇到了类似的无法离线加载的问题，但是我将 tokenizer_config.json 中 auto_map的 AutoTokenizer 字段的前缀 "THUDM/chatglm3-6b-- "去除，即可正常加载。不知道是不是这个原因。
感谢大佬，成功解决