在SillyTavern中使用该模型
我今天在SillyTavern-staging分支高强度用了一天,对于思考标记,可以在正则拓展中,使用作者提供的正则去除思考标记,注意要同时打开仅格式显示和仅格式提示词。
SillyTavern-staging分支对于推理类模型已支持单独展示推理过程,但是这个功能似乎是因为openai/deepseek的推理模型的推理内容是在响应的另一个字段中展示的,对于ollama做为后端的模型,仍需在正则中去除
此外,如果使用聊天补全,对于人设复杂的卡,会产生大量的幻觉,比如在第一轮对话中,它会自己思考四轮对话前的内容,导致明明两个人第一次见面,在它生成的内容中已经相处很久了,我尝试了多种修改预设的手段都没能消除这种幻觉。
当前,我推荐的方式应该是使用文本补全API,基本不再出现幻觉问题,产生的新问题是 标签只有结束的没有开头,我猜和文本补全的预设相关,但是还没找到解决的办法
多谢分享,可以请教一下具体操作吗?
ST的正则部分有三栏:
查找正则表达式
替换为
修剪掉
作者提供的代码好像需要按格式分开放进去?
多谢分享,可以请教一下具体操作吗?
ST的正则部分有三栏:
查找正则表达式
替换为
修剪掉
作者提供的代码好像需要按格式分开放进去?
查找后直接替换为空即可
试了一下明白了,就是把【/[\s\S]*?</think>/gi】放在查找正则表达式的部分
多谢解答
试了一下明白了,就是把【/[\s\S]*?</think>/gi】放在查找正则表达式的部分
多谢解答
更新,除了这种方式,还可以在 最顶部图标A 右下有 Reasoning Formatting ,打开auto -parsing即可
我今天在SillyTavern-staging分支高强度用了一天,对于思考标记,可以在正则拓展中,使用作者提供的正则去除思考标记,注意要同时打开仅格式显示和仅格式提示词。
SillyTavern-staging分支对于推理类模型已支持单独展示推理过程,但是这个功能似乎是因为openai/deepseek的推理模型的推理内容是在响应的另一个字段中展示的,对于ollama做为后端的模型,仍需在正则中去除
此外,如果使用聊天补全,对于人设复杂的卡,会产生大量的幻觉,比如在第一轮对话中,它会自己思考四轮对话前的内容,导致明明两个人第一次见面,在它生成的内容中已经相处很久了,我尝试了多种修改预设的手段都没能消除这种幻觉。
当前,我推荐的方式应该是使用文本补全API,基本不再出现幻觉问题,产生的新问题是 标签只有结束的没有开头,我猜和文本补全的预设相关,但是还没找到解决的办法
能否请教一下文本补全的预设该如何配置?