Edit model card

so-vits-svc4.1-Tim_Cook

官方项目地址:https://github.com/svc-develop-team/so-vits-svc

如何使用?How to use?

  1. install requirements
  2. download pretrain model checkpoint_best_legacy_500.pt and put it into ./pretrain
  3. put Tim_Cook.pth, feature_and_index.pkl, 'kmeans_10000.pt' into ./logs/44k
  4. put config.jsoninto ./config
  5. enjoy!

以下引用官方文档

推理

使用 inference_main.py

# 
python inference_main.py -m "logs/44k/G_30400.pth" -c "configs/config.json" -n "君の知らない物語-src.wav" -t 0 -s "nen"

必填项部分:

  • -m | --model_path:模型路径
  • -c | --config_path:配置文件路径
  • -n | --clean_names:wav 文件名列表,放在 raw 文件夹下
  • -t | --trans:音高调整,支持正负(半音)
  • -s | --spk_list:合成目标说话人名称
  • -cl | --clip:音频强制切片,默认0为自动切片,单位为秒/s

可选项部分:部分具体见下一节

  • -lg | --linear_gradient:两段音频切片的交叉淡入长度,如果强制切片后出现人声不连贯可调整该数值,如果连贯建议采用默认值0,单位为秒
  • -f0p | --f0_predictor:选择F0预测器,可选择crepe,pm,dio,harvest,默认为pm(注意:crepe为原F0使用均值滤波器)
  • -a | --auto_predict_f0:语音转换自动预测音高,转换歌声时不要打开这个会严重跑调
  • -cm | --cluster_model_path:聚类模型或特征检索索引路径,如果没有训练聚类或特征检索则随便填
  • -cr | --cluster_infer_ratio:聚类方案或特征检索占比,范围0-1,若没有训练聚类模型或特征检索则默认0即可
  • -eh | --enhance:是否使用NSF_HIFIGAN增强器,该选项对部分训练集少的模型有一定的音质增强效果,但是对训练好的模型有反面效果,默认关闭
  • -shd | --shallow_diffusion:是否使用浅层扩散,使用后可解决一部分电音问题,默认关闭,该选项打开时,NSF_HIFIGAN增强器将会被禁止
  • -usm | --use_spk_mix:是否使用角色融合/动态声线融合
  • -lea | --loudness_envelope_adjustment:输入源响度包络替换输出响度包络融合比例,越靠近1越使用输出响度包络
  • -fr | --feature_retrieval:是否使用特征检索,如果使用聚类模型将被禁用,且cm与cr参数将会变成特征检索的索引路径与混合比例

浅扩散设置:

  • -dm | --diffusion_model_path:扩散模型路径
  • -dc | --diffusion_config_path:扩散模型配置文件路径
  • -ks | --k_step:扩散步数,越大越接近扩散模型的结果,默认100
  • -od | --only_diffusion:纯扩散模式,该模式不会加载sovits模型,以扩散模型推理
  • -se | --second_encoding:二次编码,浅扩散前会对原始音频进行二次编码,玄学选项,有时候效果好,有时候效果差

注意

如果使用whisper-ppg 声音编码器进行推理,需要将--clip设置为25,-lg设置为1。否则将无法正常推理。

🤔 可选项

如果前面的效果已经满意,或者没看明白下面在讲啥,那后面的内容都可以忽略,不影响模型使用(这些可选项影响比较小,可能在某些特定数据上有点效果,但大部分情况似乎都感知不太明显)

自动f0预测

4.0模型训练过程会训练一个f0预测器,对于语音转换可以开启自动音高预测,如果效果不好也可以使用手动的,但转换歌声时请不要启用此功能!!!会严重跑调!!

  • 在inference_main中设置auto_predict_f0为true即可

聚类音色泄漏控制

介绍:聚类方案可以减小音色泄漏,使得模型训练出来更像目标的音色(但其实不是特别明显),但是单纯的聚类方案会降低模型的咬字(会口齿不清)(这个很明显),本模型采用了融合的方式,可以线性控制聚类方案与非聚类方案的占比,也就是可以手动在"像目标音色" 和 "咬字清晰" 之间调整比例,找到合适的折中点 使用聚类前面的已有步骤不用进行任何的变动,只需要额外训练一个聚类模型,虽然效果比较有限,但训练成本也比较低

  • 训练过程:
    • 使用cpu性能较好的机器训练,据我的经验在腾讯云6核cpu训练每个speaker需要约4分钟即可完成训练
    • 执行python cluster/train_cluster.py,模型的输出会在logs/44k/kmeans_10000.pt
    • 聚类模型目前可以使用gpu进行训练,执行python cluster/train_cluster.py --gpu
  • 推理过程:
    • inference_main.py中指定cluster_model_path
    • inference_main.py中指定cluster_infer_ratio0为完全不使用聚类,1为只使用聚类,通常设置0.5即可

特征检索

介绍:跟聚类方案一样可以减小音色泄漏,咬字比聚类稍好,但会降低推理速度,采用了融合的方式,可以线性控制特征检索与非特征检索的占比,

  • 训练过程: 首先需要在生成hubert与f0后执行:
python train_index.py -c configs/config.json

模型的输出会在logs/44k/feature_and_index.pkl

  • 推理过程:
    • 需要首先制定--feature_retrieval,此时聚类方案会自动切换到特征检索方案
    • inference_main.py中指定cluster_model_path 为模型输出文件
    • inference_main.py中指定cluster_infer_ratio0为完全不使用特征检索,1为只使用特征检索,通常设置0.5即可

静态声线混合

参考webUI.py文件中,小工具/实验室特性的静态声线融合。

介绍:该功能可以将多个声音模型合成为一个声音模型(多个模型参数的凸组合或线性组合),从而制造出现实中不存在的声线 注意:

  1. 该功能仅支持单说话人的模型
  2. 如果强行使用多说话人模型,需要保证多个模型的说话人数量相同,这样可以混合同一个SpaekerID下的声音
  3. 保证所有待混合模型的config.json中的model字段是相同的
  4. 输出的混合模型可以使用待合成模型的任意一个config.json,但聚类模型将不能使用
  5. 批量上传模型的时候最好把模型放到一个文件夹选中后一起上传
  6. 混合比例调整建议大小在0-100之间,也可以调为其他数字,但在线性组合模式下会出现未知的效果
  7. 混合完毕后,文件将会保存在项目根目录中,文件名为output.pth
  8. 凸组合模式会将混合比例执行Softmax使混合比例相加为1,而线性组合模式不会

动态声线混合

参考spkmix.py文件中关于动态声线混合的介绍

角色混合轨道 编写规则:

角色ID : [[起始时间1, 终止时间1, 起始数值1, 起始数值1], [起始时间2, 终止时间2, 起始数值2, 起始数值2]]

起始时间和前一个的终止时间必须相同,第一个起始时间必须为0,最后一个终止时间必须为1 (时间的范围为0-1)

全部角色必须填写,不使用的角色填[[0., 1., 0., 0.]]即可

融合数值可以随便填,在指定的时间段内从起始数值线性变化为终止数值,内部会自动确保线性组合为1(凸组合条件),可以放心使用

推理的时候使用--use_spk_mix参数即可启用动态声线混合

📚 一些法律条例参考

任何国家,地区,组织和个人使用此项目必须遵守以下法律

《民法典》

第一千零一十九条

任何组织或者个人不得以丑化、污损,或者利用信息技术手段伪造等方式侵害他人的肖像权。未经肖像权人同意,不得制作、使用、公开肖像权人的肖像,但是法律另有规定的除外。未经肖像权人同意,肖像作品权利人不得以发表、复制、发行、出租、展览等方式使用或者公开肖像权人的肖像。对自然人声音的保护,参照适用肖像权保护的有关规定。

第一千零二十四条

【名誉权】民事主体享有名誉权。任何组织或者个人不得以侮辱、诽谤等方式侵害他人的名誉权。

第一千零二十七条

【作品侵害名誉权】行为人发表的文学、艺术作品以真人真事或者特定人为描述对象,含有侮辱、诽谤内容,侵害他人名誉权的,受害人有权依法请求该行为人承担民事责任。行为人发表的文学、艺术作品不以特定人为描述对象,仅其中的情节与该特定人的情况相似的,不承担民事责任。

中华人民共和国宪法

中华人民共和国刑法

中华人民共和国民法典

Downloads last month
4
Inference API
Unable to determine this model’s pipeline type. Check the docs .