|
--- |
|
license: mit |
|
base_model: |
|
- SWivid/F5-TTS |
|
--- |
|
## F5-TTS Tensorrt-LLM Faster |
|
|
|
为 F5-TTS 进行推理加速，测试样例如下： |
|
|
|
+ `NVIDIA GeForce RTX 3090` |
|
+ 测试文本为: `这点请您放心，估计是我的号码被标记了，请问您是沈沈吗？` |
|
|
|
经测试，推理速度由`3.2s`降低为`0.72s`, 速度提升 **4** 倍！ |
|
|
|
整个项目 workflow 可概述如下： |
|
1. 先将 `F5-TTS` 用 `ONNX` 导出，导出为三部分； |
|
2. 然后使用 `Tensorrt-LLM` 对有关 `Transformer` 部分进行网络的改写以便于加速，前端和decode仍使用`ONNX`推理，当然也可以指定`CUDAExecutionProvider`、`OpenVINOExecutionProvider`等。 |
|
|
|
本仓库存储模型权重，包括 `torch`、`ONNX`、`trtllm`。 |
|
|
|
详细请看（项目构建、权重转换、快速推理）：https://github.com/WGS-note/F5_TTS_Faster |
|
|
|
> F5-TTS 的学习笔记也会发，敬请期待，公众号：**WGS的学习笔记** |
|
|
|
> 开源不易，欢迎 star |
|
|
|
特别感谢以下两个开源项目的贡献： |
|
+ https://github.com/DakeQQ/F5-TTS-ONNX |
|
+ https://github.com/Bigfishering/f5-tts-trtllm |
