6 GB 显存塞了四个程序,GPT-SoVITS 掉到 1.09 it/s
本文目录(2 节)
前一天测一句短语音合成只要 3.9 秒,第二天联调时跑了二十多秒还没出声。打开 GPT-SoVITS 的终端日志一看:
0%| | 20/1500 [00:26<26:53, 1.09it/s]
推理速度掉到了 1.09it/s,而平时正常在 17it/s 左右,慢了整整十五倍。
6 GB 显存里的四个大户
跑一下 nvidia-smi 看显存和利用率:
nvidia-smi --query-gpu=memory.used,memory.total,utilization.gpu --format=csv,noheader
# 5639 MiB, 6144 MiB, 100 %
6 GB 显存被吃掉了 5.6 GB,同一块卡上同时挤着四个进程:
GPT-SoVITS-v2pro(语音合成,逐帧自回归推理)ollama / llama-server.exe(本地qwen2.5:3b对话模型,单独占2.16 GBVRAM)VTube Studio.exe(Live2D 渲染)obs64.exe(画面合成与编码)
GPT-SoVITS 是逐帧自回归生成的,显存触顶发生换页和算力争抢时,每一帧都会被拖慢,累积起来就是十几倍的耗时。
从 keep_alive 到彻底迁走对话模型
我先试过给 Ollama 透传 {"custom_extra_body": {"keep_alive": "25s"}},想让对话模型生成完台词后卸载让出显存;但直播弹幕一密,模型刚卸载就得重新加载,照样卡顿。
最后直接停掉本地 Ollama,把对话模型切到云端 deepseek-chat(注意直播场景别选带长思考链的 reasoning 模型,否则光 reasoning_tokens 就要等好几秒),同时把 OBS 的编码器从显卡 NVENC 切到 CPU x264。
改造前后的显存账单:
改造前:5639 / 6144 MiB
改造后:4223 / 6144 MiB(释放约 1.4 GB)
显卡只留给 GPT-SoVITS 和 VTube Studio 两个必须本地跑的程序后,短句语音合成当场回到了 3.9 秒。