kita / notes
← 回到全部笔记

记录日期 阅读约 1 分钟

6 GB 显存塞了四个程序,GPT-SoVITS 掉到 1.09 it/s

发布于 · 修订

本文目录(2 节)
  1. 6 GB 显存里的四个大户
  2. 从 keep_alive 到彻底迁走对话模型

前一天测一句短语音合成只要 3.9 秒,第二天联调时跑了二十多秒还没出声。打开 GPT-SoVITS 的终端日志一看:

0%|          | 20/1500 [00:26<26:53, 1.09it/s]

推理速度掉到了 1.09it/s,而平时正常在 17it/s 左右,慢了整整十五倍。

6 GB 显存里的四个大户

跑一下 nvidia-smi 看显存和利用率:

nvidia-smi --query-gpu=memory.used,memory.total,utilization.gpu --format=csv,noheader
# 5639 MiB, 6144 MiB, 100 %

6 GB 显存被吃掉了 5.6 GB,同一块卡上同时挤着四个进程:

  1. GPT-SoVITS-v2pro(语音合成,逐帧自回归推理)
  2. ollama / llama-server.exe(本地 qwen2.5:3b 对话模型,单独占 2.16 GB VRAM)
  3. VTube Studio.exe(Live2D 渲染)
  4. obs64.exe(画面合成与编码)

GPT-SoVITS 是逐帧自回归生成的,显存触顶发生换页和算力争抢时,每一帧都会被拖慢,累积起来就是十几倍的耗时。

从 keep_alive 到彻底迁走对话模型

我先试过给 Ollama 透传 {"custom_extra_body": {"keep_alive": "25s"}},想让对话模型生成完台词后卸载让出显存;但直播弹幕一密,模型刚卸载就得重新加载,照样卡顿。

最后直接停掉本地 Ollama,把对话模型切到云端 deepseek-chat(注意直播场景别选带长思考链的 reasoning 模型,否则光 reasoning_tokens 就要等好几秒),同时把 OBS 的编码器从显卡 NVENC 切到 CPU x264。

改造前后的显存账单:

改造前:5639 / 6144 MiB
改造后:4223 / 6144 MiB(释放约 1.4 GB)

显卡只留给 GPT-SoVITS 和 VTube Studio 两个必须本地跑的程序后,短句语音合成当场回到了 3.9 秒。

← 返回全部手记