人声转谱卡了一周:放弃 Basic Pitch 碎音切分,改用歌词音节驱动 f0
本文目录(3 节)
目标是把一段干声歌唱音频转成 MusicXML,导入 CeVIO 让虚拟歌手唱出来。
第一版我直接上了 Spotify 的 Basic Pitch 多音符转录模型,想着先把音频转成 MIDI 音符,再往音符上填歌词。结果跑出来的第一份谱子完全没法听:
- 全曲切出了 286 个音符,其中 225 个因为对不上歌词被填成了默认占位符「あ」。
- 出现大量 16 分、32 分的碎音:人声唱一个拖长音或带一点颤音,模型就把它切成七八个碎音符。
为什么乐器转录模型不适合连奏人声
在后处理上补了好几天丁(合并碎音、调置信度阈值)都救不回来,后来才想明白根子在哪:Basic Pitch 是给钢琴、吉他这类有明显起音(onset)的复调乐器设计的。而人声是单旋律连奏,滑音、颤音和气息波动都会被它误判成新的起音边界。
但干声转谱手里往往是有 LRC 歌词的。只要有歌词,每一句有几个字(音节)根本不用模型去猜。
歌词驱动的 librosa.pyin 音高提取
把路线彻底翻过来,不再用 Basic Pitch 切音符,改由歌词驱动时间窗:
分离人声
-> librosa.pyin 提取连续 f0 基频曲线
-> 按 LRC 行时间与发声段(voiced flag)切出每句起止窗口
-> 句内按音节数切分时间片
-> 每个音节窗口内取 f0 中位数(median)作为音高
这里用中位数而不是均值很关键:人声唱长音时有周期性颤音,还有句首句尾的滑音毛刺,取窗内 f0 中位数能天然滤掉上下抖动,稳稳落在主音高上。
踩过的两个后处理坑
跑通这条新管线前还修了两处丢数据的 bug:
- 新建
pretty_midi.Note时丢了.lyric属性:做时值量化和八度校正的函数在重建Note(velocity, pitch, start, end)对象时漏拷了自定义挂载的歌词字段,导致导出的 MusicXML 又变回满屏「あ」。 - 必须关掉
merge_repeats(同音高合并):器乐谱常把相邻同音高碎音合并成一个长音,但在人声里,连续两个同音高往往对应两个不同的字(例如「か」和「わ」唱在同一个音上)。开启merge_repeats=True直接把 16 个字吞成了 1 个,改成merge_repeats=False后才保留住每个音节。
同一首测试曲在两条路线下的最终产物对比:
| 指标 | Basic Pitch 转录 | 歌词音节驱动 f0 |
|---|---|---|
| 总音符数 | 286(大量碎音) | 84(严格等于音节数) |
| 「あ」兜底占位 | 225 | 0 |
| 歌词对齐 | 错位严重 | 10 句歌词逐字对齐 |