本帖最后由 州周 于 2024-5-20 21:20 编辑 ; X7 p+ r, Y' U- {
1 k3 Q2 L2 m/ j: X8 o" j% e0 _& k8 Q
起因：B站刷到了用Ai蚊子唱See you again的视频，正好我也用过这类Ai，又正好不会调音就想出来用Ai技术训练JR发车音乐，在理论上是可以这么做的。
/ m3 }6 R" ~) U. ?) K5 m. v9 y7 \5 A ]# L& q
首先，选择哪种开源的vits。纯Vtis只能生成文本，对与音频方面无帮助。SVC（So-vits）音频生成音频。GPT-VITS也是音频生成音频，但是目前只能用中文训练，由于输入是纯音乐，所以大概率是不行的。综上我们选择So-vits。
- o) z% {9 f. o: t- ?. kSVC和大部分模型一样使用Diffusion（扩散）的方式进行训练还有推理，大体方式：将例子音频加噪，用模型再一点点的去噪，生成出音频。" }( w8 T& x' T* T; [ i
9 \3 Y; T8 m0 b% t% r, { m
准备音频环节，使用RVC5将发车音乐的主旋律提取出来，避免其他乐器影响主旋律音色导致模型质量下降，同时Adobe Audition做后期处理时控制电平、处理混响，避免不必要的东西音响模型质量。
7 _3 D) I/ D( M* J. r+ n训练步骤：0 Z6 ?3 F& E: b8 F, K
step0~1600 FP32 1e-5 控制ir值在30以下4 i% f; d2 ]% [5 C7 J0 I" a
step1600~3200 FP16 5e-4 模型基础已经打好，使用半精度加快训练进度，学习率降低补一点点缺失的内容，代价是ir率的上升 : ~( M P! S7 r! p
step3200~4000 FP32 1e-3 最后调大学习率巩固内容，同时调回单精度不让模型质量下降，ir率下降到23~28时见好就收 噪声公式及学习率相关
; J* W. @' u1 Z! \* t/ {9 Y
9 ~+ I- `' N& v: {5 ?: ]4 M. ~
/ Z4 P! X! K9 K+ E8 [ s j1 b
) @+ e7 R- `( w# ~
0 V# p4 X% _ d7 }
) E' L5 |% x2 G) K0 n5 `2 ~, [9 I$ |; @; J1 F
0 Y. ~1 S. E% C2 b3 F' K
| 
2024-5-20 21:03:56
