本帖最后由 州周 于 2024-5-20 21:20 编辑 3 s( E2 j7 j- ~3 s2 a5 _
( v- v4 C3 `/ v+ A
起因：B站刷到了用Ai蚊子唱See you again的视频，正好我也用过这类Ai，又正好不会调音就想出来用Ai技术训练JR发车音乐，在理论上是可以这么做的。
9 q( E" M; r9 a9 m0 s/ y
* J( E3 Y( a! k* `) `* h8 _& E! {首先，选择哪种开源的vits。纯Vtis只能生成文本，对与音频方面无帮助。SVC（So-vits）音频生成音频。GPT-VITS也是音频生成音频，但是目前只能用中文训练，由于输入是纯音乐，所以大概率是不行的。综上我们选择So-vits。4 j, f6 }: t& ~+ E
SVC和大部分模型一样使用Diffusion（扩散）的方式进行训练还有推理，大体方式：将例子音频加噪，用模型再一点点的去噪，生成出音频。
! B: W% u0 b# N3 C1 B; k( z% [: Z0 L8 d
准备音频环节，使用RVC5将发车音乐的主旋律提取出来，避免其他乐器影响主旋律音色导致模型质量下降，同时Adobe Audition做后期处理时控制电平、处理混响，避免不必要的东西音响模型质量。. i" Z. Y. a% D. n
训练步骤：5 a: z i7 j# B7 o/ }) p; s
step0~1600 FP32 1e-5 控制ir值在30以下
( i6 U3 r) ?6 K9 r9 [step1600~3200 FP16 5e-4 模型基础已经打好，使用半精度加快训练进度，学习率降低补一点点缺失的内容，代价是ir率的上升
: R9 m. n1 F( Z5 Kstep3200~4000 FP32 1e-3 最后调大学习率巩固内容，同时调回单精度不让模型质量下降，ir率下降到23~28时见好就收 噪声公式及学习率相关
) T& m. _+ t" p# ?. d: N: x) K- {
, A1 k! g( Z8 Z+ I) R1 o
t+ K, h9 v" C5 ]) b: y9 q
3 R, X0 M$ [3 {. [, j
$ ]/ f9 i1 d) X) f7 m7 X
" F, |, Q. B. _! D0 D
M% r' L d0 I; k7 q# G/ f4 B* ~4 k8 _
| 
2024-5-20 21:03:56
