本帖最后由 州周 于 2024-5-20 21:20 编辑
& N$ a; v: h% _; E
( K. |& w* Y5 c0 r起因：B站刷到了用Ai蚊子唱See you again的视频，正好我也用过这类Ai，又正好不会调音就想出来用Ai技术训练JR发车音乐，在理论上是可以这么做的。
# C. J" p& i! q2 g( C2 }8 E7 c7 p" l6 N, ^
首先，选择哪种开源的vits。纯Vtis只能生成文本，对与音频方面无帮助。SVC（So-vits）音频生成音频。GPT-VITS也是音频生成音频，但是目前只能用中文训练，由于输入是纯音乐，所以大概率是不行的。综上我们选择So-vits。
7 s8 E! H. a9 k+ r$ P5 [( m6 h" L" vSVC和大部分模型一样使用Diffusion（扩散）的方式进行训练还有推理，大体方式：将例子音频加噪，用模型再一点点的去噪，生成出音频。" i4 b( v2 \! o0 k/ d
9 r& \ T0 }# \) Q! D% i+ n% h/ [
准备音频环节，使用RVC5将发车音乐的主旋律提取出来，避免其他乐器影响主旋律音色导致模型质量下降，同时Adobe Audition做后期处理时控制电平、处理混响，避免不必要的东西音响模型质量。8 [; D( B. |. d! j$ P+ H5 Y1 `4 p
训练步骤：
& B% N8 @' y$ m/ o" a/ Kstep0~1600 FP32 1e-5 控制ir值在30以下- g$ Q0 N) a7 H6 R9 {) _0 ^
step1600~3200 FP16 5e-4 模型基础已经打好，使用半精度加快训练进度，学习率降低补一点点缺失的内容，代价是ir率的上升
8 Z3 j# v0 o8 N6 ` u& n" P2 Y% d, xstep3200~4000 FP32 1e-3 最后调大学习率巩固内容，同时调回单精度不让模型质量下降，ir率下降到23~28时见好就收 噪声公式及学习率相关
$ {% E: I: q" f# Q! `
0 y! L; P* W6 v% d
9 ^/ D% q6 n8 k! }+ @3 \. |( p# _! U$ I( m8 {
H# B, Q7 g" W
9 y" ?' W$ I; w: @) _' z8 U1 S
" E9 t6 L* K% B2 P& s* x& r, D3 K# i, ?: J) q+ K( [: f, D
| 
2024-5-20 21:03:56
