本帖最后由 州周 于 2024-5-20 21:20 编辑
# o' X3 ?0 l( t, g% B/ x9 k S% `2 O3 i" X2 h& ?" p
起因：B站刷到了用Ai蚊子唱See you again的视频，正好我也用过这类Ai，又正好不会调音就想出来用Ai技术训练JR发车音乐，在理论上是可以这么做的。/ p/ L- k* F" X; ^1 V" U* I
1 d7 q% n# C7 ` ~6 q% v
首先，选择哪种开源的vits。纯Vtis只能生成文本，对与音频方面无帮助。SVC（So-vits）音频生成音频。GPT-VITS也是音频生成音频，但是目前只能用中文训练，由于输入是纯音乐，所以大概率是不行的。综上我们选择So-vits。( |7 a& \3 Q n) w8 G5 n
SVC和大部分模型一样使用Diffusion（扩散）的方式进行训练还有推理，大体方式：将例子音频加噪，用模型再一点点的去噪，生成出音频。0 `8 m8 F! \/ U7 @! k, [
* `( @) L' }: I0 m. C$ `准备音频环节，使用RVC5将发车音乐的主旋律提取出来，避免其他乐器影响主旋律音色导致模型质量下降，同时Adobe Audition做后期处理时控制电平、处理混响，避免不必要的东西音响模型质量。' Q5 b: {! _5 g7 V9 [0 _
训练步骤：
" D. r) U* ?/ jstep0~1600 FP32 1e-5 控制ir值在30以下1 J/ i6 r; q, a8 u! O6 G! ]
step1600~3200 FP16 5e-4 模型基础已经打好，使用半精度加快训练进度，学习率降低补一点点缺失的内容，代价是ir率的上升
- b" G( x n, O6 \step3200~4000 FP32 1e-3 最后调大学习率巩固内容，同时调回单精度不让模型质量下降，ir率下降到23~28时见好就收 噪声公式及学习率相关 6 P! s; b8 p+ S2 H# e) u
7 T3 k- { m! x+ I4 ?0 h* g+ n/ c
- s, n p; C/ ]: v6 V
' N4 B# a; t1 U: X. `- @! M$ u' B) N4 l1 S$ t: l6 b! C
! t: ~! q t$ L$ q3 y! P. z; B
' e: p) x4 f9 N. w8 r
7 q Q. e8 z4 Q/ h4 C' s | 
2024-5-20 21:03:56
