本帖最后由 州周 于 2024-5-20 21:20 编辑
- i7 Z1 W# x4 p: s% p% V G. i5 |% }1 S' Q9 k+ I* C: [
起因：B站刷到了用Ai蚊子唱See you again的视频，正好我也用过这类Ai，又正好不会调音就想出来用Ai技术训练JR发车音乐，在理论上是可以这么做的。
3 M2 \5 v) p% \5 Q- t |) J( X1 }: r3 \ K
首先，选择哪种开源的vits。纯Vtis只能生成文本，对与音频方面无帮助。SVC（So-vits）音频生成音频。GPT-VITS也是音频生成音频，但是目前只能用中文训练，由于输入是纯音乐，所以大概率是不行的。综上我们选择So-vits。/ _/ M6 s5 P4 M+ ]$ V4 o0 R
SVC和大部分模型一样使用Diffusion（扩散）的方式进行训练还有推理，大体方式：将例子音频加噪，用模型再一点点的去噪，生成出音频。
3 r6 p) q& |: M \! C6 B( |8 W
7 M4 j: ?3 A3 N准备音频环节，使用RVC5将发车音乐的主旋律提取出来，避免其他乐器影响主旋律音色导致模型质量下降，同时Adobe Audition做后期处理时控制电平、处理混响，避免不必要的东西音响模型质量。
3 W( Z! V+ H: Y) }训练步骤：1 _5 [1 U( g5 O {# s* y
step0~1600 FP32 1e-5 控制ir值在30以下
) C( [5 b1 ?- }8 j4 n; f; dstep1600~3200 FP16 5e-4 模型基础已经打好，使用半精度加快训练进度，学习率降低补一点点缺失的内容，代价是ir率的上升
2 N1 k" U1 b. p! G8 Pstep3200~4000 FP32 1e-3 最后调大学习率巩固内容，同时调回单精度不让模型质量下降，ir率下降到23~28时见好就收 噪声公式及学习率相关
* r% O F8 O5 v4 E% a1 j J* A
7 ^2 r8 p" l. M, v9 e( b
8 ]& B7 _2 [9 M4 b2 \5 Z5 }9 d4 c& x1 D0 X# i
" d" G, _" B% V4 K, A% l/ p, G
+ A. [: T2 ~6 s! P( [, t' a: ]( O. e
- `. f1 s2 X# a! Z! Z+ K/ B
| 
2024-5-20 21:03:56
