File size: 6,422 Bytes
668a7d3
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
### 2023๋…„ 6์›” 18์ผ ์—…๋ฐ์ดํŠธ

- v2 ๋ฒ„์ „์—์„œ ์ƒˆ๋กœ์šด 32k์™€ 48k ์‚ฌ์ „ ํ•™์Šต ๋ชจ๋ธ์„ ์ถ”๊ฐ€.
- non-f0 ๋ชจ๋ธ๋“ค์˜ ์ถ”๋ก  ์˜ค๋ฅ˜ ์ˆ˜์ •.
- ํ•™์Šต ์„ธํŠธ๊ฐ€ 1์‹œ๊ฐ„์„ ๋„˜์–ด๊ฐ€๋Š” ๊ฒฝ์šฐ, ์ธ๋ฑ์Šค ์ƒ์„ฑ ๋‹จ๊ณ„์—์„œ minibatch-kmeans์„ ์‚ฌ์šฉํ•ด, ํ•™์Šต์†๋„ ๊ฐ€์†ํ™”.
- [huggingface](https://huggingface.co./spaces/lj1995/vocal2guitar)์—์„œ vocal2guitar ์ œ๊ณต.
- ๋ฐ์ดํ„ฐ ์ฒ˜๋ฆฌ ๋‹จ๊ณ„์—์„œ ์ด์ƒ ๊ฐ’ ์ž๋™์œผ๋กœ ์ œ๊ฑฐ.
- ONNX๋กœ ๋‚ด๋ณด๋‚ด๋Š”(export) ์˜ต์…˜ ํƒญ ์ถ”๊ฐ€.

์—…๋ฐ์ดํŠธ์— ์ ์šฉ๋˜์ง€ ์•Š์•˜์ง€๋งŒ ์‹œ๋„ํ•œ ๊ฒƒ๋“ค :

- ์‹œ๊ณ„์—ด ์ฐจ์›์„ ์ถ”๊ฐ€ํ•˜์—ฌ ํŠน์ง• ๊ฒ€์ƒ‰์„ ์ง„ํ–‰ํ–ˆ์ง€๋งŒ, ์œ ์˜๋ฏธํ•œ ํšจ๊ณผ๋Š” ์—†์—ˆ์Šต๋‹ˆ๋‹ค.
- PCA ์ฐจ์› ์ถ•์†Œ๋ฅผ ์ถ”๊ฐ€ํ•˜์—ฌ ํŠน์ง• ๊ฒ€์ƒ‰์„ ์ง„ํ–‰ํ–ˆ์ง€๋งŒ, ์œ ์˜๋ฏธํ•œ ํšจ๊ณผ๋Š” ์—†์—ˆ์Šต๋‹ˆ๋‹ค.
- ONNX ์ถ”๋ก ์„ ์ง€์›ํ•˜๋Š” ๊ฒƒ์— ์‹คํŒจํ–ˆ์Šต๋‹ˆ๋‹ค. nsf ์ƒ์„ฑ์‹œ, Pytorch๊ฐ€ ํ•„์š”ํ•˜๊ธฐ ๋•Œ๋ฌธ์ž…๋‹ˆ๋‹ค.
- ํ›ˆ๋ จ ์ค‘์— ์ž…๋ ฅ์— ๋Œ€ํ•œ ์Œ๊ณ , ์„ฑ๋ณ„, ์ดํ€„๋ผ์ด์ €, ๋…ธ์ด์ฆˆ ๋“ฑ ๋ฌด์ž‘์œ„๋กœ ๊ฐ•ํ™”ํ•˜๋Š” ๊ฒƒ์—, ์œ ์˜๋ฏธํ•œ ํšจ๊ณผ๋Š” ์—†์—ˆ์Šต๋‹ˆ๋‹ค.

์ถ”ํ›„ ์—…๋ฐ์ดํŠธ ๋ชฉ๋ก:

- Vocos-RVC (์†Œํ˜• ๋ณด์ฝ”๋”) ํ†ตํ•ฉ ์˜ˆ์ •.
- ํ•™์Šต ๋‹จ๊ณ„์— ์Œ๊ณ  ์ธ์‹์„ ์œ„ํ•œ Crepe ์ง€์› ์˜ˆ์ •.
- Crepe์˜ ์ •๋ฐ€๋„๋ฅผ REC-config์™€ ๋™๊ธฐํ™”ํ•˜์—ฌ ์ง€์› ์˜ˆ์ •.
- FO ์—๋””ํ„ฐ ์ง€์› ์˜ˆ์ •.

### 2023๋…„ 5์›” 28์ผ ์—…๋ฐ์ดํŠธ

- v2 jupyter notebook ์ถ”๊ฐ€, ํ•œ๊ตญ์–ด ์—…๋ฐ์ดํŠธ ๋กœ๊ทธ ์ถ”๊ฐ€, ์˜์กด์„ฑ ๋ชจ๋“ˆ ์ผ๋ถ€ ์ˆ˜์ •.
- ๋ฌด์„ฑ์Œ ๋ฐ ์ˆจ์†Œ๋ฆฌ ๋ณดํ˜ธ ๋ชจ๋“œ ์ถ”๊ฐ€.
- crepe-full pitch ๊ฐ์ง€ ์ง€์›.
- UVR5 ๋ณด์ปฌ ๋ถ„๋ฆฌ: ๋””๋ฒ„๋ธŒ ๋ฐ ๋””-์—์ฝ” ๋ชจ๋ธ ์ง€์›.
- index ์ด๋ฆ„์— experiment ์ด๋ฆ„๊ณผ ๋ฒ„์ „ ์ถ”๊ฐ€.
- ๋ฐฐ์น˜ ์Œ์„ฑ ๋ณ€ํ™˜ ์ฒ˜๋ฆฌ ๋ฐ UVR5 ๋ณด์ปฌ ๋ถ„๋ฆฌ ์‹œ, ์‚ฌ์šฉ์ž๊ฐ€ ์ˆ˜๋™์œผ๋กœ ์ถœ๋ ฅ ์˜ค๋””์˜ค์˜ ๋‚ด๋ณด๋‚ด๊ธฐ(export) ํ˜•์‹์„ ์„ ํƒํ•  ์ˆ˜ ์žˆ๋„๋ก ์ง€์›.
- 32k ํ›ˆ๋ จ ๋ชจ๋ธ ์ง€์› ์ข…๋ฃŒ.

### 2023๋…„ 5์›” 13์ผ ์—…๋ฐ์ดํŠธ

- ์›ํด๋ฆญ ํŒจํ‚ค์ง€์˜ ์ด์ „ ๋ฒ„์ „ ๋Ÿฐํƒ€์ž„ ๋‚ด, ๋ถˆํ•„์š”ํ•œ ์ฝ”๋“œ(lib.infer_pack ๋ฐ uvr5_pack) ์ œ๊ฑฐ.
- ํ›ˆ๋ จ ์„ธํŠธ ์ „์ฒ˜๋ฆฌ์˜ ์œ ์‚ฌ ๋‹ค์ค‘ ์ฒ˜๋ฆฌ ๋ฒ„๊ทธ ์ˆ˜์ •.
- Harvest ํ”ผ์น˜ ์ธ์‹ ์•Œ๊ณ ๋ฆฌ์ฆ˜์— ๋Œ€ํ•œ ์ค‘์œ„์ˆ˜ ํ•„ํ„ฐ๋ง ๋ฐ˜๊ฒฝ ์กฐ์ • ์ถ”๊ฐ€.
- ์˜ค๋””์˜ค ๋‚ด๋ณด๋‚ผ ๋•Œ, ํ›„์ฒ˜๋ฆฌ ๋ฆฌ์ƒ˜ํ”Œ๋ง ์ง€์›.
- ํ›ˆ๋ จ์— ๋Œ€ํ•œ ๋‹ค์ค‘ ์ฒ˜๋ฆฌ "n_cpu" ์„ค์ •์ด "f0 ์ถ”์ถœ"์—์„œ "๋ฐ์ดํ„ฐ ์ „์ฒ˜๋ฆฌ ๋ฐ f0 ์ถ”์ถœ"๋กœ ๋ณ€๊ฒฝ.
- logs ํด๋” ํ•˜์˜ ์ธ๋ฑ์Šค ๊ฒฝ๋กœ๋ฅผ ์ž๋™์œผ๋กœ ๊ฐ์ง€ ๋ฐ ๋“œ๋กญ๋‹ค์šด ๋ชฉ๋ก ๊ธฐ๋Šฅ ์ œ๊ณต.
- ํƒญ ํŽ˜์ด์ง€์— "์ž์ฃผ ๋ฌป๋Š” ์งˆ๋ฌธ๊ณผ ๋‹ต๋ณ€" ์ถ”๊ฐ€. (github RVC wiki ์ฐธ์กฐ ๊ฐ€๋Šฅ)
- ๋™์ผํ•œ ์ž…๋ ฅ ์˜ค๋””์˜ค ๊ฒฝ๋กœ๋ฅผ ์‚ฌ์šฉํ•  ๋•Œ ์ถ”๋ก , Harvest ํ”ผ์น˜๋ฅผ ์บ์‹œ.
  (์ฃผ์˜: Harvest ํ”ผ์น˜ ์ถ”์ถœ์„ ์‚ฌ์šฉํ•˜๋ฉด ์ „์ฒด ํŒŒ์ดํ”„๋ผ์ธ์€ ๊ธธ๊ณ  ๋ฐ˜๋ณต์ ์ธ ํ”ผ์น˜ ์ถ”์ถœ ๊ณผ์ •์„ ๊ฑฐ์น˜๊ฒŒ๋ฉ๋‹ˆ๋‹ค. ์บ์‹ฑ์„ ํ•˜์ง€ ์•Š๋Š”๋‹ค๋ฉด, ์ฒซ inference ์ดํ›„์˜ ๋‹จ๊ณ„์—์„œ timbre, ์ธ๋ฑ์Šค, ํ”ผ์น˜ ์ค‘์œ„์ˆ˜ ํ•„ํ„ฐ๋ง ๋ฐ˜๊ฒฝ ์„ค์ • ๋“ฑ ๋Œ€๊ธฐ์‹œ๊ฐ„์ด ์—„์ฒญ๋‚˜๊ฒŒ ๊ธธ์–ด์ง‘๋‹ˆ๋‹ค!)

### 2023๋…„ 5์›” 14์ผ ์—…๋ฐ์ดํŠธ

- ์ž…๋ ฅ์˜ ๋ณผ๋ฅจ ์บก์Š์„ ์‚ฌ์šฉํ•˜์—ฌ ์ถœ๋ ฅ์˜ ๋ณผ๋ฅจ ์บก์Š์„ ํ˜ผํ•ฉํ•˜๊ฑฐ๋‚˜ ๋Œ€์ฒด. (์ž…๋ ฅ์ด ๋ฌด์Œ์ด๊ฑฐ๋‚˜ ์ถœ๋ ฅ์˜ ๋…ธ์ด์ฆˆ ๋ฌธ์ œ๋ฅผ ์ตœ์†Œํ™” ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ž…๋ ฅ ์˜ค๋””์˜ค์˜ ๋ฐฐ๊ฒฝ ๋…ธ์ด์ฆˆ(์†Œ์Œ)๊ฐ€ ํฐ ๊ฒฝ์šฐ ํ•ด๋‹น ๊ธฐ๋Šฅ์„ ์‚ฌ์šฉํ•˜์ง€ ์•Š๋Š” ๊ฒƒ์ด ์ข‹์Šต๋‹ˆ๋‹ค. ๊ธฐ๋ณธ์ ์œผ๋กœ ๋น„ํ™œ์„ฑํ™” ๋˜์–ด์žˆ๋Š” ์˜ต์…˜์ž…๋‹ˆ๋‹ค. (1: ๋น„ํ™œ์„ฑํ™” ์ƒํƒœ))
- ์ถ”์ถœ๋œ ์†Œํ˜• ๋ชจ๋ธ์„ ์ง€์ •๋œ ๋นˆ๋„๋กœ ์ €์žฅํ•˜๋Š” ๊ธฐ๋Šฅ์„ ์ง€์›. (๋‹ค์–‘ํ•œ ์—ํญ ํ•˜์—์„œ์˜ ์„ฑ๋Šฅ์„ ๋ณด๋ ค๊ณ  ํ•˜์ง€๋งŒ ๋ชจ๋“  ๋Œ€ํ˜• ์ฒดํฌํฌ์ธํŠธ๋ฅผ ์ €์žฅํ•˜๊ณ  ๋งค๋ฒˆ ckpt ์ฒ˜๋ฆฌ๋ฅผ ํ†ตํ•ด ์†Œํ˜• ๋ชจ๋ธ์„ ์ˆ˜๋™์œผ๋กœ ์ถ”์ถœํ•˜๊ณ  ์‹ถ์ง€ ์•Š์€ ๊ฒฝ์šฐ ์ด ๊ธฐ๋Šฅ์€ ๋งค์šฐ ์œ ์šฉํ•ฉ๋‹ˆ๋‹ค)
- ํ™˜๊ฒฝ ๋ณ€์ˆ˜๋ฅผ ์„ค์ •ํ•˜์—ฌ ์„œ๋ฒ„์˜ ์ „์—ญ ํ”„๋ก์‹œ๋กœ ์ธํ•œ "์—ฐ๊ฒฐ ์˜ค๋ฅ˜" ๋ฌธ์ œ ํ•ด๊ฒฐ.
- ์‚ฌ์ „ ํ›ˆ๋ จ๋œ v2 ๋ชจ๋ธ ์ง€์›. (ํ˜„์žฌ 40k ๋ฒ„์ „๋งŒ ํ…Œ์ŠคํŠธ๋ฅผ ์œ„ํ•ด ๊ณต๊ฐœ์ ์œผ๋กœ ์‚ฌ์šฉ ๊ฐ€๋Šฅํ•˜๋ฉฐ, ๋‹ค๋ฅธ ๋‘ ๊ฐœ์˜ ์ƒ˜ํ”Œ๋ง ๋น„์œจ์€ ์•„์ง ์™„์ „ํžˆ ํ›ˆ๋ จ๋˜์ง€ ์•Š์•„ ๋ณด๋ฅ˜๋˜์—ˆ์Šต๋‹ˆ๋‹ค.)
- ์ถ”๋ก  ์ „, 1์„ ์ดˆ๊ณผํ•˜๋Š” ๊ณผ๋„ํ•œ ๋ณผ๋ฅจ ์ œํ•œ.
- ๋ฐ์ดํ„ฐ ์ „์ฒ˜๋ฆฌ ๋งค๊ฐœ๋ณ€์ˆ˜ ๋ฏธ์„ธ ์กฐ์ •.

### 2023๋…„ 4์›” 9์ผ ์—…๋ฐ์ดํŠธ

- GPU ์ด์šฉ๋ฅ  ํ–ฅ์ƒ์„ ์œ„ํ•ด ํ›ˆ๋ จ ํŒŒ๋ผ๋ฏธํ„ฐ ์ˆ˜์ •: A100์€ 25%์—์„œ ์•ฝ 90%๋กœ ์ฆ๊ฐ€, V100: 50%์—์„œ ์•ฝ 90%๋กœ ์ฆ๊ฐ€, 2060S: 60%์—์„œ ์•ฝ 85%๋กœ ์ฆ๊ฐ€, P40: 25%์—์„œ ์•ฝ 95%๋กœ ์ฆ๊ฐ€.
  ํ›ˆ๋ จ ์†๋„๊ฐ€ ํฌ๊ฒŒ ํ–ฅ์ƒ.
- ๋งค๊ฐœ๋ณ€์ˆ˜ ๊ธฐ์ค€ ๋ณ€๊ฒฝ: total batch_size๋Š” GPU๋‹น batch_size๋ฅผ ์˜๋ฏธ.
- total_epoch ๋ณ€๊ฒฝ: ์ตœ๋Œ€ ํ•œ๋„๊ฐ€ 100์—์„œ 1000์œผ๋กœ ์ฆ๊ฐ€. ๊ธฐ๋ณธ๊ฐ’์ด 10์—์„œ 20์œผ๋กœ ์ฆ๊ฐ€.
- ckpt ์ถ”์ถœ์ด ํ”ผ์น˜๋ฅผ ์ž˜๋ชป ์ธ์‹ํ•˜์—ฌ ๋น„์ •์ƒ์ ์ธ ์ถ”๋ก ์„ ์œ ๋ฐœํ•˜๋Š” ๋ฌธ์ œ ์ˆ˜์ •.
- ๋ถ„์‚ฐ ํ›ˆ๋ จ ๊ณผ์ •์—์„œ ๊ฐ ๋žญํฌ๋งˆ๋‹ค ckpt๋ฅผ ์ €์žฅํ•˜๋Š” ๋ฌธ์ œ ์ˆ˜์ •.
- ํŠน์„ฑ ์ถ”์ถœ ๊ณผ์ •์— ๋‚˜๋…ธ ํŠน์„ฑ ํ•„ํ„ฐ๋ง ์ ์šฉ.
- ๋ฌด์Œ ์ž…๋ ฅ/์ถœ๋ ฅ์ด ๋žœ๋คํ•˜๊ฒŒ ์†Œ์Œ์„ ์ƒ์„ฑํ•˜๋Š” ๋ฌธ์ œ ์ˆ˜์ •. (์ด์ „ ๋ชจ๋ธ์€ ์ƒˆ ๋ฐ์ดํ„ฐ์…‹์œผ๋กœ ๋‹ค์‹œ ํ›ˆ๋ จํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค)

### 2023๋…„ 4์›” 16์ผ ์—…๋ฐ์ดํŠธ

- ๋กœ์ปฌ ์‹ค์‹œ๊ฐ„ ์Œ์„ฑ ๋ณ€๊ฒฝ ๋ฏธ๋‹ˆ-GUI ์ถ”๊ฐ€, go-realtime-gui.bat๋ฅผ ๋”๋ธ” ํด๋ฆญํ•˜์—ฌ ์‹œ์ž‘.
- ํ›ˆ๋ จ ๋ฐ ์ถ”๋ก  ์ค‘ 50Hz ์ดํ•˜์˜ ์ฃผํŒŒ์ˆ˜ ๋Œ€์—ญ์— ๋Œ€ํ•ด ํ•„ํ„ฐ๋ง ์ ์šฉ.
- ํ›ˆ๋ จ ๋ฐ ์ถ”๋ก ์˜ pyworld ์ตœ์†Œ ํ”ผ์น˜ ์ถ”์ถœ์„ ๊ธฐ๋ณธ 80์—์„œ 50์œผ๋กœ ๋‚ฎ์ถค. ์ด๋กœ ์ธํ•ด, 50-80Hz ์‚ฌ์ด์˜ ๋‚จ์„ฑ ์ €์Œ์ด ๋ฌด์Œํ™”๋˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค.
- ์‹œ์Šคํ…œ ์ง€์—ญ์— ๋”ฐ๋ฅธ WebUI ์–ธ์–ด ๋ณ€๊ฒฝ ์ง€์›. (ํ˜„์žฌ en_US, ja_JP, zh_CN, zh_HK, zh_SG, zh_TW๋ฅผ ์ง€์›ํ•˜๋ฉฐ, ์ง€์›๋˜์ง€ ์•Š๋Š” ๊ฒฝ์šฐ ๊ธฐ๋ณธ๊ฐ’์€ en_US)
- ์ผ๋ถ€ GPU์˜ ์ธ์‹ ์ˆ˜์ •. (์˜ˆ: V100-16G ์ธ์‹ ์‹คํŒจ, P4 ์ธ์‹ ์‹คํŒจ)

### 2023๋…„ 4์›” 28์ผ ์—…๋ฐ์ดํŠธ

- Faiss ์ธ๋ฑ์Šค ์„ค์ • ์—…๊ทธ๋ ˆ์ด๋“œ๋กœ ์†๋„๊ฐ€ ๋” ๋นจ๋ผ์ง€๊ณ  ํ’ˆ์งˆ์ด ํ–ฅ์ƒ.
- total_npy์— ๋Œ€ํ•œ ์˜์กด์„ฑ ์ œ๊ฑฐ. ์ถ”ํ›„์˜ ๋ชจ๋ธ ๊ณต์œ ๋Š” total_npy ์ž…๋ ฅ์„ ํ•„์š”๋กœ ํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค.
- 16 ์‹œ๋ฆฌ์ฆˆ GPU์— ๋Œ€ํ•œ ์ œํ•œ ํ•ด์ œ, 4GB VRAM GPU์— ๋Œ€ํ•œ 4GB ์ถ”๋ก  ์„ค์ • ์ œ๊ณต.
- ์ผ๋ถ€ ์˜ค๋””์˜ค ํ˜•์‹์— ๋Œ€ํ•œ UVR5 ๋ณด์ปฌ ๋™๋ฐ˜ ๋ถ„๋ฆฌ์—์„œ์˜ ๋ฒ„๊ทธ ์ˆ˜์ •.
- ์‹ค์‹œ๊ฐ„ ์Œ์„ฑ ๋ณ€๊ฒฝ ๋ฏธ๋‹ˆ-GUI๋Š” ์ด์ œ non-40k ๋ฐ non-lazy ํ”ผ์น˜ ๋ชจ๋ธ์„ ์ง€์›ํ•ฉ๋‹ˆ๋‹ค.

### ์ถ”ํ›„ ๊ณ„ํš

Features:

- ๋‹ค์ค‘ ์‚ฌ์šฉ์ž ํ›ˆ๋ จ ํƒญ ์ง€์›.(์ตœ๋Œ€ 4๋ช…)

Base model:

- ํ›ˆ๋ จ ๋ฐ์ดํ„ฐ์…‹์— ์ˆจ์†Œ๋ฆฌ wav ํŒŒ์ผ์„ ์ถ”๊ฐ€ํ•˜์—ฌ, ๋ณด์ปฌ์˜ ํ˜ธํก์ด ๋…ธ์ด์ฆˆ๋กœ ๋ณ€ํ™˜๋˜๋Š” ๋ฌธ์ œ ์ˆ˜์ •.
- ๋ณด์ปฌ ํ›ˆ๋ จ ์„ธํŠธ์˜ ๊ธฐ๋ณธ ๋ชจ๋ธ์„ ์ถ”๊ฐ€ํ•˜๊ธฐ ์œ„ํ•œ ์ž‘์—…์„ ์ง„ํ–‰์ค‘์ด๋ฉฐ, ์ด๋Š” ํ–ฅํ›„์— ๋ฐœํ‘œ๋  ์˜ˆ์ •.