File size: 8,642 Bytes
1e43516 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 |
### 2023๋
10์ 6์ผ ์
๋ฐ์ดํธ
์ค์๊ฐ ์์ฑ ๋ณํ์ ์ํ ์ธํฐํ์ด์ค์ธ go-realtime-gui.bat/gui_v1.py๋ฅผ ์ ์ํ์ต๋๋ค(์ฌ์ค ์ด๋ ์ด๋ฏธ ์กด์ฌํ์์ต๋๋ค). ์ด๋ฒ ์
๋ฐ์ดํธ๋ ์ฃผ๋ก ์ค์๊ฐ ์์ฑ ๋ณํ ์ฑ๋ฅ์ ์ต์ ํํ๋ ๋ฐ ์ค์ ์ ๋์์ต๋๋ค. 0813 ๋ฒ์ ๊ณผ ๋น๊ตํ์ฌ:
- 1. ์ธํฐํ์ด์ค ์กฐ์ ์ต์ ํ: ๋งค๊ฐ๋ณ์ ํซ ์
๋ฐ์ดํธ(๋งค๊ฐ๋ณ์ ์กฐ์ ์ ์ค๋จ ํ ์ฌ์์ ํ์ ์์), ๋ชจ๋ธ ์ง์ฐ ๋ก๋ฉ(์ด๋ฏธ ๋ก๋๋ ๋ชจ๋ธ์ ์ฌ๋ก๋ ํ์ ์์), ์๋ ์ธ์ ๋งค๊ฐ๋ณ์ ์ถ๊ฐ(์๋์ ์
๋ ฅ ์ค๋์ค์ ๊ฐ๊น๊ฒ ์กฐ์ )
- 2. ๋ด์ฅ๋ ๋
ธ์ด์ฆ ๊ฐ์ ํจ๊ณผ ๋ฐ ์๋ ์ต์ ํ
- 3. ์ถ๋ก ์๋ ํฌ๊ฒ ํฅ์
์
๋ ฅ ๋ฐ ์ถ๋ ฅ ์ฅ์น๋ ๋์ผํ ์ ํ์ ์ ํํด์ผ ํฉ๋๋ค. ์๋ฅผ ๋ค์ด, ๋ชจ๋ MME ์ ํ์ ์ ํํด์ผ ํฉ๋๋ค.
1006 ๋ฒ์ ์ ์ ์ฒด ์
๋ฐ์ดํธ๋ ๋ค์๊ณผ ๊ฐ์ต๋๋ค:
- 1. rmvpe ์์ฑ ํผ์น ์ถ์ถ ์๊ณ ๋ฆฌ์ฆ์ ํจ๊ณผ๋ฅผ ๊ณ์ํด์ ํฅ์, ํนํ ๋จ์ฑ ์ ์์ญ์ ๋ํ ๊ฐ์ ์ด ํผ
- 2. ์ถ๋ก ์ธํฐํ์ด์ค ๋ ์ด์์ ์ต์ ํ
### 2023๋
08์ 13์ผ ์
๋ฐ์ดํธ
1-์ ๊ธฐ์ ์ธ ๋ฒ๊ทธ ์์
- ์ต์ ์ด ์ํฌํฌ ์๋ฅผ 1๋ก ๋ณ๊ฒฝํ๊ณ , ์ต์ ์ด ์ํฌํฌ ์๋ฅผ 2๋ก ๋ณ๊ฒฝํฉ๋๋ค.
- ์ฌ์ ํ๋ จ(pre-train) ๋ชจ๋ธ์ ์ฌ์ฉํ์ง ์๋ ํ๋ จ ์ค๋ฅ ์์
- ๋ฐ์ฃผ ๋ณด์ปฌ ๋ถ๋ฆฌ ํ ๊ทธ๋ํฝ ๋ฉ๋ชจ๋ฆฌ ์ง์ฐ๊ธฐ
- ํ์ด์ฆ ์ ์ฅ ๊ฒฝ๋ก ์ ๋ ๊ฒฝ๋ก๋ฅผ ์๋ ๊ฒฝ๋ก๋ก ๋ณ๊ฒฝ
- ๊ณต๋ฐฑ์ด ํฌํจ๋ ๊ฒฝ๋ก ์ง์(ํ๋ จ ์ธํธ ๊ฒฝ๋ก์ ์คํ ์ด๋ฆ ๋ชจ๋ ์ง์๋๋ฉฐ ๋ ์ด์ ์ค๋ฅ๊ฐ ๋ณด๊ณ ๋์ง ์์)
- ํ์ผ ๋ชฉ๋ก์์ ํ์ utf8 ์ธ์ฝ๋ฉ ์ทจ์
- ์ค์๊ฐ ์์ฑ ๋ณ๊ฒฝ ์ค faiss ๊ฒ์์ผ๋ก ์ธํ CPU ์๋ชจ ๋ฌธ์ ํด๊ฒฐ
2-ํค ์
๋ฐ์ดํธ
- ํ์ฌ ๊ฐ์ฅ ๊ฐ๋ ฅํ ์คํ ์์ค ๋ณด์ปฌ ํผ์น ์ถ์ถ ๋ชจ๋ธ RMVPE๋ฅผ ํ๋ จํ๊ณ , ์ด๋ฅผ RVC ํ๋ จ, ์คํ๋ผ์ธ/์ค์๊ฐ ์ถ๋ก ์ ์ฌ์ฉํ๋ฉฐ, PyTorch/Onx/DirectML์ ์ง์ํฉ๋๋ค.
- ํ์ดํ ์น\_DML์ ํตํ AMD ๋ฐ ์ธํ
๊ทธ๋ํฝ ์นด๋ ์ง์
(1) ์ค์๊ฐ ์์ฑ ๋ณํ (2) ์ถ๋ก (3) ๋ณด์ปฌ ๋ฐ์ฃผ ๋ถ๋ฆฌ (4) ํ์ฌ ์ง์๋์ง ์๋ ํ๋ จ์ CPU ํ๋ จ์ผ๋ก ์ ํ, Onnx_Dml์ ํตํ gpu์ RMVPE ์ถ๋ก ์ง์
### 2023๋
6์ 18์ผ ์
๋ฐ์ดํธ
- v2 ๋ฒ์ ์์ ์๋ก์ด 32k์ 48k ์ฌ์ ํ์ต ๋ชจ๋ธ์ ์ถ๊ฐ.
- non-f0 ๋ชจ๋ธ๋ค์ ์ถ๋ก ์ค๋ฅ ์์ .
- ํ์ต ์ธํธ๊ฐ 1์๊ฐ์ ๋์ด๊ฐ๋ ๊ฒฝ์ฐ, ์ธ๋ฑ์ค ์์ฑ ๋จ๊ณ์์ minibatch-kmeans์ ์ฌ์ฉํด, ํ์ต์๋ ๊ฐ์ํ.
- [huggingface](https://huggingface.co/spaces/lj1995/vocal2guitar)์์ vocal2guitar ์ ๊ณต.
- ๋ฐ์ดํฐ ์ฒ๋ฆฌ ๋จ๊ณ์์ ์ด์ ๊ฐ ์๋์ผ๋ก ์ ๊ฑฐ.
- ONNX๋ก ๋ด๋ณด๋ด๋(export) ์ต์
ํญ ์ถ๊ฐ.
์
๋ฐ์ดํธ์ ์ ์ฉ๋์ง ์์์ง๋ง ์๋ํ ๊ฒ๋ค :
- ~~์๊ณ์ด ์ฐจ์์ ์ถ๊ฐํ์ฌ ํน์ง ๊ฒ์์ ์งํํ์ง๋ง, ์ ์๋ฏธํ ํจ๊ณผ๋ ์์์ต๋๋ค.~~
- ~~PCA ์ฐจ์ ์ถ์๋ฅผ ์ถ๊ฐํ์ฌ ํน์ง ๊ฒ์์ ์งํํ์ง๋ง, ์ ์๋ฏธํ ํจ๊ณผ๋ ์์์ต๋๋ค.~~
- ~~ONNX ์ถ๋ก ์ ์ง์ํ๋ ๊ฒ์ ์คํจํ์ต๋๋ค. nsf ์์ฑ์, Pytorch๊ฐ ํ์ํ๊ธฐ ๋๋ฌธ์
๋๋ค.~~
- ~~ํ๋ จ ์ค์ ์
๋ ฅ์ ๋ํ ์๊ณ , ์ฑ๋ณ, ์ดํ๋ผ์ด์ , ๋
ธ์ด์ฆ ๋ฑ ๋ฌด์์๋ก ๊ฐํํ๋ ๊ฒ์, ์ ์๋ฏธํ ํจ๊ณผ๋ ์์์ต๋๋ค.~~
์ถํ ์
๋ฐ์ดํธ ๋ชฉ๋ก:
- ~~Vocos-RVC (์ํ ๋ณด์ฝ๋) ํตํฉ ์์ .~~
- ~~ํ์ต ๋จ๊ณ์ ์๊ณ ์ธ์์ ์ํ Crepe ์ง์ ์์ .~~
- ~~Crepe์ ์ ๋ฐ๋๋ฅผ REC-config์ ๋๊ธฐํํ์ฌ ์ง์ ์์ .~~
- FO ์๋ํฐ ์ง์ ์์ .
### 2023๋
5์ 28์ผ ์
๋ฐ์ดํธ
- v2 jupyter notebook ์ถ๊ฐ, ํ๊ตญ์ด ์
๋ฐ์ดํธ ๋ก๊ทธ ์ถ๊ฐ, ์์กด์ฑ ๋ชจ๋ ์ผ๋ถ ์์ .
- ๋ฌด์ฑ์ ๋ฐ ์จ์๋ฆฌ ๋ณดํธ ๋ชจ๋ ์ถ๊ฐ.
- crepe-full pitch ๊ฐ์ง ์ง์.
- UVR5 ๋ณด์ปฌ ๋ถ๋ฆฌ: ๋๋ฒ๋ธ ๋ฐ ๋-์์ฝ ๋ชจ๋ธ ์ง์.
- index ์ด๋ฆ์ experiment ์ด๋ฆ๊ณผ ๋ฒ์ ์ถ๊ฐ.
- ๋ฐฐ์น ์์ฑ ๋ณํ ์ฒ๋ฆฌ ๋ฐ UVR5 ๋ณด์ปฌ ๋ถ๋ฆฌ ์, ์ฌ์ฉ์๊ฐ ์๋์ผ๋ก ์ถ๋ ฅ ์ค๋์ค์ ๋ด๋ณด๋ด๊ธฐ(export) ํ์์ ์ ํํ ์ ์๋๋ก ์ง์.
- 32k ํ๋ จ ๋ชจ๋ธ ์ง์ ์ข
๋ฃ.
### 2023๋
5์ 13์ผ ์
๋ฐ์ดํธ
- ์ํด๋ฆญ ํจํค์ง์ ์ด์ ๋ฒ์ ๋ฐํ์ ๋ด, ๋ถํ์ํ ์ฝ๋(lib.infer_pack ๋ฐ uvr5_pack) ์ ๊ฑฐ.
- ํ๋ จ ์ธํธ ์ ์ฒ๋ฆฌ์ ์ ์ฌ ๋ค์ค ์ฒ๋ฆฌ ๋ฒ๊ทธ ์์ .
- Harvest ํผ์น ์ธ์ ์๊ณ ๋ฆฌ์ฆ์ ๋ํ ์ค์์ ํํฐ๋ง ๋ฐ๊ฒฝ ์กฐ์ ์ถ๊ฐ.
- ์ค๋์ค ๋ด๋ณด๋ผ ๋, ํ์ฒ๋ฆฌ ๋ฆฌ์ํ๋ง ์ง์.
- ํ๋ จ์ ๋ํ ๋ค์ค ์ฒ๋ฆฌ "n_cpu" ์ค์ ์ด "f0 ์ถ์ถ"์์ "๋ฐ์ดํฐ ์ ์ฒ๋ฆฌ ๋ฐ f0 ์ถ์ถ"๋ก ๋ณ๊ฒฝ.
- logs ํด๋ ํ์ ์ธ๋ฑ์ค ๊ฒฝ๋ก๋ฅผ ์๋์ผ๋ก ๊ฐ์ง ๋ฐ ๋๋กญ๋ค์ด ๋ชฉ๋ก ๊ธฐ๋ฅ ์ ๊ณต.
- ํญ ํ์ด์ง์ "์์ฃผ ๋ฌป๋ ์ง๋ฌธ๊ณผ ๋ต๋ณ" ์ถ๊ฐ. (github RVC wiki ์ฐธ์กฐ ๊ฐ๋ฅ)
- ๋์ผํ ์
๋ ฅ ์ค๋์ค ๊ฒฝ๋ก๋ฅผ ์ฌ์ฉํ ๋ ์ถ๋ก , Harvest ํผ์น๋ฅผ ์บ์.
(์ฃผ์: Harvest ํผ์น ์ถ์ถ์ ์ฌ์ฉํ๋ฉด ์ ์ฒด ํ์ดํ๋ผ์ธ์ ๊ธธ๊ณ ๋ฐ๋ณต์ ์ธ ํผ์น ์ถ์ถ ๊ณผ์ ์ ๊ฑฐ์น๊ฒ๋ฉ๋๋ค. ์บ์ฑ์ ํ์ง ์๋๋ค๋ฉด, ์ฒซ inference ์ดํ์ ๋จ๊ณ์์ timbre, ์ธ๋ฑ์ค, ํผ์น ์ค์์ ํํฐ๋ง ๋ฐ๊ฒฝ ์ค์ ๋ฑ ๋๊ธฐ์๊ฐ์ด ์์ฒญ๋๊ฒ ๊ธธ์ด์ง๋๋ค!)
### 2023๋
5์ 14์ผ ์
๋ฐ์ดํธ
- ์
๋ ฅ์ ๋ณผ๋ฅจ ์บก์์ ์ฌ์ฉํ์ฌ ์ถ๋ ฅ์ ๋ณผ๋ฅจ ์บก์์ ํผํฉํ๊ฑฐ๋ ๋์ฒด. (์
๋ ฅ์ด ๋ฌด์์ด๊ฑฐ๋ ์ถ๋ ฅ์ ๋
ธ์ด์ฆ ๋ฌธ์ ๋ฅผ ์ต์ํ ํ ์ ์์ต๋๋ค. ์
๋ ฅ ์ค๋์ค์ ๋ฐฐ๊ฒฝ ๋
ธ์ด์ฆ(์์)๊ฐ ํฐ ๊ฒฝ์ฐ ํด๋น ๊ธฐ๋ฅ์ ์ฌ์ฉํ์ง ์๋ ๊ฒ์ด ์ข์ต๋๋ค. ๊ธฐ๋ณธ์ ์ผ๋ก ๋นํ์ฑํ ๋์ด์๋ ์ต์
์
๋๋ค. (1: ๋นํ์ฑํ ์ํ))
- ์ถ์ถ๋ ์ํ ๋ชจ๋ธ์ ์ง์ ๋ ๋น๋๋ก ์ ์ฅํ๋ ๊ธฐ๋ฅ์ ์ง์. (๋ค์ํ ์ํญ ํ์์์ ์ฑ๋ฅ์ ๋ณด๋ ค๊ณ ํ์ง๋ง ๋ชจ๋ ๋ํ ์ฒดํฌํฌ์ธํธ๋ฅผ ์ ์ฅํ๊ณ ๋งค๋ฒ ckpt ์ฒ๋ฆฌ๋ฅผ ํตํด ์ํ ๋ชจ๋ธ์ ์๋์ผ๋ก ์ถ์ถํ๊ณ ์ถ์ง ์์ ๊ฒฝ์ฐ ์ด ๊ธฐ๋ฅ์ ๋งค์ฐ ์ ์ฉํฉ๋๋ค)
- ํ๊ฒฝ ๋ณ์๋ฅผ ์ค์ ํ์ฌ ์๋ฒ์ ์ ์ญ ํ๋ก์๋ก ์ธํ "์ฐ๊ฒฐ ์ค๋ฅ" ๋ฌธ์ ํด๊ฒฐ.
- ์ฌ์ ํ๋ จ๋ v2 ๋ชจ๋ธ ์ง์. (ํ์ฌ 40k ๋ฒ์ ๋ง ํ
์คํธ๋ฅผ ์ํด ๊ณต๊ฐ์ ์ผ๋ก ์ฌ์ฉ ๊ฐ๋ฅํ๋ฉฐ, ๋ค๋ฅธ ๋ ๊ฐ์ ์ํ๋ง ๋น์จ์ ์์ง ์์ ํ ํ๋ จ๋์ง ์์ ๋ณด๋ฅ๋์์ต๋๋ค.)
- ์ถ๋ก ์ , 1์ ์ด๊ณผํ๋ ๊ณผ๋ํ ๋ณผ๋ฅจ ์ ํ.
- ๋ฐ์ดํฐ ์ ์ฒ๋ฆฌ ๋งค๊ฐ๋ณ์ ๋ฏธ์ธ ์กฐ์ .
### 2023๋
4์ 9์ผ ์
๋ฐ์ดํธ
- GPU ์ด์ฉ๋ฅ ํฅ์์ ์ํด ํ๋ จ ํ๋ผ๋ฏธํฐ ์์ : A100์ 25%์์ ์ฝ 90%๋ก ์ฆ๊ฐ, V100: 50%์์ ์ฝ 90%๋ก ์ฆ๊ฐ, 2060S: 60%์์ ์ฝ 85%๋ก ์ฆ๊ฐ, P40: 25%์์ ์ฝ 95%๋ก ์ฆ๊ฐ.
ํ๋ จ ์๋๊ฐ ํฌ๊ฒ ํฅ์.
- ๋งค๊ฐ๋ณ์ ๊ธฐ์ค ๋ณ๊ฒฝ: total batch_size๋ GPU๋น batch_size๋ฅผ ์๋ฏธ.
- total_epoch ๋ณ๊ฒฝ: ์ต๋ ํ๋๊ฐ 100์์ 1000์ผ๋ก ์ฆ๊ฐ. ๊ธฐ๋ณธ๊ฐ์ด 10์์ 20์ผ๋ก ์ฆ๊ฐ.
- ckpt ์ถ์ถ์ด ํผ์น๋ฅผ ์๋ชป ์ธ์ํ์ฌ ๋น์ ์์ ์ธ ์ถ๋ก ์ ์ ๋ฐํ๋ ๋ฌธ์ ์์ .
- ๋ถ์ฐ ํ๋ จ ๊ณผ์ ์์ ๊ฐ ๋ญํฌ๋ง๋ค ckpt๋ฅผ ์ ์ฅํ๋ ๋ฌธ์ ์์ .
- ํน์ฑ ์ถ์ถ ๊ณผ์ ์ ๋๋
ธ ํน์ฑ ํํฐ๋ง ์ ์ฉ.
- ๋ฌด์ ์
๋ ฅ/์ถ๋ ฅ์ด ๋๋คํ๊ฒ ์์์ ์์ฑํ๋ ๋ฌธ์ ์์ . (์ด์ ๋ชจ๋ธ์ ์ ๋ฐ์ดํฐ์
์ผ๋ก ๋ค์ ํ๋ จํด์ผ ํฉ๋๋ค)
### 2023๋
4์ 16์ผ ์
๋ฐ์ดํธ
- ๋ก์ปฌ ์ค์๊ฐ ์์ฑ ๋ณ๊ฒฝ ๋ฏธ๋-GUI ์ถ๊ฐ, go-realtime-gui.bat๋ฅผ ๋๋ธ ํด๋ฆญํ์ฌ ์์.
- ํ๋ จ ๋ฐ ์ถ๋ก ์ค 50Hz ์ดํ์ ์ฃผํ์ ๋์ญ์ ๋ํด ํํฐ๋ง ์ ์ฉ.
- ํ๋ จ ๋ฐ ์ถ๋ก ์ pyworld ์ต์ ํผ์น ์ถ์ถ์ ๊ธฐ๋ณธ 80์์ 50์ผ๋ก ๋ฎ์ถค. ์ด๋ก ์ธํด, 50-80Hz ์ฌ์ด์ ๋จ์ฑ ์ ์์ด ๋ฌด์ํ๋์ง ์์ต๋๋ค.
- ์์คํ
์ง์ญ์ ๋ฐ๋ฅธ WebUI ์ธ์ด ๋ณ๊ฒฝ ์ง์. (ํ์ฌ en_US, ja_JP, zh_CN, zh_HK, zh_SG, zh_TW๋ฅผ ์ง์ํ๋ฉฐ, ์ง์๋์ง ์๋ ๊ฒฝ์ฐ ๊ธฐ๋ณธ๊ฐ์ en_US)
- ์ผ๋ถ GPU์ ์ธ์ ์์ . (์: V100-16G ์ธ์ ์คํจ, P4 ์ธ์ ์คํจ)
### 2023๋
4์ 28์ผ ์
๋ฐ์ดํธ
- Faiss ์ธ๋ฑ์ค ์ค์ ์
๊ทธ๋ ์ด๋๋ก ์๋๊ฐ ๋ ๋นจ๋ผ์ง๊ณ ํ์ง์ด ํฅ์.
- total_npy์ ๋ํ ์์กด์ฑ ์ ๊ฑฐ. ์ถํ์ ๋ชจ๋ธ ๊ณต์ ๋ total_npy ์
๋ ฅ์ ํ์๋ก ํ์ง ์์ต๋๋ค.
- 16 ์๋ฆฌ์ฆ GPU์ ๋ํ ์ ํ ํด์ , 4GB VRAM GPU์ ๋ํ 4GB ์ถ๋ก ์ค์ ์ ๊ณต.
- ์ผ๋ถ ์ค๋์ค ํ์์ ๋ํ UVR5 ๋ณด์ปฌ ๋๋ฐ ๋ถ๋ฆฌ์์์ ๋ฒ๊ทธ ์์ .
- ์ค์๊ฐ ์์ฑ ๋ณ๊ฒฝ ๋ฏธ๋-GUI๋ ์ด์ non-40k ๋ฐ non-lazy ํผ์น ๋ชจ๋ธ์ ์ง์ํฉ๋๋ค.
### ์ถํ ๊ณํ
Features:
- ๋ค์ค ์ฌ์ฉ์ ํ๋ จ ํญ ์ง์.(์ต๋ 4๋ช
)
Base model:
- ํ๋ จ ๋ฐ์ดํฐ์
์ ์จ์๋ฆฌ wav ํ์ผ์ ์ถ๊ฐํ์ฌ, ๋ณด์ปฌ์ ํธํก์ด ๋
ธ์ด์ฆ๋ก ๋ณํ๋๋ ๋ฌธ์ ์์ .
- ๋ณด์ปฌ ํ๋ จ ์ธํธ์ ๊ธฐ๋ณธ ๋ชจ๋ธ์ ์ถ๊ฐํ๊ธฐ ์ํ ์์
์ ์งํ์ค์ด๋ฉฐ, ์ด๋ ํฅํ์ ๋ฐํ๋ ์์ .
|