|
### 2023-08-13 |
|
1-์ ๊ธฐ์ ์ธ ๋ฒ๊ทธ ์์ |
|
- ์ต์ ์ด ์ํฌํฌ ์๋ฅผ 1๋ก ๋ณ๊ฒฝํ๊ณ , ์ต์ ์ด ์ํฌํฌ ์๋ฅผ 2๋ก ๋ณ๊ฒฝํฉ๋๋ค. |
|
- ์ฌ์ ํ๋ จ(pre-train) ๋ชจ๋ธ์ ์ฌ์ฉํ์ง ์๋ ํ๋ จ ์ค๋ฅ ์์ |
|
- ๋ฐ์ฃผ ๋ณด์ปฌ ๋ถ๋ฆฌ ํ ๊ทธ๋ํฝ ๋ฉ๋ชจ๋ฆฌ ์ง์ฐ๊ธฐ |
|
- ํ์ด์ฆ ์ ์ฅ ๊ฒฝ๋ก ์ ๋ ๊ฒฝ๋ก๋ฅผ ์๋ ๊ฒฝ๋ก๋ก ๋ณ๊ฒฝ |
|
- ๊ณต๋ฐฑ์ด ํฌํจ๋ ๊ฒฝ๋ก ์ง์(ํ๋ จ ์ธํธ ๊ฒฝ๋ก์ ์คํ ์ด๋ฆ ๋ชจ๋ ์ง์๋๋ฉฐ ๋ ์ด์ ์ค๋ฅ๊ฐ ๋ณด๊ณ ๋์ง ์์) |
|
- ํ์ผ ๋ชฉ๋ก์์ ํ์ utf8 ์ธ์ฝ๋ฉ ์ทจ์ |
|
- ์ค์๊ฐ ์์ฑ ๋ณ๊ฒฝ ์ค faiss ๊ฒ์์ผ๋ก ์ธํ CPU ์๋ชจ ๋ฌธ์ ํด๊ฒฐ |
|
|
|
2-ํค ์
๋ฐ์ดํธ |
|
- ํ์ฌ ๊ฐ์ฅ ๊ฐ๋ ฅํ ์คํ ์์ค ๋ณด์ปฌ ํผ์น ์ถ์ถ ๋ชจ๋ธ RMVPE๋ฅผ ํ๋ จํ๊ณ , ์ด๋ฅผ RVC ํ๋ จ, ์คํ๋ผ์ธ/์ค์๊ฐ ์ถ๋ก ์ ์ฌ์ฉํ๋ฉฐ, PyTorch/Onx/DirectML์ ์ง์ํฉ๋๋ค. |
|
- ํ์ดํ ์น_DML์ ํตํ AMD ๋ฐ ์ธํ
๊ทธ๋ํฝ ์นด๋ ์ง์ |
|
(1) ์ค์๊ฐ ์์ฑ ๋ณํ (2) ์ถ๋ก (3) ๋ณด์ปฌ ๋ฐ์ฃผ ๋ถ๋ฆฌ (4) ํ์ฌ ์ง์๋์ง ์๋ ํ๋ จ์ CPU ํ๋ จ์ผ๋ก ์ ํ, Onnx_Dml์ ํตํ gpu์ RMVPE ์ถ๋ก ์ง์ |
|
|
|
### 2023๋
6์ 18์ผ ์
๋ฐ์ดํธ |
|
|
|
- v2 ๋ฒ์ ์์ ์๋ก์ด 32k์ 48k ์ฌ์ ํ์ต ๋ชจ๋ธ์ ์ถ๊ฐ. |
|
- non-f0 ๋ชจ๋ธ๋ค์ ์ถ๋ก ์ค๋ฅ ์์ . |
|
- ํ์ต ์ธํธ๊ฐ 1์๊ฐ์ ๋์ด๊ฐ๋ ๊ฒฝ์ฐ, ์ธ๋ฑ์ค ์์ฑ ๋จ๊ณ์์ minibatch-kmeans์ ์ฌ์ฉํด, ํ์ต์๋ ๊ฐ์ํ. |
|
- [huggingface](https://huggingface.co/spaces/lj1995/vocal2guitar)์์ vocal2guitar ์ ๊ณต. |
|
- ๋ฐ์ดํฐ ์ฒ๋ฆฌ ๋จ๊ณ์์ ์ด์ ๊ฐ ์๋์ผ๋ก ์ ๊ฑฐ. |
|
- ONNX๋ก ๋ด๋ณด๋ด๋(export) ์ต์
ํญ ์ถ๊ฐ. |
|
|
|
์
๋ฐ์ดํธ์ ์ ์ฉ๋์ง ์์์ง๋ง ์๋ํ ๊ฒ๋ค : |
|
|
|
- ~~์๊ณ์ด ์ฐจ์์ ์ถ๊ฐํ์ฌ ํน์ง ๊ฒ์์ ์งํํ์ง๋ง, ์ ์๋ฏธํ ํจ๊ณผ๋ ์์์ต๋๋ค.~~ |
|
- ~~PCA ์ฐจ์ ์ถ์๋ฅผ ์ถ๊ฐํ์ฌ ํน์ง ๊ฒ์์ ์งํํ์ง๋ง, ์ ์๋ฏธํ ํจ๊ณผ๋ ์์์ต๋๋ค.~~ |
|
- ~~ONNX ์ถ๋ก ์ ์ง์ํ๋ ๊ฒ์ ์คํจํ์ต๋๋ค. nsf ์์ฑ์, Pytorch๊ฐ ํ์ํ๊ธฐ ๋๋ฌธ์
๋๋ค.~~ |
|
- ~~ํ๋ จ ์ค์ ์
๋ ฅ์ ๋ํ ์๊ณ , ์ฑ๋ณ, ์ดํ๋ผ์ด์ , ๋
ธ์ด์ฆ ๋ฑ ๋ฌด์์๋ก ๊ฐํํ๋ ๊ฒ์, ์ ์๋ฏธํ ํจ๊ณผ๋ ์์์ต๋๋ค.~~ |
|
|
|
์ถํ ์
๋ฐ์ดํธ ๋ชฉ๋ก: |
|
|
|
- ~~Vocos-RVC (์ํ ๋ณด์ฝ๋) ํตํฉ ์์ .~~ |
|
- ~~ํ์ต ๋จ๊ณ์ ์๊ณ ์ธ์์ ์ํ Crepe ์ง์ ์์ .~~ |
|
- ~~Crepe์ ์ ๋ฐ๋๋ฅผ REC-config์ ๋๊ธฐํํ์ฌ ์ง์ ์์ .~~ |
|
- FO ์๋ํฐ ์ง์ ์์ . |
|
|
|
### 2023๋
5์ 28์ผ ์
๋ฐ์ดํธ |
|
|
|
- v2 jupyter notebook ์ถ๊ฐ, ํ๊ตญ์ด ์
๋ฐ์ดํธ ๋ก๊ทธ ์ถ๊ฐ, ์์กด์ฑ ๋ชจ๋ ์ผ๋ถ ์์ . |
|
- ๋ฌด์ฑ์ ๋ฐ ์จ์๋ฆฌ ๋ณดํธ ๋ชจ๋ ์ถ๊ฐ. |
|
- crepe-full pitch ๊ฐ์ง ์ง์. |
|
- UVR5 ๋ณด์ปฌ ๋ถ๋ฆฌ: ๋๋ฒ๋ธ ๋ฐ ๋-์์ฝ ๋ชจ๋ธ ์ง์. |
|
- index ์ด๋ฆ์ experiment ์ด๋ฆ๊ณผ ๋ฒ์ ์ถ๊ฐ. |
|
- ๋ฐฐ์น ์์ฑ ๋ณํ ์ฒ๋ฆฌ ๋ฐ UVR5 ๋ณด์ปฌ ๋ถ๋ฆฌ ์, ์ฌ์ฉ์๊ฐ ์๋์ผ๋ก ์ถ๋ ฅ ์ค๋์ค์ ๋ด๋ณด๋ด๊ธฐ(export) ํ์์ ์ ํํ ์ ์๋๋ก ์ง์. |
|
- 32k ํ๋ จ ๋ชจ๋ธ ์ง์ ์ข
๋ฃ. |
|
|
|
### 2023๋
5์ 13์ผ ์
๋ฐ์ดํธ |
|
|
|
- ์ํด๋ฆญ ํจํค์ง์ ์ด์ ๋ฒ์ ๋ฐํ์ ๋ด, ๋ถํ์ํ ์ฝ๋(lib.infer_pack ๋ฐ uvr5_pack) ์ ๊ฑฐ. |
|
- ํ๋ จ ์ธํธ ์ ์ฒ๋ฆฌ์ ์ ์ฌ ๋ค์ค ์ฒ๋ฆฌ ๋ฒ๊ทธ ์์ . |
|
- Harvest ํผ์น ์ธ์ ์๊ณ ๋ฆฌ์ฆ์ ๋ํ ์ค์์ ํํฐ๋ง ๋ฐ๊ฒฝ ์กฐ์ ์ถ๊ฐ. |
|
- ์ค๋์ค ๋ด๋ณด๋ผ ๋, ํ์ฒ๋ฆฌ ๋ฆฌ์ํ๋ง ์ง์. |
|
- ํ๋ จ์ ๋ํ ๋ค์ค ์ฒ๋ฆฌ "n_cpu" ์ค์ ์ด "f0 ์ถ์ถ"์์ "๋ฐ์ดํฐ ์ ์ฒ๋ฆฌ ๋ฐ f0 ์ถ์ถ"๋ก ๋ณ๊ฒฝ. |
|
- logs ํด๋ ํ์ ์ธ๋ฑ์ค ๊ฒฝ๋ก๋ฅผ ์๋์ผ๋ก ๊ฐ์ง ๋ฐ ๋๋กญ๋ค์ด ๋ชฉ๋ก ๊ธฐ๋ฅ ์ ๊ณต. |
|
- ํญ ํ์ด์ง์ "์์ฃผ ๋ฌป๋ ์ง๋ฌธ๊ณผ ๋ต๋ณ" ์ถ๊ฐ. (github RVC wiki ์ฐธ์กฐ ๊ฐ๋ฅ) |
|
- ๋์ผํ ์
๋ ฅ ์ค๋์ค ๊ฒฝ๋ก๋ฅผ ์ฌ์ฉํ ๋ ์ถ๋ก , Harvest ํผ์น๋ฅผ ์บ์. |
|
(์ฃผ์: Harvest ํผ์น ์ถ์ถ์ ์ฌ์ฉํ๋ฉด ์ ์ฒด ํ์ดํ๋ผ์ธ์ ๊ธธ๊ณ ๋ฐ๋ณต์ ์ธ ํผ์น ์ถ์ถ ๊ณผ์ ์ ๊ฑฐ์น๊ฒ๋ฉ๋๋ค. ์บ์ฑ์ ํ์ง ์๋๋ค๋ฉด, ์ฒซ inference ์ดํ์ ๋จ๊ณ์์ timbre, ์ธ๋ฑ์ค, ํผ์น ์ค์์ ํํฐ๋ง ๋ฐ๊ฒฝ ์ค์ ๋ฑ ๋๊ธฐ์๊ฐ์ด ์์ฒญ๋๊ฒ ๊ธธ์ด์ง๋๋ค!) |
|
|
|
### 2023๋
5์ 14์ผ ์
๋ฐ์ดํธ |
|
|
|
- ์
๋ ฅ์ ๋ณผ๋ฅจ ์บก์์ ์ฌ์ฉํ์ฌ ์ถ๋ ฅ์ ๋ณผ๋ฅจ ์บก์์ ํผํฉํ๊ฑฐ๋ ๋์ฒด. (์
๋ ฅ์ด ๋ฌด์์ด๊ฑฐ๋ ์ถ๋ ฅ์ ๋
ธ์ด์ฆ ๋ฌธ์ ๋ฅผ ์ต์ํ ํ ์ ์์ต๋๋ค. ์
๋ ฅ ์ค๋์ค์ ๋ฐฐ๊ฒฝ ๋
ธ์ด์ฆ(์์)๊ฐ ํฐ ๊ฒฝ์ฐ ํด๋น ๊ธฐ๋ฅ์ ์ฌ์ฉํ์ง ์๋ ๊ฒ์ด ์ข์ต๋๋ค. ๊ธฐ๋ณธ์ ์ผ๋ก ๋นํ์ฑํ ๋์ด์๋ ์ต์
์
๋๋ค. (1: ๋นํ์ฑํ ์ํ)) |
|
- ์ถ์ถ๋ ์ํ ๋ชจ๋ธ์ ์ง์ ๋ ๋น๋๋ก ์ ์ฅํ๋ ๊ธฐ๋ฅ์ ์ง์. (๋ค์ํ ์ํญ ํ์์์ ์ฑ๋ฅ์ ๋ณด๋ ค๊ณ ํ์ง๋ง ๋ชจ๋ ๋ํ ์ฒดํฌํฌ์ธํธ๋ฅผ ์ ์ฅํ๊ณ ๋งค๋ฒ ckpt ์ฒ๋ฆฌ๋ฅผ ํตํด ์ํ ๋ชจ๋ธ์ ์๋์ผ๋ก ์ถ์ถํ๊ณ ์ถ์ง ์์ ๊ฒฝ์ฐ ์ด ๊ธฐ๋ฅ์ ๋งค์ฐ ์ ์ฉํฉ๋๋ค) |
|
- ํ๊ฒฝ ๋ณ์๋ฅผ ์ค์ ํ์ฌ ์๋ฒ์ ์ ์ญ ํ๋ก์๋ก ์ธํ "์ฐ๊ฒฐ ์ค๋ฅ" ๋ฌธ์ ํด๊ฒฐ. |
|
- ์ฌ์ ํ๋ จ๋ v2 ๋ชจ๋ธ ์ง์. (ํ์ฌ 40k ๋ฒ์ ๋ง ํ
์คํธ๋ฅผ ์ํด ๊ณต๊ฐ์ ์ผ๋ก ์ฌ์ฉ ๊ฐ๋ฅํ๋ฉฐ, ๋ค๋ฅธ ๋ ๊ฐ์ ์ํ๋ง ๋น์จ์ ์์ง ์์ ํ ํ๋ จ๋์ง ์์ ๋ณด๋ฅ๋์์ต๋๋ค.) |
|
- ์ถ๋ก ์ , 1์ ์ด๊ณผํ๋ ๊ณผ๋ํ ๋ณผ๋ฅจ ์ ํ. |
|
- ๋ฐ์ดํฐ ์ ์ฒ๋ฆฌ ๋งค๊ฐ๋ณ์ ๋ฏธ์ธ ์กฐ์ . |
|
|
|
### 2023๋
4์ 9์ผ ์
๋ฐ์ดํธ |
|
|
|
- GPU ์ด์ฉ๋ฅ ํฅ์์ ์ํด ํ๋ จ ํ๋ผ๋ฏธํฐ ์์ : A100์ 25%์์ ์ฝ 90%๋ก ์ฆ๊ฐ, V100: 50%์์ ์ฝ 90%๋ก ์ฆ๊ฐ, 2060S: 60%์์ ์ฝ 85%๋ก ์ฆ๊ฐ, P40: 25%์์ ์ฝ 95%๋ก ์ฆ๊ฐ. |
|
ํ๋ จ ์๋๊ฐ ํฌ๊ฒ ํฅ์. |
|
- ๋งค๊ฐ๋ณ์ ๊ธฐ์ค ๋ณ๊ฒฝ: total batch_size๋ GPU๋น batch_size๋ฅผ ์๋ฏธ. |
|
- total_epoch ๋ณ๊ฒฝ: ์ต๋ ํ๋๊ฐ 100์์ 1000์ผ๋ก ์ฆ๊ฐ. ๊ธฐ๋ณธ๊ฐ์ด 10์์ 20์ผ๋ก ์ฆ๊ฐ. |
|
- ckpt ์ถ์ถ์ด ํผ์น๋ฅผ ์๋ชป ์ธ์ํ์ฌ ๋น์ ์์ ์ธ ์ถ๋ก ์ ์ ๋ฐํ๋ ๋ฌธ์ ์์ . |
|
- ๋ถ์ฐ ํ๋ จ ๊ณผ์ ์์ ๊ฐ ๋ญํฌ๋ง๋ค ckpt๋ฅผ ์ ์ฅํ๋ ๋ฌธ์ ์์ . |
|
- ํน์ฑ ์ถ์ถ ๊ณผ์ ์ ๋๋
ธ ํน์ฑ ํํฐ๋ง ์ ์ฉ. |
|
- ๋ฌด์ ์
๋ ฅ/์ถ๋ ฅ์ด ๋๋คํ๊ฒ ์์์ ์์ฑํ๋ ๋ฌธ์ ์์ . (์ด์ ๋ชจ๋ธ์ ์ ๋ฐ์ดํฐ์
์ผ๋ก ๋ค์ ํ๋ จํด์ผ ํฉ๋๋ค) |
|
|
|
### 2023๋
4์ 16์ผ ์
๋ฐ์ดํธ |
|
|
|
- ๋ก์ปฌ ์ค์๊ฐ ์์ฑ ๋ณ๊ฒฝ ๋ฏธ๋-GUI ์ถ๊ฐ, go-realtime-gui.bat๋ฅผ ๋๋ธ ํด๋ฆญํ์ฌ ์์. |
|
- ํ๋ จ ๋ฐ ์ถ๋ก ์ค 50Hz ์ดํ์ ์ฃผํ์ ๋์ญ์ ๋ํด ํํฐ๋ง ์ ์ฉ. |
|
- ํ๋ จ ๋ฐ ์ถ๋ก ์ pyworld ์ต์ ํผ์น ์ถ์ถ์ ๊ธฐ๋ณธ 80์์ 50์ผ๋ก ๋ฎ์ถค. ์ด๋ก ์ธํด, 50-80Hz ์ฌ์ด์ ๋จ์ฑ ์ ์์ด ๋ฌด์ํ๋์ง ์์ต๋๋ค. |
|
- ์์คํ
์ง์ญ์ ๋ฐ๋ฅธ WebUI ์ธ์ด ๋ณ๊ฒฝ ์ง์. (ํ์ฌ en_US, ja_JP, zh_CN, zh_HK, zh_SG, zh_TW๋ฅผ ์ง์ํ๋ฉฐ, ์ง์๋์ง ์๋ ๊ฒฝ์ฐ ๊ธฐ๋ณธ๊ฐ์ en_US) |
|
- ์ผ๋ถ GPU์ ์ธ์ ์์ . (์: V100-16G ์ธ์ ์คํจ, P4 ์ธ์ ์คํจ) |
|
|
|
### 2023๋
4์ 28์ผ ์
๋ฐ์ดํธ |
|
|
|
- Faiss ์ธ๋ฑ์ค ์ค์ ์
๊ทธ๋ ์ด๋๋ก ์๋๊ฐ ๋ ๋นจ๋ผ์ง๊ณ ํ์ง์ด ํฅ์. |
|
- total_npy์ ๋ํ ์์กด์ฑ ์ ๊ฑฐ. ์ถํ์ ๋ชจ๋ธ ๊ณต์ ๋ total_npy ์
๋ ฅ์ ํ์๋ก ํ์ง ์์ต๋๋ค. |
|
- 16 ์๋ฆฌ์ฆ GPU์ ๋ํ ์ ํ ํด์ , 4GB VRAM GPU์ ๋ํ 4GB ์ถ๋ก ์ค์ ์ ๊ณต. |
|
- ์ผ๋ถ ์ค๋์ค ํ์์ ๋ํ UVR5 ๋ณด์ปฌ ๋๋ฐ ๋ถ๋ฆฌ์์์ ๋ฒ๊ทธ ์์ . |
|
- ์ค์๊ฐ ์์ฑ ๋ณ๊ฒฝ ๋ฏธ๋-GUI๋ ์ด์ non-40k ๋ฐ non-lazy ํผ์น ๋ชจ๋ธ์ ์ง์ํฉ๋๋ค. |
|
|
|
### ์ถํ ๊ณํ |
|
|
|
Features: |
|
|
|
- ๋ค์ค ์ฌ์ฉ์ ํ๋ จ ํญ ์ง์.(์ต๋ 4๋ช
) |
|
|
|
Base model: |
|
|
|
- ํ๋ จ ๋ฐ์ดํฐ์
์ ์จ์๋ฆฌ wav ํ์ผ์ ์ถ๊ฐํ์ฌ, ๋ณด์ปฌ์ ํธํก์ด ๋
ธ์ด์ฆ๋ก ๋ณํ๋๋ ๋ฌธ์ ์์ . |
|
- ๋ณด์ปฌ ํ๋ จ ์ธํธ์ ๊ธฐ๋ณธ ๋ชจ๋ธ์ ์ถ๊ฐํ๊ธฐ ์ํ ์์
์ ์งํ์ค์ด๋ฉฐ, ์ด๋ ํฅํ์ ๋ฐํ๋ ์์ . |
|
|