initial

.gitignore

@@ -0,0 +1,12 @@
+/COEIROINK-*/
+/MMVCServerSIO/
+/RVC-beta/
+/RinneVoiceSet/
+/7zr.exe
+/COEIROINK-*.zip
+/MMVCServerSIO_*.zip
+/Rinne.index
+/Rinne.npy
+/Rinne.onnx
+/Rinne.pth
+/RVC-beta.7z

Packaging.bat

@@ -0,0 +1,33 @@
+@echo off
+
+pushd %~dp0
+
+set SEVEN_ZIP=7zr.exe
+if not exist %SEVEN_ZIP% ( curl -LO  https://www.7-zip.org/a/7zr.exe )
+
+set DST=RinneVoiceSet
+
+xcopy /QY README.md %DST%\
+xcopy /QY README.png %DST%\
+xcopy /QY Setup.bat %DST%\
+xcopy /QY Sing.md %DST%\
+xcopy /QY Sing0.png %DST%\
+xcopy /QY Sing1.png %DST%\
+xcopy /QY Sing2.png %DST%\
+xcopy /QY Speech.md %DST%\
+xcopy /QY Speech.png %DST%\
+xcopy /QY VoiceChange.md %DST%\
+xcopy /QY VoiceChange.png %DST%\
+
+7zr a %DST%\DoNotExtract.7z^
+ 64274982-857a-11ed-a560-0242ac1c000c\^
+ Rinne.index^
+ Rinne.npy^
+ Rinne.onnx^
+ Rinne.pth^
+ Sing.bat^
+ Speech.bat^
+ SpeechCPU.bat^
+ VoiceChange.bat
+
+popd

Setup.bat

@@ -0,0 +1,10 @@
+@echo off
+
+pushd %~dp0
+
+set SEVEN_ZIP=7zr.exe
+if not exist %SEVEN_ZIP% ( curl -LO  https://www.7-zip.org/a/7zr.exe )
+
+%SEVEN_ZIP% x DoNotExtract.7z
+
+popd

Sing.bat

@@ -0,0 +1,28 @@
+@echo off
+
+pushd %~dp0
+
+set SEVEN_ZIP=7zr.exe
+
+if not exist %SEVEN_ZIP% (
+	curl -LO  https://www.7-zip.org/a/7zr.exe
+)
+
+set RVC_ZIP=RVC-beta.7z
+if not exist %RVC_ZIP% (
+	curl -LO https://huggingface.co/lj1995/VoiceConversionWebUI/resolve/main/%RVC_ZIP%
+)
+
+set RVC_DIR=RVC-beta
+if not exist %RVC_DIR%\ (
+	%SEVEN_ZIP% x %RVC_ZIP%
+)
+
+if not exist %RVC_DIR%\weights\Rinne.pth (
+	copy .\Rinne.pth %RVC_DIR%\weights\
+)
+
+popd
+
+cd %~dp0%RVC_DIR%
+start go-web.bat

Sing.md

@@ -0,0 +1,38 @@
+# Rinne を歌わせたい
+
+[Retrieval-based-Voice-Conversion-WebUI](https://github.com/liujing04/Retrieval-based-Voice-Conversion-WebUI) で、すでにある曲を Rinne に歌わせます。
+
+# つかいかた
+
+1. 女性のボーカル付きの曲を mp3 形式や wav 形式で用意します。
+2. `Sing.bat` をダブルクリックして、[Retrieval-based-Voice-Conversion-WebUI](https://github.com/liujing04/Retrieval-based-Voice-Conversion-WebUI) を立ち上げます。
+	- Windowsファイアウォールで通信を許可しなくとも利用できるようです。
+3. ブラウザに WebUI が表示されたら画面上部の、「伴奏とボーカルの分離」で、曲を伴奏とボーカルに分離します。
+![Sing0](./Sing0.png)
+	- 左下の「ここにファイルをドロップ -または- クリックしてアップロード」から mp3 形式や wav 形式の曲を登録できますが、**すぐ上の「フォルダパスを入力」を空欄にする必要があります**。
+	- モデルを「HP5-～」にして「変換」すると `RVC-beta\opt\` 以下に伴奏とボーカルの wav が出力されます。
+		- 曲によって相性があるようなので、「HP2-～」でも「変換」してどちらが伴奏とボーカルをキレイに分離できているかを比較します。
+4. ボーカルが分離できたら上部の「モデル推論」で、ボーカルを Rinne の声に変換します。
+![Sing1](./Sing1.png)
+	- 「音源推論」を「Rinne.pth」にします。
+	- 「処理対象音声ファイルのパス」にボーカルのwevのパスにします（フルパス可）。
+	- 「ピッチ抽出アルゴリズム」を「harvest」にします。
+	- 「特徴量検索データベースのファイルパス」を「..\Rinne.index」にします（フルパス可）。
+	- 「特徴量ファイルのパス」を「..\Rinne.py」にします（フルパス可）。
+5. 「変換」が成功したら、「出力音声」の「…」から変換したボーカルの wav をダウンロードします。
+6. 変換したボーカルの wav と、分離した伴奏の wav を、[Audacity](https://www.audacityteam.org/) などのツールで結合します。
+	- 例）[Audacity](https://www.audacityteam.org/) でボーカルと伴奏を開き、「ファイル」-「書き出し」-「MP3として書き出す」
+![](./Sing2.png)
+
+# 品質の向上
+
+- 曲を伴奏とボーカルに分離する手段はたくさんあり、よりキレイに分離できる手法がありそうです。
+	- 例）「[UVR5で高精度なBGM除去を行う方法](https://ddpn08.fanbox.cc/posts/5738173)」
+- 曲や声の組み合わせによって、最適なパラメータは異なるようです。
+	- 「ピッチ変更」を上げ下げしてみる
+	- 「ピッチ抽出アルゴリズム」を「harvest」でなく「pm」にしてみる
+	- 「检索特征占比（特徴量の検索割合？）」を上げ下げしてみる
+- [Audacity](https://www.audacityteam.org/) などのサウンドツールでも、品質を向上できます。
+	- ボーカルと伴奏のバランス調整やノイズの除去など
+
+[戻る](./README.md)

Speech.bat

@@ -0,0 +1,22 @@
+@echo off
+
+pushd %~dp0
+
+set COEIROINK_DIR=COEIROINK-GPU-v.1.7.2
+set COEIROINK_ZIP=%COEIROINK_DIR%.zip
+if not exist %COEIROINK_ZIP% (
+	curl -Lo %COEIROINK_ZIP% https://www.dropbox.com/s/8rycvu4a58in62h/%COEIROINK_ZIP%?dl=1
+)
+
+if not exist %COEIROINK_DIR%\ (
+	PowerShell -Version 5.1 -ExecutionPolicy Bypass Expand-Archive -Path %COEIROINK_ZIP% -DestinationPath .
+)
+
+set MYCOE=64274982-857a-11ed-a560-0242ac1c000c
+if not exist %COEIROINK_DIR%\speaker_info\%MYCOE% (
+	xcopy /SQ %MYCOE%\ %COEIROINK_DIR%\speaker_info\%MYCOE%\
+)
+
+call %COEIROINK_DIR%\COEIROINK.exe
+
+popd

Speech.md

@@ -0,0 +1,20 @@
+# Rinne をしゃべらせたい
+
+[COEIROINK](https://coeiroink.com/) でテキスト入力した日本語を Rinne にしゃべらせます。
+
+[COEIROINK](https://coeiroink.com/) の一番の特徴は [MYCOEIROINK](https://coeiroink.com/mycoeiroink) でユーザーが自由に声を追加できることで、これを利用しています。
+
+# つかいかた
+
+1. `Speech.bat` をダブルクリックします。
+2. ダウンロード後に `COEIROINK` が立ち上がり、規約やキャラクター追加を確認します。
+3. キャラクターで `Rinne` を選択し、テキストを入力して、左下の再生ボタンを押すとしゃべります。
+
+![Speech](./Speech.png)
+
+# トラブルシューティング
+
+- `Speech.bat` で COEIROINK が動作しない場合は、GPU でなく CPU を使う `SpeechCPU.bat` を使うと動作する場合があります。
+- [COEIROINK](https://coeiroink.com/) の [ダウンロードページの注意書き](https://coeiroink.com/download) や [Q&A](https://coeiroink.com/q_and_a) も参照ください。
+
+[戻る](./README.md)

SpeechCPU.bat

@@ -0,0 +1,22 @@
+@echo off
+
+pushd %~dp0
+
+set COEIROINK_DIR=COEIROINK-CPU-v.1.7.2
+set COEIROINK_ZIP=%COEIROINK_DIR%.zip
+if not exist %COEIROINK_ZIP% (
+	curl -Lo %COEIROINK_ZIP% https://www.dropbox.com/s/ofopoyvvao3agyf/%COEIROINK_ZIP%?dl=1
+)
+
+if not exist %COEIROINK_DIR%\ (
+	PowerShell -Version 5.1 -ExecutionPolicy Bypass Expand-Archive -Path %COEIROINK_ZIP% -DestinationPath .
+)
+
+set MYCOE=64274982-857a-11ed-a560-0242ac1c000c
+if not exist %COEIROINK_DIR%\speaker_info\%MYCOE% (
+	xcopy /SQ %MYCOE%\ %COEIROINK_DIR%\speaker_info\%MYCOE%\
+)
+
+call %COEIROINK_DIR%\COEIROINK.exe
+
+popd

VoiceChange.bat

@@ -0,0 +1,22 @@
+@echo off
+
+pushd %~dp0
+set ZIP_FILE=MMVCServerSIO_win_onnxgpu-cuda_v.1.5.2.3.zip
+if not exist %ZIP_FILE% (
+	curl -LO  https://huggingface.co/wok000/vcclient/resolve/main/%ZIP_FILE%
+)
+
+set MMVC_DIR=MMVCServerSIO
+if not exist %MMVC_DIR% (
+	PowerShell -Version 5.1 -ExecutionPolicy Bypass Expand-Archive -Path %ZIP_FILE% -DestinationPath .
+)
+
+set HUBERT_BASE=hubert_base.pt
+if not exist %MMVC_DIR%\%HUBERT_BASE% (
+	curl -Lo %MMVC_DIR%\%HUBERT_BASE% https://huggingface.co/lj1995/VoiceConversionWebUI/resolve/main/hubert_base.pt
+)
+popd
+
+cd %~dp0MMVCServerSIO
+start http://localhost:18888/
+start start_http.bat

VoiceChange.md

@@ -0,0 +1,44 @@
+# Rinne にボイスチェンジしたい
+
+[RVC](https://github.com/liujing04/Retrieval-based-Voice-Conversion-WebUI) と [VC Client](https://github.com/w-okada/voice-changer) によるボイスチェンジャーで Rinne の声になれます。
+
+## つかいかた
+
+1. `VoiceChange.bat` をダブルクリックします。
+	- 赤字のエラーが表示されていたら、新しいVC Clientがリリースされている可能性があります。
+		- `VoiceChange.bat` の `set ZIP_FILE=` 以降のバージョン番号を[公式ページ](https://huggingface.co/wok000/vcclient/tree/main)に合わせると動作する可能性があります。
+2. インストールが完了すると、ブラウザとアプリで「Realtime Voice Changer Client」が立ち上がります。
+	- Windows Defenderファイアーウォールが通信をブロックしたら「アクセスを許可する」とします。
+		- コンソールにエラーが表示されていたら、一旦閉じて Run.bat を再起動します。
+	- アプリの「Voice Changer Client Demo」は最小化しておきます。
+		- アプリを閉じてしまうとボイスチェンジができなくなります。
+		- アプリからのボイスチェンジでは、なぜかうまく声を変換できません。
+3. 次の VoiceChange.png と比較しながら、**アプリでなくブラウザ側**を設定します。
+	- ブラウザからマイクへのアクセスを求められたら、許可します。
+4. ブラウザで「Model Setting」の「Model Uploader」で同梱のRinneモデル4種を「select」して「upload」します。
+	- Onnx(.onnx): Rinne.onnx
+	- PyTorch(.pth): Rinne.pth
+	- feature(.npy): Rinne.npy
+	- index(.index): Rinne.index
+	- 最後に忘れずに「upload」すると、「Server Control」の「Model Info」が更新されます。
+		- アップロードが途中で止まる場合は、一旦終了して Run.bat を再起動してください。
+5. 変換前に各種設定をします。
+	- 「Device Setting」で「Audio Input」と「Audio Output」を、お使いのサウンドデバイスに設定します。
+	- 変換する声が女性の場合は「Speaker Setting」の「Tuning」を「0」にします。
+	- 「Speaker Setting」の「predict f0」を有効にします。
+6. 一番上の「Server Control」の「start」で、マイクからの声をリアルタイムで変換できます。
+![VoiceChange](./VoiceChange.png)
+7. 変換する声に合わせて以下を調整します。
+	- 「Speaker Setting」の「Tuning」を男性なら「10～20」、女性なら「-5～5」など
+	- マイクのノイズが大きい場合は「Speaker Setting」の「Silent Threshold」を上げる
+	- 「Converter Setting」の「Input Chunk Num」で音声の遅延調整
+	- 「Quality Control」の「F0 Detector」を「harvest」と「dio/pm」で切り替え
+8. 「Device Setting」の「output record」で「start」すると録音できます。
+
+## Discord でつかうには
+
+以下を参考にしてください。
+
+https://overwhelmingrowth.com/entry/2023/04/09/232415#VB-Audio-Virtual-Cable%E3%81%AE%E5%B0%8E%E5%85%A5
+
+[戻る](./README.md)