歌AI「NEUTRINO」と調声ツールのシンプルな使い方【サンプルデータつき】

2022/09/08 2022/09/13

歌を歌ってくれるAI「NEUTRINO」の使い方をわかりやすく紹介！

人間と聞き分けがつかないレベルのボーカル音声を作ってみましょう。

Contents

どんなものができるの？
- 当サイトで配布するデータの取扱いについて
NEUTRINOで歌わせるまでの最もシンプルな流れ
NEUTRINOのダウンロード
- 歌声ライブラリはそれぞれ権利が異なる
- 歌声ライブラリの配置
Neutrino調声支援ツールのダウンロードとインストール
メロディのMIDIファイルやMusicXMLファイルを開く、または新規にメロディを打ち込む
- プロジェクトはどこにできる？
歌詞の流し込み

どんなものができるの？

こんな感じのボーカルができます。

無料のお歌AI「NEUTRINO」の歌声がすごいことになってる。ベタ打ち無調整なのにもう人間だろってレベル… pic.twitter.com/hIzXl5LvN2

— おっさんゲーマー (@ossangamernet) September 5, 2022

当サイトで配布するデータの取扱いについて

簡単にNEUTRINOをお試しできるように、上記サンプル楽曲のボーカルパートのMIDIデータを提供します。

MIDIファイルや歌詞は個人で利用する限りTwitterやYouTubeなどに成果物やアレンジを利用していただいて構いません。

お役に立てましたらこのページを紹介してくれると嬉しいです。

NEUTRINOで歌わせるまでの最もシンプルな流れ

有料のエディタを一切使わないでできる方法です。

DAWなどでメロディのMIDIファイルを作る
NEUTRINO調整支援ツールでMIDIファイルを読み込む (1のMIDIファイルを使わずここで打ち込んで作ることも可能)
歌詞の流し込みや調声などを行いMusicXMLファイルを作る
NEUTRINOへ書き出し指示
Waveファイル完成！

NEUTRINOのダウンロード

NEUTRINOの公式ページから2つのものをダウンロードして解凍します。

NEUTRINO本体
お好みの「歌声ライブラリ」= サンプルではSEVENを使用

歌声ライブラリはそれぞれ権利が異なる

歌声ライブラリは声優さんなどの声を学習して作られており、無償のものもあればA.I.VOICEなど有償のものもあります。

また、ライブラリによって権利関係が異なっているので、DL前によく確認して利用してください。

歌声ライブラリの配置

解凍した歌声ライブラリをNEUTRINOのmodelフォルダ内に置きます。

フォルダ構成は、NEUTRINO\model \[ライブラリフォルダ]となります。

例えば、SEVENであれば、NEUTRINO\model\SEVENという形で配置します。

Neutrino調声支援ツールのダウンロードとインストール

NEUTRINOは公式でGUIのエディタを開発中のようですが未発表なので、当面はsigさん(@m_sig_tw)が開発されている「NEUTRINO調声支援ツール」を使うと便利です。

ダウンロードページから適当なバージョン(今回はv1.7.4.7)をダウンロードして解凍します。

NEUTRINO調声支援ツールでできること

メロディ部分のMIDIファイル、MusicXMLファイルの読み込み、またはピアノロールでのメロディ打ち込み
歌詞の流し込み
調声(ピッチ編集、タイミング編集、音量編集など)
NEUTRINOへの音声出力指示

NEUTRINOフォルダの指定

初回はファイル > 環境設定からNEUTRINOフォルダの指定を行います。NEUTRINOのzipファイルを解凍し、利用規約.txtなどがあるルートフォルダを選択します。

NVIDIA製GPU搭載PCの場合：NSFの設定

NEUTRINOで合成音声を出す時に、標準の「WORLD」という方法のほか、NVIDIA製GPUを使用しているユーザーは「NSF」という方式を使うこともできます。

音の高さ・声質・声のかすれ具合から音声波形をニューラルネット（NSF）で合成します。
NSFはニューラルネットワークを用いて肉声に近い高品質な音声波形を高速に生成する手法の一つです。
低音の詰まった感じ（over-smoothing）が無く、クリアでアタック感がある音声です。
適正音域であれば、音質的な外れがほぼ無く品質も安定して高いです。

READMEより

ファイル > 環境設定 > コマンド > NSF の欄に以下を指定します。(NEUTRINO Electron v1.2.0時点)

bin\NSF.exe %F0% %Mgc% %Bap% .\model\%ModelDir%\model_nsf.bin %Wave% -l %TimingLabel% -n %NumThreads% -g -i 0 -t

メロディのMIDIファイルやMusicXMLファイルを開く、または新規にメロディを打ち込む

NEUTRINO調声支援ツールでは、歌わせたいMIDIファイルやMusicXMLファイルを取り込むことができます。

MusicXMLは既に歌詞を入力してあるデータですが、馴染みがない人もいると思うので、MIDIファイルから作る方法を説明します。

MIDIファイル作成時の注意点

MIDIファイルはきれいに単音となっている必要があり、次のノートと隙間なく繋がっていないとブツブツ切れた感じになってしまいますので注意してください。

サンプルのMIDIファイルを用意したのでよかったら使ってみてください。

サンプルMIDIファイルのインポート後はこんな感じです。

ファイル > 新規作成で新規のプロジェクトを作れば、ピアノロールにゼロから手入力していくこともできます。

プロジェクトはどこにできる？

以下のフォルダに各種ファイルが出来ていきます。

NEUTRINO\score\label
NEUTRINO\score\musicxml
NEUTRINO\output

musicxmlフォルダの下に、元になったmidiファイルの名前のmusicxmlファイルができます。

次回からはそれを開けば再編集可能です。

歌詞の流し込み

一番最初のノートを選択して右クリックから「歌詞の流し込み」を選択し、歌詞をひらがなで入れていきます。

例えばこういう歌詞があったとして

壊れてしまうまで何かがわかるまで止まらないアタシの衝動が
導火線の先に紅い炎を差す朝焼けが大地を焦がす時まで

これをひらがなで入れます。ひとつのノート(音)に対してひとつのかなが対応する形にします。

以下はサンプルのMIDIファイルに対応しているのでコピペしてみてください。

こわれてしまうまでなにかがわかるまでとまらないあたしのしょおどおがどおかせんのさきにあかいほのおをさすあさやけがだいちをこがすときまで

流し込みが終わったところです。

すべてのノートに正しく文字が入っていることを確認します。入ってないとこの後の処理で落ちたりします。

歌詞を部分的に修正したいとき

上の「あさやけ」の部分を「むねやけ」にしたいとします。

「あ」を選んで右クリックで「歌詞の流し込み」を選びます。

「むね」と入力してOKを押します。

無事「むねやけ」になりました。

NEUTRINO操作パネル > NEUTRINOで中間処理を作成、歌声の選択 (修正)

次に、ツール上で声をプレビューするための処理を行います。

メニューバーのNEUTRINO > NEUTRINO操作パネルを開き、NEUTRINOボタンを押します。

モデル項目で歌声を選択します。ここに歌声ライブラリが出てこない場合は、インストールが上手く行っていないか、NEUTRINOフォルダの指定が上手く行っていませんので見直してください。

モデルを選択したら「NEUTRINOを実行」を押します。

NEUTRINOがバックグラウンドで起動され、作成したMusicXMLから中間処理が作成されます。

問題なく完了すると「end NEUTRINO」と表示されます。

エディタ画面ではRunning WORLDと表示されて処理が行われるので、終了まで待ちます。

処理が終了したらSpaceキーを押すことで、選択したモデルの音声で歌が聞こえるはずです。

必要に応じて調声や歌詞の変更 (修正)

ツール左側のSCORE / TIMING / PITCH / DYNAMICSで声の調整を行うことができます。

ここで変更した内容の一部は音声にリアルタイム反映されません。変更したものを聞くには、もう一度「NEUTRINO」を走らせる必要があります。タイミングを編集した際は「タイミングを保持」にチェックを入れて実行します

SCORE	ノートの位置や長さの調整変更したものを聞くには、NEUTRINO操作パネルでもう一度「NEUTRINO」を走らせる必要があります。
TIMING	発音タイミングの調整。例えば「が(ga)」のgとaを離すことで「っぐぁ～」のようにタメを作ったりできます。変更したものを聞くには、NEUTRINO操作パネルで「タイミング保持」にチェックを入れた状態で、もう一度「NEUTRINO」を走らせる必要があります。
PITCH	音程調整やビブラートの追加
DYNAMICS	音量の調整