情報そのものはあちこちで見かけるので珍しくないですが
自分で利用した時に忘れてたりした内容になります。
メインは標準設定で薄目だったり片目瞑ってる状態の対応です。
(2018年3月8日から10日に掛けての情報)
FaceRigはSteamで売ってる顔のモーションキャプチャを行い
リアルタイムで3Dアバターに反映するアプリです。
http://store.steampowered.com/app/274920/FaceRig/
主に顔を出したくない配信に使われたり
現実逃避に使ったりします。
インストールに関してはSteamアプリのインストールになるので
説明は省かせて貰います。
初回起動の場合はいきなりLUNCHで起動せず
OPTIONSを開きいくつか設定します。
我が家はWindows10なのでRendering APIをDX11に
その下のResolutionを1280x720にします。
別にいくつでも良いのですがこれくらいが操作しやすいのと
パソコンへの負荷も大きくないのでこれくらいとしています。
このアプリは負荷が大きすぎると中身が出て事故る可能性があるので
配信に使う場合は注意が必要です。
設定はアプリ内からでも大体が変更可能です。
今回はUse Animated Normalsをチェック
Live 2D Render QualityをMediumにしておきます。
Live2Dはこちらの設定よりもLive2Dモデルがどれくらい重いかの方が影響が大きいので
どの設定が正しくアプリの負荷も丁度良いとは言えないのでご注意ください。
ちなみに設定のFurQualityは0〜1の間で選択できこんな感じに毛並みが変わります。
割とどうでも良い（綺麗な設定1は次の次の画像）
その下のSkin Shading Qualityも0〜1の間で選択できますが
違うって言えば違うような区別付かない感じでした。
LUNCHを押しアプリを起動します。
起動したらまず日本語に変更
赤い矢印の指すSwitch to Advanced UIのUI+アイコンをクリックし
現在表示されてるベーシックUIをアドバンスドUIへと変更します。
UIが切り替わり上と右にメニューが出るようになったら
再び赤い矢印の指す歯車マーク（設定アイコン）をクリック
開いたメニューから黄色い丸で囲ったLanguageタブを選択。
後はSelect languageの表示したい言語へ変更します。
日本語にしても機械翻訳で文章は怪しいので注意してください。
メニューについてですがベーシックUI(上だけメニュー)の場合
アバターの変更
・環境(背景の変更)
・画像モード切替（カメラ、アバター表示切り替え）
・トラッキング自動調整
・オーディオリップシンク
・録画（別途エンコーダーが必要）
・オーバーレイでテキストや画像を表示
・デフォルトリセット(設定リセット)
・アドバンスUIへ
となってます。
ベーシックUIからでは重要な細かい設定が出来ないので
アドバンスドUIへ変更しそちらの設定に使える説明を行います。
このアプリの大まかなトラッキングは結構良い物なので
細かい所を除いてほとんど設定がいらないと思います。
アドバンスドUIの画面はこちら
アドバンスドUIのメニューは上のバーが
・インターフェイスを隠す/表示
・スクリーンショットを撮る
・画像モード切替 （カメラ、アバター表示切り替え）
・ブロードキャスト出力 (表示画面をFaceRig Virtual Cameraへ出力)
・トラッキングに切り替え (表情のキャプチャ停止/再開)
・頭ポーズの早い自動調整 （頭のトラッキング自動調整）
・表情の早い自動調整 （表情トラッキング自動調整）
・オーディオリップシンク
・パフォーマンスを再生 (リプレイデータ再生？)
・パフォーマンスを録音 (リプレイデータ記録？)
・ムービーとしてパフォーマンスをエクスポート
・入力ソースとしてビデオをロード
・デフォルトリセット
・ベーシックUIへ変更
と言った所です。
次に右の縦メニューが
・アバターの変更
・環境(背景の変更)
・トラッキングがオフの時の設定
・高度なトラッキング設定
・カラオケパネル
・音声エフェクト
・オーバーレイでテキストや画像を表示
・設定
・ヘルプ
となっています。
下の顔アイコン、＋、カメラマークは
表示されてるアバター中からアクティブ切り替え
＋ アバターの追加
カメラ
となっています。
＋を押すとアバターが追加できます。
どんどん追加されて消し方がよくわからないまま
アプリを再起動してアバターが一人に戻っている事にほっとする以外に
使い道が判明していません。
トラッキングに関しての説明は設定のヘルプから確認できます。
まずはアバターの変更をします。
Live2D!の追加モデルもこちらの一覧に表示されます。
次に背景の変更
どの背景でも良いのですが画像ではゲーム配信を行う場合に
画面にクロマキー合成を行う背景を選んでいます。
この色で配信アプリ側で設定すれば合成語の画面には
アバターだけが表示されるようになります。
中身に同期させたくない項目がある場合は
右メニューの高度なトラッキング設定からお好みで選択します。
こちらでカメラデバイスの選択や
ボイストラッカー（リップシンクの設定）も可能です。
カメラデバイスの選択以外は基本的に標準設定で大丈夫だと思います。
トラッキングに関しては上メニューから
頭のトラッキング＞表情のトラッキングの順で行えば大体問題なく行えます。
トラッキング後に片目を瞑ってる、まばたきで異常が起こる等は別の項目から設定します。
右のアバターメニューの行動タブから設定します。
一番上の「斜視目を有効にする」オプションですが
中身がロンパっててアバターもロンパらせる時に必要なんでしょうか…
環境と実体が用意できず確認できませんでした。
瞼の開閉の動きを両方重視
一番右が左右の目の瞼の完全同期、一番左が完全独立可動のようです。
頻繁にウインクするならある程度左に寄せた方が良いと思うのですが
左右の目の開き具合が同じでないと片方薄目の状態になるので
ほどほどの中央より右寄りが良いと思います。
この辺は過敏だと普段の表情維持が大変なので
モーションキャプチャで頑張らないで
ウインクするモーション作ってホットキーに登録すれば解決です。
眉毛の動き、口角の上下の設定も同様です。
「カメラを見て」の割合は自動でカメラ方向を見てくれます。
これを左に寄せてカメラを見ない設定にすると
人間ってそんなにピクピク動くんですか？ってなりました。
録画して見直したり実況向けではないかも知れません。
こちらもほどほどの中央よりで良いと思います。
まばたきのトラッキングです。
問題が無ければ中身と同期してて良いと思いますが
まばたきしたまま帰ってこない、異常に回数が多い等
動画にした場合に画面映えしないと思ったら自動まばたきで良いと思います。
ここはトラッキングの設定と自動まばたきの設定が排他で
どちらかしかオンに出来ません。
その次の「瞳行動を有効にしてください。」
これは瞳に対しての演出で右にすると瞳がピクピク動いてキョドります。
何のためにあるのかちょっとわからないです。
カスタム動作を有効にしてください。
こちらは指定されたモーションを行うかどうかのオプションです。
キーボードを使って遊ぶゲームの実況中に
カスタム動作がキー入力を捕まえて大変なことになるので
用途により切り替えが重要です。
またカスタムアクションパネルを表示も同様にお好みで良いです。
自然な動作にするには
まぶたとまばたき、カメラを見ての設定が重要になります。
この辺の設定で表情関係が思うような結果にならなかったのを解決出来ると思います。
設定の一般から黄色で囲った「別ウインドウに切り替える」をオンにすると
新しく表示用ウインドウが作られてこちらにはUIや設定中の内容
また顔のトラッキングが出来ているかの映像が表示されないので
実況中にアクションパネルなどを表示する人はこちらの機能を使うと良いと思います。
自分は余りこの機能を使う気が無いので文章だけの記述になりますが
設定＞デバイスタブ＞オーディオ録画デバイス に
マイクデバイスを設定し上メニューにある
「オーディオベースのリップシンクに切り替え」を押し調整すると
しゃべった声(入力音)に合わせて口パクしてくれるようになります。
この時、右メニューの「高度なトラッキング設定」から
トラッカー＞表情のユニットタブ＞口タブで
無効にする設定を行えばマイクからの音でのみ口を動かします。
最後に注意すべきは別の配信アプリやSkypeなどでこのFaceRigの映像を使う場合は
「ブロードキャスト出力」がオンになっている必要がある。
これを忘れるとどハマりするので注意。
以上でメモは終わりです。
動画機能はエンコーダーが別途必要だったり
カラオケパネルやオーバーレイは別アプリで合成すればいいかなと思ったので
調整に必要な項目で時間とともに忘れそうな所だけ記事にしました。
