PCA ジッタ除去 (DEJITTER)

はじめに

このチュートリアルでは、Principal Component Analysis＝PCA (主成分分析) を使って、不安定なアニメーションやシミュレーションのジッタを取り除く方法を紹介します。PCA は、データサイエンスや機械学習の現場でデータセットの次元を削減するために用いられる統計的手法です。このチュートリアルは、Content Library 内でリリースされたプロジェクトファイルの補足として作成されたものです。ファイルは、このページからもダウンロード可能です。

このプロジェクトは、トロントで行われた SideFX 主催の Houdini HIVE Horizon イベントの際に筆者が発表したプロジェクトの１つです。講演の全編はこちらでご覧になれます:

PCA Shenanigans and How to ML | Jakob Ringler | Houdini Horizon

以下のテキストで、より具体的なセットアップの詳細を解説しています。

問題点

PCA とは

PCA については、Stack Exchange で以下の解説を読むことをお勧めします。筆者も、概念を理解する上で大いに役立ちました:

Making sense of principal component analysis, eigenvectors & eigenvalues

ソリューション

コンテンツライブラリのファイルは一見するとかなり複雑に見えますが、実際に重要なのは中央にある３つのネットワークボックスです（紫、緑、色違いの紫）。セットアップも全く同じで、唯一の違いは、何がフィードされているかです。詳細は後ほど見ていきます。

PCA のセットアップ

フレームの統合

コンポーネントの計算

次に、PCA にコンポーネントを計算させます。PCA に関する簡易的な解説ではほとんどの場合、各サンプルは2D 空間の単一ポイントが用いられますが、ここでは単一フレームのジオメトリを丸ごとサンプルとして用いています (上の行)。つまり、ここではサンプルが７個あります (７フレーム分)。全てのポイント位置のベクトルが含まれる長大なリストを PCA に渡し (下の行)、与えられた全てのサンプルから最も重要な情報を特定させます。

PCA ノードは一連のアトリビュートデータの読み込みのみを行い、ID アトリビュートやピースアトリビュートを処理するためのオプションを備えていないため、ユーザが各サンプルの大きさを指定する必要があります: npoints(0) / NumIterations。

PCA は、１つ以上のコンポーネントを「生成」します。これは、ブレンドシェイプのようなものだと考えることができます。コンポーネントを１つ作成すれば、すべての入力サンプルに最も適合するブレンドシェイプが１つ得られます。複数のコンポーネントを作成すれば複数のブレンドシェイプが生成され、それらをブレンドしたり組み合わせたりして特定のポーズを再構築することができます。

投影と再構築

コンポーネントが揃ったので、元のポーズを新しいサブ空間に投影し、それぞれのウェイトを算出します。複雑に聞こえるかもしれませんが、実際の作業は、ジオメトリを１番目の入力、コンポーネントを２番目の入力に繋ぐだけです。次に、モードを Project に設定し、Points per Sample をジオメトリのポイント数 (npoints(0)) に設定します。0番目のコンポーネント（その他のコンポーネントの平均）である Include Mean Weight は、必ず無効にしてください。

この手法が機能するのは、PCA が生成するコンポーネントが重要度、つまり最終結果への影響の大きさに応じて並べられるためです。ここではこの特性を利用し、高順位のコンポーネントを除外することで、低重要度の情報をフィルタリングします。入力データに含まれるノイズ／ジッタはフレームごとの変動が大きく、大まかな形を残す上ではさほど重要ではありません。このような低重要度の情報は、高順位のコンポーネントに記録されていると想定されるため、それらを除いてジオメトリを再構築すれば、細かな動きやノイズ、ジッタを取り除くことができます。

結果

下図の通り、大部分のジッタが除去されました。どれだけ攻めた設定にするかによって、さらに多くの動きを取り除くことも可能です。

問題もひとつあります。微細な動きや急な方向転換まで取り除いてしまうと、アニメーション自体のジッタも除去されてしまいます。特に手を叩く時に、両手が空中にとどまってしまっているように見える点が顕著です。

改善方法

その問題に対処するための回避策はいくつかありますが、それには完全なリグが必要です。今回は外部データを使用しており、キャラクタとクロスの Alembic キャッシュしか手元にありませんが、ここではそれで充分に対処できます。

ガイドによるジッタの除去

簡単な方法として、ジッタを含まず、かつアニメーションに追従するガイドメッシュをジオメトリに追加するというものがあります。今回は、最初にシミュレーションを駆動していたキャラクタメッシュをそのまま追加するだけです。次に、両方のメッシュに同時にジッタ除去を行います。その後、元のキャラクタメッシュとジッタ除去後のメッシュの差分を用いて、クロスにポイントデフォームをかけます。

こちらがクロスシミュレーションの結果です。

アニメーションを保ったまま、同程度のジッタを取り除くことができました。

rest 空間におけるジッタ除去

理想的な対処法は、rest 空間でジッタ除去を行うことです。そのためには、各ポイントにローカル座標系を作成し、さらにそれにも変形を適用する必要があります (アトリビュートパラメータが * に設定されている場合、Bone Deform がデフォルトでこれを実行します)。

Point Wrangle "apply_local_coords" のコード:

この方法を実際に活用できるのは、Houdini 内にリグ (ボーン＋ウェイト付スキン) が存在している、キャラクタ／リグベースの変形に限られますが、最も精確な結果を得ることができます。ただし、先に紹介したポイントデフォームによる方法も精度が高く、ほとんどのケースで十分に対応可能です。

下図を見ると、ふたつの方法 (赤 & 緑) は非常によく一致しており、初歩的な方 (青) よりも、元のアニメーションをずっとよく保持しているのがわかります。

謝辞

このプロジェクトを支えてくれた、SideFX の優秀なチームの皆さんに感謝します。

全面的なサポート: Fianna Wong

ML ツール開発: Michiel Hagedoorn