GAUSSIAN SPLATS
ガウシアンスプラット（GSplats）は、従来のポリゴンメッシュではなく、位置、形状、色、不透明度の情報を持つ半透明の楕円状の「点」を数百万個用いて 3D シーンを表現します。制作ワークフローを簡略化するこの技術は、個人アーティストからスタジオまで、既存の制作パイプラインに強力なツールを採り入れる新たな選択肢を提供します。
ガウシアンスプラットを使う理由
スピード | GPU 上で直接ラスタライズされるため、60fps を超えるリアルタイムレンダリングが可能です。
面倒な後処理が不要 | 従来のフォトグラメトリで求められる、長時間のリトポロジや UV 展開、テクスチャベイク処理の手間を大きく軽減します。。
難しいマテリアルも自然に再現 | 従来はモデリングが難しかったヘアやファー、植生、濡れた表面も、そのまま自然に取り込みます。特別な処理をせずとも、フォトリアルな仕上がりが実現します。
バーチャルプロダクション | 実際のロケーションをスキャンし、背景やライティングリファレンスとして Houdini や Unreal Engine に取り込めば、大規模なセット制作や現地ロケにかかるコストを抑えられます。
VFX コンポジット | CG と実写映像を合成する際に、マッチムーブやデプスオクルージョン、ライティングリファレンスに活用できる高精度な 3D ジオメトリを利用できます。
市街地 | 2300万ポイント | 5 GB
ガウシアンスプラットの取り込み
Houdini では、外部でカメラ情報を推定した後、TOPs を使ってガウシアンスプラットを学習します。モニタリングやプロシージャルなクリーンアップ、新しい Copernicus のラスタライズツールを備えたワークフローにより、2D コンポジットやデプス抽出、画像ベースの編集まで、スキャンデータの高い品質を細部まで維持することができます。
撮影 | Houdini では、外部でカメラ情報を推定した後、PDG/TOPs を使ってガウシアンスプラットを学習します。PDG/TOPs の並列処理により、複数のマシンを活用した効率的でスケーラブルな処理を実行します。
PDG/TOPS | レンダーファームを活用して学習を高速化します。モニタリングツールにより機械学習の進行状況が可視化され、再構築の品質が段階的に向上していく様子を確認できます。
クリーンアップ | Houdini では、ガウシアンスプラットをプロシージャルにクリーンアップします。周辺部のアーチファクトを除去しながら、ライティングや反射、細かなサーフェスディテールの高い再現性を維持します。
ラスタライズ | Copernicus に Camera COP と ガウシアンスプラットのラスタライズ機能を追加。3D スプラットを、カラーと奥行きの情報を持つ 2D 画像へと変換し、そのままコンポジットで活用できます。
Houdini のガウシアンスプラット生成
Houdini では、既知のカメラ情報とシーンデータを利用して、Karma のレンダリング結果から直接ガウシアンスプラットを生成します。生成時には各種属性が保持され、メッシュやボリューム、FX が高い再現性でリアルタイム表示されます。生成されたアセットは軽量で再利用しやすく、インタラクティブなレンダリングや効率的なメモリ使用を実現するほか、セットドレッシングやリアルタイムワークフローに適したプロキシとしても活用できます。
Karma | Houdini は、カメラアレイを用いて既知の複数視点からレンダリングしてガウシアンスプラットを生成するため、外部でのカメラ推定は不要です。
シーン情報の保持 | レンダリングから生成されたガウシアンスプラットには、位置や法線などのシーン属性が保持されます。写真からの再構築では得られない豊富なデータを活用でき、より幅広いワークフローに対応します。
猫 | 2300万ポイント | 5 GB
雲 | 49万4000ポイント | 113 MB
爆発 | 190万ポイント | 440 MB
ガウシアンスプラットに動きをつける
ガウシアンスプラットは本質的に属性を持つポイントの集合で構成されるため、Houdini のプロシージャルワークフローにもシームレスに組み込めます。Bone Deform や Surface Deform をはじめとする標準的なデフォームノードでアニメーションを適用でき、専用ツールは必要ありません。また、シミュレーションでスプラットのポイントを直接駆動することで、リアルなキャラクタアニメーションやダイナミックな FX 表現が実現します。
モーション | ガウシアンスプラットはシミュレーションにも対応。シミュレーションデータでスプラットのポイントを直接駆動することで、風に揺れる植栽のような表現も可能です。
リグ & アニメーション | アニメーション化したガウシアンスプラットは Houdini の標準デフォームツールと連携するため、Bone Deform や Surface Deform のワークフローを使ったキャラクタアニメーションが可能です。
ガウシアンスプラットのレンダリング
SideFX Labs ではガウシアンスプラット用リライティングツール（プロトタイプ版）を提供しています。ベイク済みのライティングを除去したうえで、法線や Copernicus の処理に基づいて光の当たり方を再計算し、球面調和関数を活用して説得力のある結果を実現します。Houdini 22 では、Karma レンダリングの品質も向上し、Vulkan によるリアルタイムレンダリングも強化されました。インタラクティブな HDRI リライティングやコンポジットにも対応し、ガウシアンスプラットによる表現の可能性がさらに広がります。
COPERNICUS | ガウシアンスプラットは HDRI によるリライティングや、Copernicus を使ったインタラクティブなコンポジットに対応。色収差などのリアルタイムエフェクトを適用しながら新たなワークフローを実現します。
リライト | SideFX Labs のガウシアンスプラット用リライティングツール（プロトタイプ版）では、Copernicus、法線情報、球面調和関数を活用することで、ベイク済みライティングの制約を取り除き、説得力のあるダイナミックなライティングを実現します。