Houdini 20.5 ノード TOPノード

Preprocess OIDN TOP node

OIDNモデルトレーニング用にトレーニングデータセットと検証データセットを前処理します。

On this page
Since 20.5

概要

このノードは、OIDNデータセット命名スキームに準拠したトレーニングデータセットと検証データセットを前処理するのに使用されるOIDN前処理スクリプトのラッパーです。

Installation:

OIDNスクリプトでは、hythonにtorch(PyTorch)の追加インストールが必須です。

まず最初に、Houdiniインストールディレクトリに進んでhython環境を初期化します。

Linux

cd /opt/hfsx.x.x

Mac

cd /Applications/Houdini/Houdinix.x.x/Frameworks/Houdini.framework/Resources

Windows

cd "C:\\Program Files\\Side Effects Software\\Houdini x.x.x"

次に、houdini_setupスクリプトをsourceした後に、hythonにtorchをインストールします。

source houdini_setup
hython -m pip install torch

パラメータ

Input Features

トレーニングの前処理をするデータセットの入力特徴部セット。 以下の画像特徴部がサポートされています:

hdr

ファイル拡張子が.hdr.exrのカラー(ハイダイナミックレンジ)。

ldr

ファイル拡張子が.ldr.exrのカラー(ローダイナミックレンジ)。

sh1

ファイル拡張子が.sh1x.exr、.sh1y.exr、.sh1z.exrのカラー(正規化されたL1球面調和関数)。

alb

ファイル拡張子が.alb.exrのアルベド。

nrm

ファイル拡張子が.nrm.exrのシェーディング法線。

すべての入力特徴部(補助特徴部(アルベド、法線など)を含む)にはノイズがあると想定されます。 補助特徴部画像はオプション入力で、通常では、ノイズ除去品質を改善しディテールを保持します。

Clean auxilliary features

補助画像にノイズがない場合は、このパラメータを有効にしてください。 その場合、トレーニングには、ノイズを含んだ様々な補助画像の代わりに参照補助特徴部が使用されます。

Filter

トレーニングするフィルター。以下のフィルターが使用可能です:

RT

一方向/双方向のパストレーシングなどモンテカルロ式レイトレーシングを使用してレンダリングされた画像のノイズ除去に適して汎用レイトレーシングノイズ除去フィルター。

RTLightmap

HDRおよび正規化されたディレクショナルライトマップのノイズ除去に最適化されたRTフィルターの亜種で、LDR画像には対応していません。

このフィルターの選択によって、使用されるHDR/LDR転送関数が決まります。

Output Directory

前処理された結果の出力先のディレクトリ。

Training Dataset

トレーニングデータセットフォルダの名前。

Validation Dataset

検証データセットフォルダの名前。

Data Directory

トレーニングデータと検証データのディレクトリ。

Device

トレーニングの計算に使用するデバイス(例えば、CPU、GPU)。オプション:cpu、cuda、mps。

Device ID

同じ種類のデバイスが複数利用可能だった場合(例えば、複数のGPUが搭載されている場合)に使用する特定のデバイス。

Device Count

パフォーマンスを高速化するためにデータ並列処理に使用するデバイスの数。

Advanced

これらは、前処理の挙動を細かく制御することができる高度なパラメータです。

Transfer Function

使用されるHDR/LDR転送関数。

Deterministic

計算を決定論的にするので、パフォーマンスが低下します。

See also

TOPノード

  • Attribute Array

    ワークアイテム上に配列アトリビュートを作成/変更します。

  • Attribute Copy

    あるブランチのワークアイテムのアトリビュートを他のブランチのワークアイテムにコピーします。

  • Attribute Create

    入力のワークアイテムすべてに対してアトリビュートを作成または設定します。

  • Attribute Delete

    ワークアイテムからアトリビュートを削除します。

  • Attribute Dictionary

    キー/値のペアを追加、キーの除去、既存の辞書のマージによって、辞書アトリビュートを修正します。

  • Attribute Promote

    ワークアイテム、グローバルアトリビュート、出力ファイルとの間でアトリビュートとフィールドをコピーします。

  • Attribute Randomize

    ワークアイテム上にランダムに生成された整数/浮動小数点アトリビュートを作成します。

  • Attribute Reduce

    配列アトリビュート値を単一値に下げます。

  • Attribute Rename

    ワークアイテム上のアトリビュートの名前を変更します。

  • Attribute from File

    ファイルからアトリビュート値を解析して、そこからワークアイテムを生成します。

  • Attribute from String

    ファイル名などの文字列からアトリビュート値を解析します。

  • Block Begin Feedback

    For-Loop with Feedbackブロックを開始します。このブロック内のTOPノードは直列で実行され、オプションで入力のワークアイテム毎にループさせることができます。

  • Block End Feedback

    For-Loop with Feedbackブロックを終了します。このブロック内のTOPノードは直列で実行され、オプションで入力のワークアイテム毎にループさせることができます。

  • CSV Input

    CSVファイルのデータをワークアイテムのアトリビュートにコピーします。

  • CSV Output

    ワークアイテムのアトリビュートをCSVファイルに書き出します。

  • Deadline Scheduler

    Thinkbox社のDeadlineソフトウェア用PDGスケジューラ。

  • Download File

    1つ以上のURLからコンテンツをファイルにダウンロードします。

  • Environment Edit

    ワークアイテムのコマンドラインが実行する環境下で設定する変数を編集します。

  • Error

    条件が満たされた時に警告またはエラーを出します。

  • FFmpeg Encode Video

    静止画像シーケンスを動画に変換します。

  • FFmpeg Extract Images

    動画ファイルから静止画像シーケンスを抽出します。

  • File Compress

    ファイルをアーカイブに圧縮します。

  • File Copy

    実行時またはノードがファイルを生成した時に、ファイルをある場所から別の場所にコピーします。

  • File Decompress

    入力のワークアイテムで指定されたアーカイブファイルを個々のファイルに解凍します。

  • File Pattern

    特定のパターンに合致したファイルに基づいてワークアイテムを生成します。

  • File Range

    特定のファイルパターンに基づいたフレーム範囲からワークアイテムを生成します。

  • File Remove

    指定したパスのファイルを削除します。

  • File Rename

    ファイルを名前変更または移動させます。

  • Filter by Attribute

    上流のワークアイテムをアトリビュート名またはアトリビュート値でフィルタリングします。

  • Filter by Expression

    上流のワークアイテムを条件付きでフィルタリングします。

  • Filter by Range

    指定したフレーム内またはアトリビュート範囲内にある上流のワークアイテムを絞り込みます。

  • Filter by State

    上流のワークアイテムをその状態によってフィルタリングします。

  • Generic Generator

    アトリビュートなしでコマンドラインを実行するワークアイテムを生成します。

  • Geometry Import

    SOPまたはジオメトリファイルのポイントまたはプリミティブをワークアイテムアトリビュートまたは一時ファイルに読み込みます。

  • HDA Processor

    デジタルアセットをクックするワークアイテムを生成します。

  • HQueue Scheduler

    HQueueを使用してワークアイテムのスケジュールを組みます。

  • Houdini Block Begin

    Houdiniサービスブロックを開始します。

  • ImageMagick

    一括で画像変換、サイズ変更、画像モザイクなどのImageMagickの機能に簡単にアクセスすることができます。

  • In Process Scheduler

    In-Processワークアイテムのスケジューリングを制御します。

  • Invoke

    入力ジオメトリに対してコンパイルブロックを呼び出します。

  • JSON Input

    JSONファイルからデータを抽出してアトリビュートを作成します。

  • JSON Output

    JSON出力を生成する色々なオペレーションを実行します。

  • Labs Archive Project

    現行HIPファイルの依存関係を収集してアーカイブ(書庫)にするユーティリティTOP。

  • Labs Concatenate Text

    複数のテキストファイルを単一ファイルに結合します。

  • Labs Cut Geometry to Partitions

    入力ジオメトリを分割します。

  • Labs Data Diff

    様々なジオメトリ、テキスト、画像ファイルを比較します。

  • Labs Extract Image Metadata

    iinfoを使用して画像メタデータを抽出します。

  • Labs Extract Image Metadata

    画像からメタデータ(解像度、ビット深度、カラーモデルなど)を抽出します。

  • Labs File Cache Filter

    ファイルのキャッシュ化で使用されるワークアイテムを分割します。

  • Labs File Cache Partitioner

    ファイルキャッシュの範囲とWedge値に基づいてワークアイテムを分割/生成します。

  • Labs Filter by Value

    特定のアトリビュート値で1つ以上のワークアイテムをフィルタリングします。

  • Labs Filter by Value

    指定したアトリビュート値で複数のワークアイテムをフィルタリングします。

  • Labs Generate from Imageplanes

    画像内に見つかった画像平面に基づいてワークアイテムを生成します。

  • Labs ML CV ROP Synthetic Data

    合成データ(Synthetic Data)パイプラインのベーステンプレート。

  • Labs Wedge

    アトリビュート値を可変させてワークアイテムを生成します。

  • Local Scheduler

    ローカルマシン上でワークアイテムのスケジュールを組みます。

  • ML Regression Train

    Regression(回帰)用ニューラルネットワークをトレーニングします。

  • Make Directory

    ディレクトリを作成します。

  • Maya Block Begin

    Mayaサービスブロックを開始します。

  • Merge

    上流のすべてのワークアイテムを結合します。

  • Node Pattern

    マッチしたノードに基づいてワークアイテムを生成します。

  • Nuke Block Begin

    Nukeサービスブロックを開始します。

  • Null

    何もしません。

  • OP Notify

    何かしらのTOPワークが完了したことを通知します。

  • OpenImageIO

    画像に対してカラー空間の変換、カラーマッピング、サイズ変更、テキストのオーバーレイ、ボックスのオーバーレイなどの処理を実行するOpenImageIOのコマンドラインツールoiiotoolに簡単にアクセスすることができます。

  • Output

    サブネット出力。

  • Partition by Attribute

    アトリビュートに基づいてワークアイテムを区分けします。

  • Partition by Bounds

    境界アイテムを使って、ソースアイテムを空間的に区分けします。

  • Partition by Combination

    ワークアイテムを2個毎、3個毎などに区分けします。

  • Partition by Comparison

    既存の比較を使ってワークアイテムを区分けします。

  • Partition by Expression

    エクスプレッションに基づいてワークアイテムを区分けします。

  • Partition by Frame

    フレームに基づいてワークアイテムを区分けします。

  • Partition by Index

    インデックスに基づいてワークアイテムを区分けします。

  • Partition by Iteration

    フィードバックループの反復に基づいてワークアイテムを区分けします。

  • Partition by Node

    ノードに基づいてワークアイテムを区分けします。

  • Partition by Range

    範囲に基づいてワークアイテムを区分けします。

  • Partition by Tile

    軸に平行な境界ボックスを使ってワークアイテムを空間的に区分けします。

  • Perforce

    PDG経由でPerforceコマンドを実行します。

  • Python Block Begin

    Pythonサービスブロックを開始します。

  • Python Partitioner

    Pythonスクリプトを使ってワークアイテムを区分けします。

  • Python Processor

    Pythonスクリプトを使ってワークアイテムを生成します。

  • Python Scheduler

    Pythonベースでプログラミング可能なPDG用スケジューラ。

  • Python Script

    Pythonスクリプトを実行するワークアイテムを生成します。

  • Python Virtual Environment

    TOPsを使用してPython仮想環境を作成します。

  • ROP Alembic Output

    埋め込まれたROP Alembic ROPノードをクックするワークアイテムを生成します。

  • ROP Composite Output

    埋め込まれたComposite ROPノードをクックするワークアイテムを生成します。

  • ROP FBX Output

    埋め込まれたFBX ROPノードをクックするワークアイテムを生成します。

  • ROP Fetch

    ROPノードまたはROPネットワークをクックするワークアイテムを生成します。

  • ROP Geometry Output

    埋め込まれたGeometry ROPノードをクックするワークアイテムを生成します。

  • ROP Image Output

    中に組まれているImage ROPノードをクックするワークアイテムを生成します。

  • ROP Karma Render

    埋め込まれたKarma ROPノードをクックするワークアイテムを生成します。

  • ROP Mantra Render

    埋め込まれたMantra ROPノードをクックするワークアイテムを生成します。

  • ROP OpenGL Render

    埋め込まれたOpenGL ROPノードをクックするワークアイテムを生成します。

  • ROP USD Output

    組み込まれたUSD ROPノードをクックするワークアイテムを作成します。

  • Range Extend

    上流のワークアイテムのフレーム範囲を広げて、必要に応じて新しいワークアイテムを追加します。

  • Range Generate

    指定した範囲のワークアイテムを生成します。

  • Remote Graph

    リモートで実行されているTOPグラフに接続して、そのグラフのノードを表示します。

  • Render IFD

    Mantraを使ってIFDファイルをレンダリングするワークアイテムを生成します。

  • SQL Input

    SQLクエリの作成と行毎にワークアイテムを生成する入力ノードです。

  • SQL Output

    SQL INSERTクエリを生成する出力ノードです。

  • Send Email

    電子メールを送信します。

  • Service Block End

    サービスブロックを終了します。

  • Service Block Send

    実行させたいコードをサービスブロックに送信します。

  • Service Create

    PDGサービスを作成します。

  • Service Delete

    PDGサービスを削除します。

  • Service Reset

    PDGサービスをリセットします。

  • Service Start

    PDGサービスを起動します。

  • Service Stop

    PDGサービスを停止します。

  • ShotGrid Create

    ShotGridエンティティを作成します。

  • ShotGrid Delete

    ShotGridからエンティティを削除します。

  • ShotGrid Download

    ShotGridからAttachmentをダウンロードします。

  • ShotGrid Find

    ShotGridエンティティを検索します。

  • ShotGrid Server Begin

    持続型ShotGridコマンドサーバーを起動します。

  • Shotgun Update

    Shotgunエンティティを更新します。

  • Shotgun Upload

    Shotgunにファイルをアップロードします。

  • Sort

    アトリビュートのリストからワークアイテムを並べ替えます。

  • Split

    上流のワークアイテムを2つのグループに分けます。

  • Split by Count

    指定した数で上流のワークアイテムを2つに分割します。

  • Subnetwork

    TOPノード用コンテナ。

  • Switch

    ネットワーク分岐を切り替えます。

  • TOP Fetch

    他のTOPネットワークをクックします。

  • TOP Fetch Input

    TOP Fetchで取得したネットワークの入力。

  • Text Output

    テキストを新しいファイルに書き出したり、既存ファイルに書き足します。

  • Tractor Scheduler

    PixarのTractorを使ってワークアイテムのスケジュールを組みます。

  • Train OIDN

    前処理されたトレーニングデータセットと検証データセットを使用してOIDNモデルをトレーニングします。

  • URL Request

    URLからデータを要求するワークアイテムを作成します。

  • USD Add Assets to Gallery

    USDアセットをAsset Galleryに追加します。

  • USD Analyze

    LOPノードまたはファイルからメタデータ、依存関係、外部参照を取得します。

  • USD Import Data

    USDステージで見つかったPrimsからワークアイテムを生成します。

  • USD Import Files

    USDステージで見つかったファイル参照からワークアイテムを作成します。

  • USD Modify Paths

    アセットパスアトリビュート値を修正します。

  • USD Render Files

    USDファイルを書き出すワークアイテムを作成します。

  • USD Render Scene

    USDファイルまたはLOPネットワークをレンダリングするワークアイテムを生成します。

  • Wait for All

    上流のワークアイテムすべてが完了するのを待ちます。

  • Wedge

    アトリビュート値を色々と変えながらワークアイテムを生成します。

  • Work Item Expand

    ファイルリストまたはパーティションを複数のワークアイテムに展開します。

  • Work Item Import

    .jsonファイルまたは他のTOPノードからワークアイテムを取り込みます。

  • Xml Input

    XMLファイルからデータをワークアイテムアトリビュートに抽出します。