ComfyUI.Tokyo

SD15_DetailerDebug-SEGS フェイス・インペイント

ComfyUIにおける「Windows ComfyUI SD1.5のインペイント処理」「UltralyticsDetectorProvider」「BBOX Detector (SEGS)」「DetailerDebug (SEGS)」というキーワードの組み合わせについて解説します。

全体の処理フロー

まず、これらのノードは、ComfyUIのImpact Packというカスタムノードパックに含まれています。

このパックは、画像内の特定のエリア（顔など）を自動的に検出し、その部分のみを再生成することで、画像のディテールを向上させることを目的としています。

インペイント処理を画像全体に適用するのではなく、必要な部分に絞って行うため、効率的で高速な処理が可能です。

各ノードの役割

  1. UltralyticsDetectorProvider:
    • これは、物体検出を行うためのモデルを読み込むプロバイダーノードです。
    • このノードによって提供されるモデルが、次の「BBOX Detector (SEGS)」ノードで使用されます。
  2. BBOX Detector (SEGS):
    • このノードは、`UltralyticsDetectorProvider`から提供されたモデルを使用して、入力画像からバウンディングボックス（BBOX）を検出します。
    • 「SEGS」は「Segmentation」の略で、マスクと画像がセットになったデータ形式を指します。
    • このノードは、検出したオブジェクトを囲むバウンディングボックスの情報をSEGSという形式で出力します。
    • このSEGSデータには、マスク（どの部分が検出されたかを示す情報）と、そのマスクに対応する画像が含まれています。
  3. DetailerDebug (SEGS):
    • `DetailerDebug (SEGS)`ノードは、`BBOX Detector (SEGS)`から出力されたSEGSデータを入力として受け取ります。
    • このノードの主な機能は、検出されたバウンディングボックスの領域（つまり、SEGSデータで指定された領域）を、Stable Diffusionモデルを使って再生成することです。
    • `DetailerDebug`という名前の通り、通常のDetailerノードに加えて、デバッグのための追加の出力があります。

DetailerDebug (SEGS)の入力部と出力部の特徴

入力部

  • SEGS: `BBOX Detector (SEGS)`から出力される、検出されたオブジェクトのマスクと画像情報を含んだデータ。これが、再生成の対象となる領域を定義します。
  • モデル、クリップ、VAE: Stable Diffusionのモデル、CLIPエンコーダ、VAE（潜在変数オートエンコーダ）を接続します。これらは、再生成のプロセスに不可欠な要素です。
  • プロンプト: 再生成するエリアに適用するプロンプトです。通常、このプロンプトには、より詳細に描画したい内容（例：「beautiful face, detailed eyes」など）を指定します。
  • ネガティブプロンプト: 再生成するエリアで避けるべき要素を指定します。
  • シード値: 再生成のランダム性を制御するための値です。
  • その他のパラメータ: denoising strength（ノイズ除去の強度）、ステップ数など、SDモデルの生成プロセスを制御するためのパラメータ。

出力部

  • image: 再生成が適用された最終的な画像全体が出力されます。この画像は、元の画像にDetailerで生成された部分が合成されたものです。
  • segs_cropped_image: デバッグ用の出力。Detailerによって再生成される前の、バウンディングボックスで切り取られた元の画像部分が出力されます。
  • segs_refined_image: デバッグ用の出力。Detailerによって再生成された後の、バウンディングボックスの領域のみの画像が出力されます。この画像は、最終的な画像に合成される前の、再生成された部分単体を確認するために使用できます。
  • cropped_refined_alpha： 再生成された画像に合成用のアルファマスクが付加されたデータ。再生成結果を元の画像にブレンドするための「部品」として、後続のノードに接続したり、手動での調整に利用したりする際に役立ちます。

処理のまとめ

  1. `UltralyticsDetectorProvider`で物体検出モデルを準備。
  2. `BBOX Detector (SEGS)`で入力画像から再生成したいエリア（例：顔、人物）を検出し、SEGSデータとして出力。
  3. `DetailerDebug (SEGS)`がこのSEGSデータを受け取り、指定されたプロンプトとパラメータに基づいて、そのエリアのみを再生成。
  4. 再生成されたエリアは元の画像に合成され、最終的な画像が出力される。
  5. デバッグ用の出力を使って、再生成前と後の切り抜き画像を比較・確認できる。

このように、`DetailerDebug (SEGS)`は、`BBOX Detector (SEGS)`と連携することで、画像の一部分に特化した効率的かつ高品質なインペイント処理を可能にするノードです。

特に、`segs_cropped_image`と`segs_refined_image`の出力は、期待通りに再生成が行われているかを確認する際に非常に役立ちます。

Workflow

SD15_DetailerDebug -SEGS.json

cropped_refined_alpha

`cropped_refined_alpha` の役割

`DetailerDebug (SEGS)` ノードの `cropped_refined_alpha` 端子は、再生成された領域の切り抜き画像と、その領域を元の画像と合成するためのアルファマスクを組み合わせた画像を出力します。

より具体的に言うと、以下の2つの要素を1つのデータとして提供します。

  1. 再生成された部分（refined）: `segs_refined_image` と同じく、Stable Diffusionモデルによって詳細が描き直された、バウンディングボックスの領域内の画像です。
  2. アルファマスク（alpha）: この再生成された画像を、元の画像に自然に合成するための透明度情報（マスク）です。
    これにより、切り抜かれた画像が元の画像に貼り付けられる際に、境界線が不自然にならないように、フェザリング（ぼかし）やグラデーションが適用されます。

なぜこの出力が必要なのか？

`cropped_refined_alpha` は、`segs_refined_image` とは異なり、単に再生成された画像を見るためのものではありません。
これは、再生成された画像を元の画像に合成するための「部品」として機能します。

通常のワークフローでは、`DetailerDebug (SEGS)` の最終出力である `image` 端子から、すでに合成済みの画像を取得します。しかし、`cropped_refined_alpha` は、より高度なカスタマイズや後続の処理に利用するために提供されています。

例えば、以下のような用途が考えられます。

  • 手動での合成調整: `cropped_refined_alpha` を他のノード（例： `Composite` ノードや、画像のオーバーレイを行うノード）に接続することで、ユーザー自身が合成の強度や方法を細かく調整できます。
  • レイヤーごとの確認: デバッグ目的で、再生成された部分がどのように元の画像に重ねられるか、アルファマスクと合わせて視覚的に確認したい場合に役立ちます。
  • 複数回インペイント: 複数の`DetailerDebug`ノードを連結して、ある領域を再生成した後に、その結果を使って別の領域を再生成するといった、複雑なワークフローを構築する際に利用されることがあります。

`cropped_refined_alpha` の構造

この出力は、通常、PNG形式で保存される際に透過情報（アルファチャンネル）を持つ画像として扱われます。

  • 不透明な部分（アルファ値=255）: 再生成された画像が完全に表示される領域。
  • 半透明な部分（アルファ値=0～254）: 元の画像と再生成された画像がブレンドされる境界部分。
  • 透明な部分（アルファ値=0）: 元の画像がそのまま残る領域。

まとめ

  • `segs_refined_image`: 再生成された「画像」そのもの。デバッグ目的で、この部分単体を確認するために使用します。
  • `cropped_refined_alpha`: 再生成された画像に合成用のアルファマスクが付加されたデータ。再生成結果を元の画像にブレンドするための「部品」として、後続のノードに接続したり、手動での調整に利用したりする際に役立ちます。

この2つの出力端子を使い分けることで、ComfyUIのDetailerワークフローをより深く理解し、柔軟にカスタマイズすることが可能になります。

Link