ComfyUI.Tokyo

SD1.5 IPAdapter DWpose

IP Adapter(Image Prompt Adapter)はStable DiffusionのControlNetで使うことができます。

IP Adapterは画像をプロンプトとして使う技術です。

つまり、画像自体がプロンプトの役割を担う機能なのです。

これによって、画像の要素を組み込んだ画像を生成できます。

SD1.5版 IP Adapterは、軽量・高精度・安定性の三拍子が揃っており、Stable Diffusionの「真骨頂」と呼ぶにふさわしい存在です。

IPAdapterは、画像間の条件付け(Image Prompting)を行うモデルであり、以下のような特徴があります:

  • 参照画像のスタイルや特徴を新しい画像に転写する
  • 1枚の画像でLoRAのような効果を得られる
  • CLIP Visionエンコーダーを使って画像の意味的特徴を抽出し、生成に反映する

繰り返しになりますが、ComfyUI IP Adapterとは、Stable Diffusionの画像生成AIを、参照画像に基づいてより精密に制御するための技術、またはその技術をComfyUI上で実装したカスタムノードのことです。

テキスト・プロンプトに加え、参照画像を入力することで、AIが生成する画像のスタイル、構図、特定の視覚要素などを、より細かく制御できるようになります。

これにより、一貫したビジュアルテーマを持つ画像生成や、複雑な画像操作を簡素化することが可能になります。

Workflow

SD15-ipadapter.json

IPAdapterの接続の方法は、model経路でSD1.5基本ワークフローのcheckpointとKSampleの間にIPAdapterが入った格好です。

クリップビジョンは、IPAdapter専用のようなもので(SD1.5)、必要なIPAdapter モデルをつなぐだけです。

いつものSD15_Standard.jsonで作った参照画像

髪の毛を青にプロンプトを変更しました。

DWposeを追加してみます。

Workflow

SD15-ipadapter+Opne_Pose.json

DWposeの接続の方法は、基本構成のプロンプトとKSamplerの間にDWposeを入れた格好になります。

IPAdapterをip-adapter-plus_sd15に変えてみましょう。

IPAdapterの本家本元

ComfyUI IPAdapter plusを参照し以下に少しまとめました。

Hugging Face IP-Adaptermodels

SD1.5 IPAdapteの一部

SD1.5、xl イメージ・エンコーダ


Link