ComfyUI.Tokyo
SD1.5 IPAdapter DWpose
IP Adapter(Image Prompt Adapter)はStable DiffusionのControlNetで使うことができます。
IP Adapterは画像をプロンプトとして使う技術です。
つまり、画像自体がプロンプトの役割を担う機能なのです。
これによって、画像の要素を組み込んだ画像を生成できます。
SD1.5版 IP Adapterは、軽量・高精度・安定性の三拍子が揃っており、Stable Diffusionの「真骨頂」と呼ぶにふさわしい存在です。
IPAdapterは、画像間の条件付け(Image Prompting)を行うモデルであり、以下のような特徴があります:
- 参照画像のスタイルや特徴を新しい画像に転写する
- 1枚の画像でLoRAのような効果を得られる
- CLIP Visionエンコーダーを使って画像の意味的特徴を抽出し、生成に反映する
繰り返しになりますが、ComfyUI IP Adapterとは、Stable Diffusionの画像生成AIを、参照画像に基づいてより精密に制御するための技術、またはその技術をComfyUI上で実装したカスタムノードのことです。
テキスト・プロンプトに加え、参照画像を入力することで、AIが生成する画像のスタイル、構図、特定の視覚要素などを、より細かく制御できるようになります。
これにより、一貫したビジュアルテーマを持つ画像生成や、複雑な画像操作を簡素化することが可能になります。
Workflow
IPAdapterの接続の方法は、model経路でSD1.5基本ワークフローのcheckpointとKSampleの間にIPAdapterが入った格好です。
クリップビジョンは、IPAdapter専用のようなもので(SD1.5)、必要なIPAdapter モデルをつなぐだけです。
いつものSD15_Standard.jsonで作った参照画像
髪の毛を青にプロンプトを変更しました。
DWposeを追加してみます。
Workflow
DWposeの接続の方法は、基本構成のプロンプトとKSamplerの間にDWposeを入れた格好になります。
IPAdapterをip-adapter-plus_sd15に変えてみましょう。
ComfyUI IPAdapter plusを参照し以下に少しまとめました。
Hugging Face IP-Adaptermodels
SD1.5 IPAdapteの一部
- ip-adapter_sd15 ベーシックモデル。平均的な強さです
- ip-adapter_sd15_lightライトモデル。非常に軽いです
- ip-adapter-plus_sd15plusモデル。とても強いです
- ip-adapter-plus-face_sd15フェイスモデル。フェイスでのみ利用します
- ip-adapter-full-face_sd15より強力なフェイスモデル。必ずしも優れているわけではないです
- ip-adapter_sd15_vit-GbigGエンコーダーで学習したベースモデルです






