画像編集・インペインティング¶
画像・2Dアート
オープンソース¶
-
2026
詳細を保持した人物と商品の画像を生成するために設計された、高精度な参照ベースのインペインティングフレームワーク。微細な商品の特徴を洗練させるShared Enhancement Attention (SEA) と、精密なピクセルレベルの監視を強制するDetail-Aware Loss (DAL) を導入している。
detail-preservinge-commerceinpaintingreference-basedGitHub · arXiv · Hugging Face · 公式サイト
-
Moebius AIが発見
2026
Moebiusは、100億パラメータ規模の基盤モデルに匹敵する性能をわずか2億パラメータで実現する、極めて効率的で軽量な画像インペインティングフレームワークです。2系統のスパーストランスフォーマーと動的特徴蒸留メカニズムを導入してディフューザーのバックボーンを再構築し、計算コストを大幅に削減しています。
diffusioninpaintinglightweight -
ACE++ AIが発見
2025
アリババの通義ラボ（Tongyi Lab）が開発した、参照画像生成、局所編集、および制御可能な生成を統合する指示ベースの拡散フレームワーク。Long-context Condition Unit（LCU）を改良し、2段階のトレーニングスキームを採用することで、高品質な文脈適応型のコンテンツ埋め込みと精密な指示追従を実現しています。
diffusionimage-editinginpaintinginstruction-following -
2025
指示ベースの画像編集を行う120億パラメータのフローマッチングモデル。反復編集をまたいでキャラクターや物体を保持し、局所・全体の編集に加えスタイル・キャラクター参照に対応する。
character-consistencyfluxinstruction-editingGitHub · arXiv · Hugging Face
-
ICEdit: Enabling Instructional Image Editing with In-Context Generation in Diffusion Transformers AIが発見
2025
ICEditは、大規模なDiffusion Transformer（DiT）をベースに構築されたインコンテキスト画像編集フレームワークです。モデル本来の生成および理解能力を活用することで、アーキテクチャの変更や大規模な微調整を必要とせず、指示に基づいた正確な画像編集を可能にします。
diffusion-transformerimage-editingin-context-learning -
InfiniteYou AIが発見
2025
FLUXなどの高度なDiffusion Transformer（DiT）をベースにした、アイデンティティを維持する画像編集および写真再構成フレームワーク。InfuseNetを導入してDiTバックボーンにアイデンティティ特徴を注入し、高い類似性を維持しながら柔軟で高品質なキャラクター編集を可能にします。
diffusion-transformeridentity-preservingimage-editing -
Inpaint4Drag AIが発見
2025
Inpaint4Dragは、ドラッグ操作による画像編集を、ピクセル空間での双方向ワーピングと生成的な画像インペインティングに分解するフレームワークです。既存のインペインティングモデルを再利用することで、精密で幾何学的に一貫した、インタラクティブなオブジェクトの移動や変形を実現します。
drag-editingimage-manipulationinpainting -
MagicQuill V2 AIが発見
2025
生成的な画像編集にレイヤー合成パラダイムを導入し、クリエイティブな意図を「コンテンツ」「空間」「構造」「色」という個別の制御可能な視覚的手がかりに分解するシステム。オブジェクトの配置、形状、外観を直感的かつ精密に制御できます。
image-editinginteractive-editinglayered-composition -
2025
テキスト→画像生成と指示ベースの編集を単一アーキテクチャで扱う統合モデル。テキストと画像を交互に並べたプロンプトを受け取り、構成的な編集を行う。
instruction-editingmultimodalunified -
PixelHacker AIが発見
2025
構造的および意味的な一貫性を維持するためにLatent Categories Guidance（LCG）を導入した、拡散モデルベースの画像インペインティング手法。Places2、CelebA-HQ、FFHQなどのベンチマークで優れた性能を達成しています。
diffusioneditinginpainting -
Step1X-Edit AIが発見
2025
MLLM（マルチモーダル大規模言語モデル）を利用して編集指示を解析し、DiT（Diffusion Transformer）ベースのネットワークで画像をデコードする、最先端のオープンソース画像編集フレームワーク。GPT-4oやGemini 2 Flashなどの商用モデルに匹敵する編集精度を実現します。
diffusion-transformerimage-editingmllm -
Token Painter AIが発見
2025
マスク自己回帰モデル（MAR）に基づく、学習不要のテキストガイド付き画像インペインティング手法。マスクされていない背景を完全に保存しながら、マスクされたトークンを選択的に生成します。
autoregressiveimage-editinginpaintingtraining-free -
TurboFill AIが発見
2025
わずか4ステップで高品質かつ構造的に一貫した調和のとれたインペインティングを実現するため、少数ステップのテキスト画像拡散モデル（DMD2など）にインペインティングアダプターを適応させた高速画像インペインティングモデル。
cvpr2025diffusionfew-stepinpainting -
AnyEdit: Mastering Unified High-Quality Image Editing for Any Idea AIが発見
2024
20種類以上の編集タイプにわたる250万組の高品質な編集ペアデータセットでトレーニングされた、指示ベースの包括的なマルチモーダル画像編集フレームワーク。
diffusionimage-editinginstruction-guided -
AnyText2 AIが発見
2024
自然なシーン画像内のテキストをシームレスにインペインティング・編集しながら、フォント、色、サイズ、方向などのテキスト属性を精密に制御できる、多言語対応のビジュアルテキスト生成・編集モデル。
diffusioninpaintingmultilingualtext-editing -
BrushEdit AIが発見
2024
BrushEditは、インバージョンベースおよび指示ベースの手法の限界を克服する、オールインワンの画像インペインティングおよび編集フレームワークです。ユーザーは、高い忠実度と構造的一貫性を保ちながら、精密な局所編集、オブジェクトの追加、および削除を行うことができます。
diffusionimage-editinginpainting -
BrushNet AIが発見
2024
マスクされた画像特徴量とノイズの混ざった潜在変数を分離する、分解型デュアルブランチ拡散アーキテクチャを導入したプラグアンドプレイの画像インペインティングモデル。画質と意味的一貫性を高度に維持します。
diffusioninpaintingplug-and-play -
CAT-Diffusion AIが発見
2024
テキスト指示に基づくオブジェクトのインペインティングを行うための、カスケード型トランスフォーマー拡散フレームワーク。補助的なマルチモーダル特徴空間（CLIP）で対象オブジェクトを事前インペイントした後に、高精度な視覚的詳細を生成します。
clipdiffusionimage-editinginpainting -
ComfyUI Inpaint Nodes AIが発見
2024
SDXL用のFooocusインペイントモデル、LaMa、MATなどのモデルをサポートし、インペインティングおよびアウトペインティングのワークフローを改善するために設計されたComfyUI用カスタムノード群。
comfyuiinpaintinglamaoutpainting -
DesignEdit AIが発見
2024
画像をレイヤーに分解することで、インペインティング、アウトペインティング、移動、リサイズなどの様々な空間認識画像編集タスクを統合する、トレーニング不要のマルチレイヤー潜在拡散フレームワーク。
diffusionimage-editinginpaintingoutpainting -
DiffEditor AIが発見
2024
細粒度な画像編集の精度と柔軟性を向上させる、拡散モデルベースの画像編集フレームワーク。画像プロンプト、SDEとODEの組み合わせ、領域スコアに基づく勾配ガイダンス、およびタイムトラベル戦略を統合することで、正確な局所的修正を可能にします。
diffusiondragediting -
Diffree AIが発見
2024
ユーザー定義のマスクを必要とせず、テキスト指示のみで新しいオブジェクトを画像内にシームレスに挿入できる形状フリーのオブジェクトインペインティングモデルです。背景の一貫性を維持しながら、新しいオブジェクトの適切な配置場所とマスクを自動的に予測します。
diffusioninpaintingobject-addition -
Edicho AIが発見
2024
明示的な画像対応関係を利用して編集プロセスを指示することにより、野生の画像間で一貫した編集を可能にする、拡散モデルに基づくトレーニングフリーの画像編集フレームワーク。
diffusioniccv2025image-editingtraining-free -
FlowEdit AIが発見
2024
Stable Diffusion 3やFLUXなどの事前学習済みテキスト画像変換フローモデルを利用する、トレーニング不要かつインバージョン不要のテキストガイド型画像編集手法。ソース分布とターゲット分布をマッピングする直接的な常微分方程式（ODE）を構築します。
flow-matchingimage-editinginversion-free -
FLUX ControlNet Inpainting AIが発見
2024
FLUX.1-devモデル向けに設計された高度なインペインティング用ControlNetチェックポイント。高品質で文脈に沿った画像補完や局所編集を可能にします。
controlnetfluxinpainting -
MagicQuill AIが発見
2024
ユーザーのブラシストロークとテキストプロンプトを解釈するためにマルチモーダル大規模言語モデル（MLLM）を統合した、インテリジェントなインタラクティブ画像編集システム。最小限の入力でオブジェクトの挿入、削除、色の変更などの精密で柔軟な編集操作を可能にします。
image-editinginteractivemllm -
Paint by Inpaint: Learning to Add Image Objects by Removing Them First AIが発見
2024
インペインティングプロセスを逆転させる学習を行うことで、画像にオブジェクトを追加する拡散モデルを訓練する、マスク不要の指示追従型画像編集フレームワーク。
diffusionimage-editinginpainting -
2024
構造ガイド付きの画像インペインティング用拡散モデル。補助的なスパース構造のガイダンスの下でデノイジングプロセスを再構成し、セマンティックな不一致を解消します。
diffusionimage-editinginpainting -
UltraEdit: Instruction-based Fine-Grained Image Editing at Scale AIが発見
2024
指示に基づく細粒度な画像編集のための大規模データセットおよびフレームワークであり、自動生成された高品質な領域アノテーションを用いて、フリーフォームおよび領域指定の編集の両方をサポートします。
datasetdiffusionimage-editinginstruction-based -
AnyDoor: Zero-shot Object-level Image Customization AIが発見
2023
ユーザーが指定した位置や形状で、対象のオブジェクトを新しいシーンにシームレスにテレポートさせることができる、ゼロショットのオブジェクトレベル画像カスタマイズ向け拡散モデル。
diffusionimage-editinginpainting -
AnyText AIが発見
2023
AnyTextは、画像内に正確で一貫した多言語テキストを描画するために設計された、テキスト生成および編集ツールです。テキストのインペインティングと編集をサポートしており、画像内の特定領域のテキストをシームレスに置換、修正、または追加することができます。
inpaintingmultilingualtext-editing -
DragDiffusion AIが発見
2023
ドラッグ操作によるピクセル単位の操作を拡散モデルに拡張し、オブジェクトのポーズ、形状、レイアウトを精密に制御できるインタラクティブなポイントベース画像編集フレームワーク。
drag-basedimage-editinginteractive -
HD-Painter AIが発見
2023
HD-Painterは、高解像度かつプロンプトに忠実なテキストガイド型画像インペインティングを実現する、追加学習不要（training-free）のアプローチです。プロンプト認識型アテンションガイダンスとスケール認識型サンプリング戦略を導入し、インペイント領域を複雑なユーザープロンプトに正確に適合させます。
diffusionhigh-resolutioninpainting -
Inpaint Anything AIが発見
2023
Segment Anything Model (SAM) と拡散ベースのインペインティングモデルを組み合わせ、クリック操作だけでオブジェクトの削除、置換、背景編集を可能にするマスクフリーの画像インペインティングパイプライン。
inpaintingsamsegment-anything -
Inpaint-Web AIが発見
2023
WebGPUとWebAssembly（WASM）を搭載し、ブラウザ上のクライアントサイドで完全に動作する、無料かつオープンソースのインペインティングおよび画像アップスケーリングツール。
browser-toolinpaintingwasmwebgpu -
LEDITS++ AIが発見
2023
元の画像への高い再現性を維持しつつ、追加の微調整なしで複数の同時編集をサポートする、効率的かつ正確なテキストガイド型画像編集手法。
diffusionimage-editingtext-guided -
MagicBrush AIが発見
2023
シングルターン、マルチターン、マスクあり/なしなど、多様なシナリオをカバーする、指示ガイド型リアル画像編集のための大規模な手動アノテーション付きデータセットおよびベンチマーク。
datasetimage-editinginstruction-guided -
MagicRemover AIが発見
2023
拡散モデルのサンプリングプロセス内でのアテンションガイダンスを利用して、オブジェクトを正確に消去し、遮蔽されたコンテンツを復元する、チューニングフリーのテキストガイド付き画像インペインティング手法。
diffusioninpaintingtuning-free -
MasaCtrl AIが発見
2023
ソース画像から自己アテンションマップをクエリすることで、一貫した画像合成や非剛体的な画像編集を可能にする、微調整不要の相互自己アテンション制御手法。
image-editingself-attentiontuning-free -
Pix2Pix-Zero AIが発見
2023
手動のプロンプトや追加訓練を必要とせず、テキスト埋め込み空間内の編集方向を見つけることで、元の画像の構造を維持しながらゼロショット画像間変換を行う手法。
image-editingimage-to-imagezero-shot -
PowerPaint AIが発見
2023
テキスト指示によるオブジェクトのインペインティング、オブジェクト削除、アウトペインティング、形状ガイド付き生成などを単一の統合フレームワークでサポートする多機能な画像インペインティングモデル。
inpaintingobject-removaloutpainting -
SketchRefiner AIが発見
2023
ユーザーが描いたスケッチを利用して画像修復プロセスをガイドする、インタラクティブな画像インペインティングフレームワークです。手描きのラフなスケッチと、インペインティングモデルが必要とする正確な構造的入力とのギャップを埋めるためのスケッチ洗練ステージを導入しています。
inpaintinginteractivesketch-guided -
SmartEdit: Exploring Complex Instruction-based Image Editing with Multimodal Large Language Models AIが発見
2023
マルチモーダル大規模言語モデル（MLLM）を統合することで、複雑な編集指示に対する理解力と推論能力を向上させた、指示ベースの画像編集フレームワークです。
diffusionimage-editinginstruction-basedmllm -
DiffEdit AIが発見
2022
拡散モデルを用いてテキストクエリからマスクガイドを自動生成し、画像の他の部分を維持しながら正確な局所編集を可能にするセマンティック画像編集手法。
diffusionimage-editingmask-guidance -
InstructPix2Pix AIが発見
2022
GPT-3とStable Diffusionによって生成されたペアデータセットで訓練され、自然言語の指示に従って画像を編集できる指示ガイド型画像編集モデル。
diffusionimage-editinginstruction-guided -
IOPaint AIが発見
2022
最先端のAIモデルを搭載した、Webベースの人気オープンソース画像インペインティング・編集ツール。オブジェクトの削除、消去、およびStable Diffusionによる置換をサポートします。
inpaintingobject-removalweb-ui -
Paint-by-Example AIが発見
2022
テキストプロンプトの代わりに参照画像（エグゼンプラー）を使用して画像を編集する、参照画像ガイド型の画像編集フレームワーク。自己教師あり学習と情報ボトルネックを活用し、オブジェクトの挿入やスタイルを精密に制御します。
diffusionexemplar-guidedimage-editing -
Plug-and-Play Diffusion Features AIが発見
2022
ガイド画像から抽出した空間特徴量と自己アテンションマップをテキスト画像拡散プロセスに注入し、再現性の高い画像間変換（Image-to-Image）を可能にするフレームワーク。
diffusionimage-editingimage-to-image -
Prompt-to-Prompt AIが発見
2022
テキストから画像への拡散モデルにおけるクロスアテンションマップを操作することで、元のレイアウトを維持しながら正確なセマンティック編集を実現する、訓練不要の画像編集フレームワーク。
cross-attentionimage-editingtraining-free -
RePaint AIが発見
2022
極端なマスクやフリーフォームのマスクに対応するために、逆拡散プロセスを修正する古典的なDDPMベースのインペインティング手法です。事前学習済みの無条件DDPMを生成事前分布として活用するため、タスク固有の追加学習を必要としません。
ddpmdiffusioninpainting -
LaMa AIが発見
2021
高速フーリエ畳み込み（FFC）をベースにし、高解像度画像における大きな欠損領域や複雑な幾何学的構造の修復に優れた、解像度に対して頑健な画像インペインティング手法。
fourier-convolutionhigh-resolutioninpainting -
SDEdit AIが発見
2021
ガイド画像にノイズを加え、確率微分方程式（SDE）を用いてノイズ除去を行うことで、リアリズムとユーザー入力への忠実性のバランスを取る、基礎的な画像合成・編集手法。
diffusionimage-editingsde
商用・業界ツール¶
-
Adobe Firefly / Photoshop Generative Fill AIが発見
2023
Photoshopに直接統合されたAdobeのフラッグシップ生成AIツールで、シンプルなテキストプロンプトを使用して画像内のコンテンツを追加、拡張、または削除できます。コンセプトアートのイテレーション、背景のクリーンアップ、アセット生成など、プロのゲームやアニメ制作で広く使用されています。
commercialinpaintingoutpaintingphotoshop -
Adobe Firefly Generative Fill AIが発見
2023
Photoshopに直接統合されたAdobeの商用生成AIツール。シンプルなテキストプロンプトを使用して、プロフェッショナルな制御とライセンスの安全性を備えた画像の追加、拡張、削除を可能にする。
commercialinpaintingoutpaintingphotoshop -
Leonardo AI Canvas AIが発見
2023
ゲームやアニメのスタジオで迅速なプロトタイピングやアセットの洗練に広く使用されている、画像生成プラットフォーム。インペインティング、アウトペインティング、スタイルの一貫性を保ったアセット生成のためのインタラクティブなワークスペース「AI Canvas」を提供します。
image-editinginpaintingoutpainting -
Clipdrop AIが発見
2020
オブジェクト削除（Cleanup）、画像アウトペインティング（Uncrop）、リライティング、背景置換などの高度なツールを提供する、Stability AI/JasperによるAI搭載ビジュアル編集スイート。
cleanupimage-editinginpaintingoutpainting -
Photoroom AIが発見
2020
Photoroomは、背景削除、オブジェクト削除、および高品質な画像インペインティングに特化した、AI搭載のプロプライエタリな写真編集プラットフォームです。アセットの迅速な作成、Eコマース、およびマーケティング制作向けに調整された、Web、モバイル、およびバッチAPIソリューションを提供します。
background-removalinpaintingobject-removalproprietary
:quality(80):no_upscale())