スケッチ→画像¶
画像・2Dアート
オープンソース¶
-
2026
自己アテンションエンコーディングと座標保持フュージョンを利用して、きめ細かなディテールを再構築し、空間的なアライメントを維持する、コンポーネント認識型かつ自己洗練型のスケッチ画像生成フレームワーク。
diffusionfusionself-attentionsketch -
MMFace-DiT AIが発見
2026
スケッチやマスクなどの空間的条件とセマンティックなテキストトークンを並行して処理する、高精度なマルチモーダル顔画像生成のための統一されたデュアルストリーム拡散トランスフォーマー。
diffusion-transformerface-generationsketch-to-image -
SketchingReality: From Freehand Scene Sketches to Photorealistic Images AIが発見
2026
人間が手描きしたフリーハンドのシーンスケッチ向けに設計されたスケッチ画像変換フレームワーク。Stable Diffusion 2.1をバックボーンとし、セマンティックスケッチエンコーダーとアテンション監視で訓練された変調ネットワークを組み合わせています。
diffusionfreehand-sketchsketch-to-image -
d-Sketch AIが発見
2025
構造的な制約下での視覚的忠実度を向上させるために、事前学習済みの潜在拡散モデルの特徴汎化能力を活用する、トレーニング不要のスケッチから画像への変換技術。
diffusionsketch-to-imagetraining-free -
DreamOmni3 AIが発見
2025
ユーザーのテキスト、画像、手書きスケッチを組み合わせることで、スクリブル（落書き）ベースの画像編集と生成をサポートする、統一されたマルチモーダルなトランスフォーマー・拡散フレームワーク。
editingmultimodalscribblesketch -
LOTS of Fashion! Multi-Conditioning for Image Generation via Sketch-Text Pairing AIが発見
2025
グローバルな説明文と局所的なスケッチ・テキストを組み合わせることで、ネックラインやポケット、スタイルなどのデザイン要素を精密に制御できる、ファッション画像生成向けのマルチ条件付けフレームワーク。
controlnetdiffusionfashionsketch -
Block and Detail: Scaffolding Sketch-to-Image Generation AIが発見
2024
オブジェクトの配置や大まかな形状を表すラフな「ブロッキング」ストロークと、輪郭や細部を洗練させる「ディテール」ストロークを段階的に描き分けることで、アーティストの反復的な制作プロセスに寄り添うスケッチ画像生成ツール。ControlNetを用いた2パスのアルゴリズムにより、レイヤー化されたスケッチから高精度な画像を生成します。
controlnetdiffusioninteractivesketch -
ControlNet++: Improving Conditional Controls with Efficient Consistency Feedback AIが発見
2024
生成された画像と条件付きコントロール（スケッチや落書きなど）の間のピクセルレベルのサイクル一貫性を最適化し、識別モデルによるフィードバックを利用して制御可能な画像生成を強化します。
conditioningcontrolnetscribblesketch -
It's All About Your Sketch: Democratising Sketch Control in Diffusion Models AIが発見
2024
アマチュアが描いた大まかなスケッチでもテキストから画像への拡散モデルを効果的に制御できるようにする、抽象化を考慮したフレームワーク。従来のコントロールアダプターで発生しがちだった空間的な歪みや位置合わせの問題を解決します。
controlnetcvprdiffusionsketch -
One-Step Image Translation with Text-to-Image Models (Pix2Pix-Turbo) AIが発見
2024
敵対的学習と事前学習済みText-to-Imageモデルを組み合わせることで、SDXL Turboなどの1ステップ拡散モデルをスケッチから画像への変換といった条件付き画像変換タスクに1回のフォワードパスで適応させる手法を提案します。
diffusionone-stepreal-timesketch -
Scribble-Guided Diffusion AIが発見
2024
ファインチューニングやペアデータセットを必要とせず、ユーザーが提供するシンプルな落書き（スクリブル）を利用して正確な空間的ガイダンスとアライメントを提供する、トレーニングフリーのテキストから画像への生成手法。
diffusionscribblespatial-controltraining-free -
Sketch-guided Image Inpainting with Partial Discrete Diffusion Process AIが発見
2024
関心領域のみを破損・再構成する部分離散拡散プロセス（PDDP）を導入し、正確な形状やポーズの制御を可能にする、スケッチ誘導型の画像インペインティング手法。
diffusioninpaintingsketch -
Sketch-Guided Scene Image Generation AIが発見
2024
手書きのスケッチから複雑なシーン画像を生成するタスクを、オブジェクトレベルのクロスドメイン生成とシーンレベルの画像構築に分解し、高い忠実度と自然な合成を実現するフレームワーク。
diffusionscene-generationsketch -
Training-Free Sketch-Guided Diffusion with Latent Optimization AIが発見
2024
事前学習済みのテキストから画像への拡散モデルを拡張し、スケッチによる条件付けを組み込むトレーニングフリーのパイプライン。各中間ステップで潜在変数の最適化を行い、生成プロセスのクロスアテンションマップをリファレンススケッチの構造に整合させます。
diffusionsketchtraining-free -
U-Sketch AIが発見
2024
ピクセル間の局所的・大域的特徴および空間的相関を効率的に捉えるU-Net型の潜在エッジ予測器を特徴とするスケッチ画像生成フレームワーク。入力スケッチを前処理・簡略化して出力を向上させるスケッチ簡略化ネットワークも提案しています。
controlnetdiffusionsketch -
DiffSketching AIが発見
2023
拡散モデルをベースにしたスケッチ誘導型の画像合成フレームワーク。クロスドメイン制約を介して抽象的で歪んだスケッチをマッチングさせ、分類器によるガイダンスを用いて生成プロセスを制御します。
classifier-guidancediffusionsketch -
flowty-realtime-lcm-canvas AIが発見
2023
Latent Consistency Models (LCM) と LCM-LoRA を搭載し、Gradio で構築されたリアルタイムのスケッチ・トゥ・イメージ対話型キャンバスインターフェース。
canvaslcmrealtimesketch -
2023
確率微分方程式と拡散インバージョンを活用して、参照画像からスケッチに色とテクスチャを転送する、追加学習不要のサンプルベースのスケッチから写真への合成手法です。
diffusionexemplarinversionsketch -
Krita AI Diffusion AIが発見
2023
Stable DiffusionやLCMを使用して、リアルタイムのスケッチから画像への生成、インペインティング、アウトペインティングを統合する、デジタルペイントアプリ「Krita」用のオープンソースプラグイン。
krita-pluginreal-timesketch-to-image -
Scribble Diffusion AIが発見
2023
ControlNetとStable DiffusionをReplicate API経由で利用し、手書きのラフなスケッチを詳細で洗練された画像に変換するオープンソースのWebアプリケーション。
controlnetdiffusionscribblesketch -
Sketch-a-Sketch: Controlling diffusion-based image generation with just a few strokes AIが発見
2023
わずか数本のストロークからなるまばらな手書きスケッチを使用して、拡散ベースの画像生成を制御するフレームワークであり、直感的でインタラクティブなビジュアルドラフティングを可能にします。
diffusioninteractivesketchstrokes -
T2I-Adapter AIが発見
2023
ベースモデルを微調整することなく、スケッチ、落書き、深度マップなどの外部制御信号をテキストから画像への拡散モデルの内部特徴と整合させる軽量なアダプター。
adaptercontrolnetsketch-to-image -
Sketch-Guided Text-to-Image Diffusion Models AIが発見
2022
エッジマップやスケッチを使用して、事前学習済みのText-to-Image拡散モデルを推論時にガイドする、追加学習不要の最適化手法を導入し、入力された描画との空間的な整合性を確保します。
diffusionguidancesketchtraining-free
商用・業界ツール¶
-
Fotor Sketch to Image AI AIが発見
2024
手描きのスケッチを高品質なデジタルアートワークに変換する商用のウェブベースツール。リアル、3D、アニメ、油絵など、さまざまなスタイルをサポートしています。
animecommercialsketch -
OpenArt Sketch to Image AIが発見
2024
スケッチ、インテリアデザインのコンセプト、または製品のアイデアを、オプションのスタイル参照ガイドに従って詳細でリアルな画像に変換するオンラインAIツール。
commercialrenderingsketch -
Samsung Galaxy AI Sketch to Image AIが発見
2024
Samsung Galaxyデバイスに統合されたオンデバイス生成AI機能。写真の上に描いたラフな手書きの落書きやスケッチを、画像のスタイルに合わせた詳細でリアルなオブジェクトに変換する。
drawing-assistmobileon-devicesketch -
Freepik Pikaso AIが発見
2023
大まかな描画、図形、アイコンを詳細なビジュアルアートワークに即座に変換する、無料のブラウザベースのリアルタイムスケッチ画像生成ツール。
browser-basedproprietaryreal-timesketch-to-image -
Krea AI (Realtime Sketch to Image) AIが発見
2023
ユーザーが描画するにつれて、洗練されたコンセプトアートやプロダクトデザインを即座にレンダリングする、リアルタイムのスケッチから画像への変換キャンバスを備えた人気の商用AIデザインプラットフォーム。
canvasconcept-artproprietaryreal-time -
NewArc.ai AIが発見
2023
ファッション、フットウェア、プロダクトデザイナー向けに調整された商用のAIスケッチ画像生成ツールで、ラフな輪郭やドローイングを高精度な写真やレンダリング画像に変換します。
fashionproduct-designrendersketch-to-image -
Stable Doodle AIが発見
2023
Stable Diffusion XL と T2I-Adapter を使用して、シンプルな手書きの落書きを高品質でスタイライズされた画像に変換する、Stability AI による使いやすいスケッチ・トゥ・イメージツール。
doodlesdxlsketcht2i-adapter -
Vizcom AIが発見
2023
手書きやデジタルのスケッチを、フォトリアルな3D風のプロダクトビジュアルに即座にレンダリングする、インダストリアルデザイナーやコンセプトアーティストに広く使用されているAIデザインプラットフォーム。
concept-artindustrial-designrendersketch-to-image
