動画編集¶
動画
オープンソース¶
-
EditCtrl: Disentangled Local and Global Control for Real-Time Generative Video Editing AIが発見
2026
編集マスクのサイズに比例して計算量を動的に割り当てる、効率的なビデオインペインティングおよび編集フレームワーク。マスクされたトークンのみを処理するローカルビデオコンテキストモジュールと、軽量な時系列グローバルコンテキスト埋め込みを組み合わせることで、リアルタイムかつ高精度な生成編集を実現します。
diffusioninpaintingreal-timevideo-editing -
EffectErase: Joint Video Object Removal and Insertion for High-Quality Effect Erasing AIが発見
2026
オブジェクトの除去と挿入を共同学習する動画オブジェクト除去フレームワーク。Wan2.1動画生成システムをベースに構築され、動的なターゲットオブジェクトだけでなく、その影や反射などの複雑な視覚効果を効果的に排除し、シームレスな背景を復元します。
object-removalvideo-editingvideo-inpaintingwan2.1 -
FireRed-OpenStoryline AIが発見
2026
手動の編集作業を、意図に沿ったディレクションへと変換するオープンソースのAI動画編集エージェント。大規模言語モデル（LLM）を活用した自律的なプランニング、スクリプト生成、ナレーション作成、および精密なツール連携により、動画制作・編集ワークフローを自動化します。
agentautomationllmvideo-editing -
JoyAI-Video-Edit AIが発見
2026
リアルタイムかつオープンエンドなストリーミング動画編集向けに設計された、160億パラメータの自己回帰型拡散フレームワーク。入力される動画フレームを低遅延で因果的に処理し、オブジェクトの追加・削除、背景の置換、スタイル転送などの多様な編集タスクを30 FPSでサポートします。
diffusionreal-timestreamingvideo-editingGitHub · arXiv · Hugging Face
-
LiveEdit AIが発見
2026
リアルタイムのインタラクティブなシナリオ向けに設計された拡散ベースのストリーミングビデオ編集フレームワークであり、背景の安定性と低遅延を最適化します。
real-timestreamingvideo-editing -
LoomVideo AIが発見
2026
マルチモーダル大規模言語モデルを統合し、テキストと画像が混在する入力を解釈して、追加の計算オーバーヘッドなしで動画生成および編集を実行できる統合フレームワーク。
multimodalvideo-editingvideo-generation -
Memory-V2V: Memory-Augmented Video-to-Video Diffusion for Consistent Multi-Turn Editing AIが発見
2026
過去の編集結果を後続の生成に対する構造化された制約として扱う、ビデオ・ツー・ビデオ（V2V）拡散モデル向けのメモリ拡張フレームワーク。外部メモリに過去の出力を保持し、タスクに関連する編集を検索・統合することで、複数ターンの新規視点合成や長尺ビデオ編集におけるターン間の一貫性を大幅に向上させます。
diffusionmemory-augmentedvideo-editingvideo-to-video -
Qwen-Video-Edit AIが発見
2026
事前学習済みの画像編集モデル（Qwen-Image-Edit）を再利用し、video-VAEの潜在空間上で直接操作することで動画を編集する指示ベースの動画編集フレームワーク。潜在フレームを1枚の大きな仮想画像のタイルとして配置することで、高コストな動画事前学習済みトランスフォーマーを不要にします。
diffusionimage-to-videolatent-spacevideo-editing -
SANA-Streaming AIが発見
2026
ハイブリッド拡散トランスフォーマーを採用し、コンシューマ向けGPU上で高解像度かつリアルタイムなストリーミング動画編集（V2V）を実現する、NVIDIAによるシステム・アルゴリズム共同設計フレームワーク。
diffusion-transformerreal-timevideo-editing -
Seen-to-Scene AIが発見
2026
動画の境界を拡張するために、伝播ベースと生成ベースのパラダイムを統合した動画アウトペインティング（外側補完）フレームワーク。既存の視覚的コンテンツを維持しながら、時間的コヒーレンスと空間的一貫性を備えた未見の領域を生成します。
diffusionoutpaintingtemporal-consistencyvideo-editing -
Vera: A Layered Diffusion Model for Content-Preserving Video Editing AIが発見
2026
コンテンツ保存型のビデオ編集のためのレイヤード拡散フレームワーク。ビデオ全体を再生成する代わりに、編集レイヤーと合成用のアルファマットを生成し、クリエイティブな編集と元のコンテンツの保存を設計レベルで分離します。
alpha-mattelayered-diffusionnetflixvideo-editing -
DiffuEraser AIが発見
2025
大きなマスク領域のオブジェクト除去や動画補完において、高いコンテンツの完全性と時間的一貫性を両立させるために設計された、拡散モデルベースの動画インペインティング手法。
diffusion-modelobject-removalvideo-inpainting -
DynVFX: Augmenting Real Videos with Dynamic Content AIが発見
2025
シンプルなテキスト指示に基づいて、実世界の動画に新しく生成された動的コンテンツを追加する手法。時間の経過とともに既存 of シーンと自然に相互作用する動的オブジェクトや複雑なシーン効果を合成し、時間的・空間的な一貫性を確保します。
diffusiondynamic-contentvfxvideo-editing -
EditVerse: Unifying Image and Video Editing and Generation with In-Context Learning AIが発見
2025
単一のモデル内で画像と動画の両方の編集および生成を可能にする統一フレームワーク。テキスト、画像、動画を統一されたトークンシーケンスとして表現し、フル自己アテンションを活用することで、堅牢なインコンテキスト学習とモダリティ間の効果的な知識転送を実現します。
diffusionimage-editingin-context-learningvideo-editing -
EgoEdit AIが発見
2025
一人称視点（エゴセントリック）の動画編集に特化した、リアルタイムかつ指示誘導型の自己回帰モデルおよびベンチマーク。一人称動画における手元の遮蔽、複雑なインタラクション、大きな自己運動に対応し、正確なオブジェクトの置換や削除を実行します。
autoregressiveegocentricreal-timevideo-editing -
EraserDiT: Fast Video Inpainting with Diffusion Transformer Model AIが発見
2025
Diffusion Transformer (DiT) アーキテクチャに基づいた高速なビデオインペインティングおよびオブジェクト削除フレームワーク。インタラクティブに指定されたオブジェクトを削除し、対応するプロンプトを自動生成して、高い一貫性と忠実度で高解像度ビデオを処理します。
ditinpaintingobject-removalvideo-editing -
FlowDirector: Training-Free Flow Steering for Precise Text-to-Video Editing AIが発見
2025
常微分方程式（ODE）を用いてデータ空間で直接動作する、トレーニング不要かつインバージョン不要のビデオ編集フレームワーク。モデルの微調整を必要とせず、時空間的に一貫した編集とアテンション誘導型マスキングによる精密な局所制御を実現します。
inversion-freeodetraining-freevideo-editing -
InstructX: Towards Unified Visual Editing with MLLM Guidance AIが発見
2025
多モーダル大規模言語モデル（MLLM）と拡散モデルを統合した、画像および動画編集のための統一フレームワーク。MLLMのガイダンスを活用することで、指示駆動型の編集タスクにおける空間的・意味的な精度を向上させます。
diffusionmllmvideo-editing -
MTV-Inpaint AIが発見
2025
従来のシーン補完と、テキストまたは画像ガイドによるオブジェクト挿入の両方をサポートする、長尺動画対応の統合マルチタスクビデオインペインティングフレームワーク。
diffusionvideo-editingvideo-inpainting -
VACE AIが発見
2025
参照画像からの動画生成、動画間編集、マスク指定による動画編集、およびこれらのタスクの自由な組み合わせを単一のモデルで実現する、統合型の動画生成・編集フレームワーク。
diffusion-transformervideo-editingvideo-generation -
VEGGIE AIが発見
2025
マルチモーダルな指示に基づいて、ビデオ内の概念の追加、削除、変更などの指示型ビデオ編集やビデオ推論を統一的に処理するビデオ生成フレームワーク。
diffusioninstructionalvideo-editing -
VideoPainter AIが発見
2025
背景の保存と前景の生成を両立させながら、プラグアンドプレイのコンテキスト制御を導入することで、任意の長さの動画のインペインティングと編集を可能にするフレームワーク。
context-controlvideo-editingvideo-inpainting -
AnyV2V AIが発見
2024
AnyV2Vは、チューニング不要でプラグアンドプレイのビデオ・ツー・ビデオ編集フレームワークです。最初のフレームに対する画像編集タスクに変換し、その編集内容をビデオ拡散モデルを介して残りのフレームに伝播させることで、プロンプトベースの編集やスタイル転送などを実現します。
diffusionvideo-editingvideo-to-video -
AutoVFX: Physically Realistic Video Editing from Natural Language Instructions AIが発見
2024
単一の動画と自然言語の指示から、リアルで動的な視覚効果（VFX）動画を自動生成するフレームワーク。ニューラルシーンモデリング、LLMベースのコード生成、および物理シミュレーションを統合することで、物理法則に基づいたフォトリアルな編集効果を提供します。
llmphysics-simulationvfxvideo-editing -
COCOCO AIが発見
2024
Segment Anything 2 (SAM 2) を使用して、テキストガイド付きビデオインペインティングの一貫性、制御性、および互換性を向上させるビデオインペインティングフレームワーク。
sam2video-editingvideo-inpainting -
2024
時間的一貫性、制御性、および互換性を向上させるために設計されたテキスト誘導型動画インペインティングフレームワーク。Segment Anything 2 (SAM2) を統合し、シームレスなオブジェクト除去、動画補完、およびパーソナライズされた動画インペインティングを可能にします。
diffusionsam2video-editingvideo-inpainting -
COVE: Unleashing the Diffusion Feature Correspondence for Consistent Video Editing AIが発見
2024
学習済みテキスト画像拡散モデルの固有の特徴対応関係を活用するゼロショット動画編集フレームワーク。フレーム間の対応関係を確立することで強力な時間的制約を課し、一貫性の高い高品質な編集動画を生成します。
diffusiontemporal-consistencyvideo-editingzero-shot -
Elevating Flow-Guided Video Inpainting with Reference Generation AIが発見
2024
大規模生成モデルによる参照画像生成と、高度な画素伝播アルゴリズムを組み合わせた堅牢なビデオインペインティングフレームワーク。サブピクセル精度を維持しながらリサンプリングのアーティファクトを回避し、高品質なオブジェクト削除やテキスト指示による欠損領域のコンテンツ合成を実現します。
inpaintingobject-removalpixel-propagationvideo-editing -
FFF-VDI AIが発見
2024
事前学習済みの画像-動画拡散モデルを活用して欠損領域を補完する動画インペインティングモデル。ノイズ潜在伝播とDDIM反転を組み合わせた初フレーム充填戦略を用いることで、オプティカルフローの伝播に依存することなく、高い時間的一貫性と視覚的品質を達成します。
diffusioninpaintingtemporal-consistencyvideo-editing -
FloED AIが発見
2024
拡散モデルにオプティカルフローのガイダンスを組み込むことで、時間的一貫性と計算効率を向上させた高度なビデオインペインティングフレームワーク。
optical-flowvideo-editingvideo-inpainting -
I2VEdit AIが発見
2024
画像からビデオへの拡散モデルを使用して、最初のフレームに加えられた編集をビデオ全体に伝播させ、時間的一貫性を確保しながら元のモーションを維持する、初フレーム誘導型ビデオ編集フレームワーク。
diffusioni2vvideo-editing -
MotionFollower AIが発見
2024
MotionFollowerはスコア誘導型の動画編集フレームワークであり、背景の細部や主役のアイデンティティを保持しながら、動画フレーム間におけるオブジェクトのモーション軌跡やポーズを変更できます。
diffusionmotion-editingvideo-editing -
Streaming Video Diffusion (SVDiff) AIが発見
2024
オンラインビデオ編集向けに設計されたストリーミングビデオ拡散フレームワーク。コンパクトな空間認識型時間再帰構造を既存のStable Diffusionモデルに組み込むことで、ストリーミングビデオフレームのリアルタイムで一貫した編集を可能にします。
diffusionreal-timestreamingvideo-editing -
Towards Language-Driven Video Inpainting via Multimodal Large Language Models AIが発見
2024
手動のバイナリマスクの代わりに自然言語の指示を使用してビデオオブジェクトの削除や置換を行う、言語駆動型ビデオインペインティングを提案。Remove Objects from Videos by Instructions (ROVI) データセットと、マルチモーダル大規模言語モデルを活用して高精度なインペインティングを実現するフレームワークを導入している。
mllmobject-removalvideo-inpainting -
VideoDirector AIが発見
2024
事前学習済みのテキストからビデオ（T2V）への拡散モデルを活用し、時空間デカップルガイダンスとマルチフレームヌルテキスト最適化を利用して、高い時間的一貫性と編集忠実度を達成する精密なビデオ編集フレームワーク。
diffusiont2vvideo-editing -
Videoshop AIが発見
2024
ノイズ外挿拡散反転を用いて、最初のフレームに対するユーザーの編集を後続のフレームに伝播させる、トレーニング不要の局所的セマンティックビデオ編集アルゴリズム。
diffusiontraining-freevideo-editing -
AVID: Any-Length Video Inpainting with Diffusion Model AIが発見
2023
任意の長さの動画に対して、テキスト指示に基づいたインペイントや編集を可能にする拡散モデルベースのフレームワーク。セグメント対応のテンポラルアテンションとスライディングウィンドウ推論により、メモリ制限を克服しつつ、時間的一貫性を保ったオブジェクト除去や局所編集を実現します。
diffusioninpaintingvideo-editingvideo-inpainting -
ControlVideo: Conditional Control for One-shot Text-driven Video Editing and Beyond AIが発見
2023
事前学習済みのテキスト画像拡散モデルを適応させ、時間的一貫性のあるビデオを生成する、トレーニング不要のテキスト駆動型ビデオ編集フレームワーク。エッジマップなどの構造的条件を取り入れ、キーフレームと時間的アテンションを微調整することで、元のビデオのレイアウトを維持する。
diffusiontraining-freevideo-editing -
Fairy AIが発見
2023
アンカーベースのクロスフレームアテンションを利用して拡散特徴量を伝播させる、高速かつ並列化された指示駆動型の動画間（Video-to-Video）合成フレームワーク。優れた時間的一貫性を保証し、メモリの問題を発生させることなく長尺の動画に対応します。
cross-frame-attentiondiffusionvideo-editingvideo-to-video -
FateZero AIが発見
2023
プロンプトごとの追加学習やユーザー指定のマスクを必要とせず、実世界の動画を編集できるゼロショットのテキスト駆動型動画編集フレームワーク。ソース動画の反転プロセスから得られるアテンションマップを編集プロセスに融合させることで、高い時間的一貫性を実現します。
attention-fusiondiffusionvideo-editingzero-shot -
FLATTEN: Optical Flow-Guided Attention for Consistent Text-to-Video Editing AIが発見
2023
時間的一貫性を強制するためにオプティカルフロー誘導型アテンションを導入するテキスト動画編集フレームワーク。オプティカルフローの軌跡に沿ってアテンションマップを整列させることで、視覚的なちらつきを防ぎ、フレーム間でのシームレスなテクスチャとスタイルの伝播を保証します。
attentiondiffusionoptical-flowvideo-editing -
ProPainter AIが発見
2023
ProPainterは、伝播（propagation）と時空間トランスフォーマーを改良したビデオインペインティング（動画補完）フレームワークです。再帰的光学的フロー補完、画像と特徴量のデュアルドメイン伝播、マスクガイド付きスパーストランスフォーマーを統合し、高品質なオブジェクト除去や動画補完を実現します。
inpaintingobject-removalvideo-editing -
RAVE AIが発見
2023
RAVEは事前学習済みText-to-Image拡散モデルの動画グリッド間でノイズをシャッフルするゼロショット動画編集手法であり、追加の学習なしで高速かつ時間的一貫性のあるテキスト駆動動画編集を実現します。
diffusiontext-to-videovideo-editingzero-shot -
StableVideo: Text-driven Consistency-aware Diffusion Video Editing AIが発見
2023
ビデオ編集用のテキスト駆動型拡散モデルに時間的依存関係を導入したICCV 2023の論文。フレーム間の一貫性損失とマッピングメカニズムを利用して、編集されたオブジェクトが時間の経過とともに安定した一貫性のある外観を維持できるようにする。
diffusiontemporal-consistencyvideo-editing -
TokenFlow AIが発見
2023
TokenFlowは、事前学習済みのテキスト画像拡散モデルを使用して、一貫したビデオ編集を可能にするトレーニング不要のフレームワークです。フレーム間の対応関係に基づいて拡散特徴量の一貫性を強制することにより、編集後の動画の時間的一貫性を確保します。
diffusiontemporal-consistencyvideo-editing -
Track Anything (TAM) AIが発見
2023
Track Anything（TAM）は、SAMを動画追跡（XMem）やインペインティング（E2FGVI）モデルと組み合わせたインタラクティブな動画オブジェクト追跡・編集フレームワークです。クリックやテキストプロンプトで動画内の対象を選択・追跡・編集できます。
inpaintingsamtrackingvideo-editing -
Video-P2P AIが発見
2023
クロスアテンション制御を用いた実世界のビデオ編集フレームワークであり、元のポーズやシーンを維持しながら、事前学習済みの画像拡散モデルをビデオタスクに適応させる。
cross-attentiondiffusionvideo-editing -
VideoSwap AIが発見
2023
VideoSwapは対話的な意味的ポイント対応を用いたカスタマイズ動画被写体差し替え技術であり、時間の整合性を保ちながら形状やアイデンティティの異なる被写体への置換を可能にします。
diffusioninpaintingsubject-swappingvideo-editing -
VidToMe AIが発見
2023
フレーム間で冗長なトークンをマージすることにより、時間的一貫性を向上させ、メモリ消費を削減するゼロショット動画編集フレームワーク。事前学習済みの画像拡散モデルから得られる自己アテンショントークンを整列・集約し、一貫性のある動画編集を実現します。
diffusiontoken-mergingvideo-editingzero-shot -
E2FGVI AIが発見
2022
E2FGVIは、フローガイド付きビデオインペインティングのためのエンドツーエンドのフレームワークです。フロー補完、特徴量伝播、コンテンツ生成を単一の学習可能なネットワークに統合し、動画のオブジェクト除去や補完において高い効率性と時間的一貫性を実現します。
inpaintingoptical-flowvideo-editing
商用・業界ツール¶
-
Adobe Premiere Pro Generative Extend AIが発見
2025
Adobe Premiere ProのAI機能（Firefly Video Model搭載）で、動画クリップの開始または終了部分を最大2秒間、オーディオクリップを最大10秒間延長できます。追加のフレームをインテリジェントに生成し、トランジションをスムーズにします。
fireflyindustry-standardvideo-editingvideo-extension -
Diffusion Studio AIが発見
2024
無限のキャンバス、タイムラインベースのシーケンス、自動化されたビデオワークフローのためのコーディングエージェントとの深い統合を特徴とする、プロフェッショナルなブラウザベースのAIビデオエディタ。
ai-agentbrowser-basedvideo-editing -
Runway Inpainting AIが発見
2024
シンプルなブラシ操作で、動画からオブジェクト、人物、ウォーターマークをシームレスに削除できる、プロフェッショナル向けのAI搭載動画編集ツール。高度な時間的一貫性アルゴリズムを活用し、フレーム全体でクリーンでアーティファクトのない結果を保証します。
inpaintingobject-removalvfxvideo-editing -
Runway AI Magic Tools AIが発見
2023
高度なビデオインペインティング、モーションブラシ、オブジェクト除去、スタイル転送などを備えた、クラウドベースの動画編集用生成AIツールスイート。迅速な視覚効果のプロトタイピングのために、プロの映画やゲーム制作パイプラインで広く採用されています。
cloud-basedinpaintingproprietaryvideo-editing -
Descript AIが発見
2020
Descriptは、文字起こしされたテキストを編集することで動画や音声を編集できる、AI搭載の協調型オーディオ・ビデオエディターです。自動文字起こし、AI音声生成、不要なつなぎ言葉の除去、スタジオ品質の音響補正などの機能を備えています。
text-based-editingtranscriptionvideo-editing
