ロトスコープ・動画セグメンテーション・マッティング¶
動画
オープンソース¶
-
SAM2Matting AIが発見
2026
高レベルのトラッキングと低レベルのマッティングを橋渡しする統一されたトラッカー・トゥ・マッティング・フレームワークであり、Segment Anything 2 (SAM 2) を活用して汎用的かつ高品質な画像および動画マッティングを実現します。
mattingrotoscopingsam2segmentation -
VideoMaMa AIが発見
2026
VideoMaMa（Video Mask-to-Matte Model）は、事前学習済みのビデオ拡散モデルを生成的な事前知識として活用することで、大まかなセグメンテーションマスクをピクセル精度のアルファマットに変換するマスク誘導型ビデオマッティングフレームワークです。実世界の映像や複雑な背景に対しても強力なゼロショット汎化性能を示します。
diffusion-priorrotoscopingsegmentationvideo-matting -
EdgeTAM: On-Device Track Anything Model AIが発見
2025
EdgeTAMは、モバイルデバイス上での動作に最適化されたSAM 2の派生モデルであり、プロンプト入力による動画セグメンテーションと追跡を可能にします。2D Spatial Perceiverの導入によりフレームレベルのメモリを圧縮し、量子化なしでiPhone 15 Pro Max上で16 FPS（SAM 2の22倍の速度）を達成しています。
mobilesam2segmentationtracking -
Generative Video Matting (GVM) AIが発見
2025
動画マッティングを条件付き動画生成タスクとして再定義し、大規模な動画拡散モデルの事前学習知識を活用することで、極めてリアルなアルファマットと前景を生成する生成型動画マッティングフレームワーク。
diffusiongenerativemattingrotoscoping -
MatAnyone AIが発見
2025
MatAnyoneは、領域適応型メモリ融合を備えた一貫性のあるメモリ伝播モジュールを導入し、前フレームからのメモリを統合するターゲット指定型ビデオマッティングフレームワークです。これにより、複雑または曖昧な背景においても、微細なディテールを維持しながらコア領域のセマンティックな安定性を確保します。
background-removalmemory-propagationrotoscopingvideo-matting -
MatAnyone 2 AIが発見
2025
学習済みのマッティング品質評価器（MQE）を活用してセマンティクスと境界の品質を評価し、グリーンバックなしで高品質なアルファマットを生成する高度な人物動画マッティングフレームワーク。
alpha-mattebackground-removalmattingvideo-matting -
Sa2VA: Marrying SAM2 with MLLM for Dense Grounded Understanding of Images and Videos AIが発見
2025
Sa2VAは、SAM 2とマルチモーダル大規模言語モデル（MLLM）を統合し、画像と動画の両方で高精度なグラウンディング（領域特定）を実現する統一モデルです。自然言語プロンプトを用いて動画内のオブジェクトをセグメンテーションおよび追跡する、高度なビデオ参照セグメンテーション（Referring Video Segmentation）をサポートします。
mllmsam2segmentationtracking -
SAM 3 AIが発見
2025
画像と動画の両方でプロンプト可能な概念のセグメンテーションと追跡を行う統一基盤モデル。テキストや視覚的なプロンプトを使用して、オープンボキャブラリー概念のすべてのインスタンスをセグメント化および追跡できます。
foundation-modelsam3segmentationtracking -
Segment Any Motion in Videos AIが発見
2025
SegAnyMoは、長距離の軌跡モーション手がかりとDINOおよびSAM 2のセマンティック特徴を組み合わせた、ゼロショットの移動オブジェクトセグメンテーションフレームワークです。手動のアノテーションや動画セグメンテーションデータセットでの学習を必要とせず、動画内の移動オブジェクトを自動的に識別・セグメンテーションします。
motionsam2segmentationzero-shot -
A Distractor-Aware Memory for Visual Object Tracking with SAM2 AIが発見
2024
DAM4SAMは、視覚的に類似した「ディストラクター（妨害物）」が存在する状況でのオブジェクト追跡の課題に対処するため、SAM 2にディストラクター認識メモリ（DAM）メカニズムを導入します。ターゲットとディストラクターのメモリを個別に維持することで追跡のドリフトを防ぎ、複雑な動画シーンにおける追跡の堅牢性を大幅に向上させます。
memorysam2segmentationtracking -
BiRefNet AIが発見
2024
高解像度な二値画像・ビデオセグメンテーションのためのバイラテラル（両側）リファレンスフレームワーク。グローバルなセマンティックポジショニングのための位置特定モジュールと、バイラテラルリファレンスを備えた再構成モジュールを利用して、非常に詳細でクリーンな背景削除マスクを生成します。
background-removalhigh-resolutionrotoscopingsegmentation -
Grounded SAM 2: Ground and Track Anything in Videos AIが発見
2024
Grounding DINO、Florence-2、およびSAM 2を統合し、テキストプロンプトに基づいてビデオ内の任意のオブジェクトを検出・セグメンテーション・追跡し、自動化されたロトスコープを可能にするオープンソースパイプライン。
grounding-dinorotoscopingsam2video-segmentation -
LiVOS AIが発見
2024
従来の2次ソフトマックスマッチングをゲート付き線形マッチング機構に置き換えることで、高いセグメンテーション品質を維持しながら、メモリと計算のオーバーヘッドを大幅に削減する軽量なビデオオブジェクトセグメンテーション（VOS）フレームワーク。
real-timevideo-segmentationvos -
SAM2Long: Enhancing SAM 2 for Long Video Segmentation with a Training-Free Memory Tree AIが発見
2024
エラーの累積を防ぐトレーニングフリーのメモリツリーを利用し、長時間のビデオシーケンス向けにSAM 2のビデオセグメンテーションを強化する手法。複数のセグメンテーション経路を維持し、最適なパスを選択することで長時間の精度を保ちます。
long-videorotoscopingsam2video-segmentation -
SAMURAI: Adapting Segment Anything Model for Zero-Shot Visual Tracking with Motion-Aware Memory AIが発見
2024
SAMURAIは、モーション認識メモリを組み込むことで、SAM 2をゼロショットのビジュアルオブジェクト追跡に適応させます。動きの手がかりとメモリ選択メカニズムを統合することで、再学習や微調整を行うことなく、高速移動するオブジェクト、自己遮蔽、混雑したシーンなどの困難なシナリオに対応します。
motionsam2trackingzero-shot -
Segment Anything Model 2 (SAM 2)
2024
プロンプト可能なセグメンテーションモデルで、動画フレーム間で対象を追跡する。現代のAIロトスコープやマッティングツールの基盤。
mattingsegmentationtracking -
Cutie AIが発見
2023
トップダウンのオブジェクトレベルメモリ読み込み機能を備えた動画オブジェクトセグメンテーションネットワーク。マッチングノイズを大幅に低減し、障害物がある状況での追跡精度を向上させます。
object-trackingsegmentationvideo-editingvos -
DEVA AIが発見
2023
タスク固有の画像レベルのセグメンテーションと、クラスに依存しない双方向の時間的伝播を組み合わせた、分離型ビデオセグメンテーション手法（DEVA）。ビデオ固有のトレーニングを必要とせずに、あらゆるターゲットオブジェクトのオープンワールドなビデオ追跡とセグメンテーションを可能にします。
open-worldrotoscopingsegmentationtracking -
HQTrack AIが発見
2023
HQTrack（Tracking Anything in High Quality）は、高性能なビデオオブジェクト追跡およびセグメンテーションのためのフレームワークです。Video Multi-Object Segmenter（VMOS）とMask Refiner（MR）を組み合わせることで、複数のターゲットオブジェクトを同時に追跡し、高精度なオブジェクトマスクを出力します。
rotoscopingsamsegmentationvideo-tracking -
Segment and Track Anything (SAM-Track) AIが発見
2023
Segment Anything Model (SAM) と高度な時系列伝播アルゴリズムを組み合わせ、動画内のあらゆるオブジェクトをインタラクティブに追跡・セグメンテーションできるフレームワーク。
interactivesamsegmentationtracking -
Segment Anything in High Quality AIが発見
2023
高品質な出力トークンとグローバル・ローカル特徴融合ブロックを導入することで、画像とビデオの両方において、微細なディテールや複雑な境界線を維持するように設計されたSegment Anything Model（SAMおよびSAM 2）の拡張版。
high-qualitysamsegmentation -
Track-Anything AIが発見
2023
Segment Anything（SAM）、XMem、E2FGVIを組み合わせ、ユーザーがクリック操作だけで任意のオブジェクトを簡単に追跡・セグメント化できる、インタラクティブで柔軟な動画オブジェクト追跡・セグメンテーションツール。
interactivesamsegmentationtracking -
ViTMatte: Boosting Image Matting with Pretrained Plain Vision Transformers AIが発見
2023
ViTMatteは、事前学習済みのプレーンなVision Transformer (ViT)に基づく画像および動画マッティングシステムです。ハイブリッドアテンション機構と畳み込みネックを利用して、きめ細かな境界ディテールを持つ高品質なアルファマット推定を実現します。
alpha-mattemattingvision-transformervitmatte -
XMem++ AIが発見
2023
XMem++（XMem2）は、同一オブジェクトの異なる外観を持つ複数のユーザー選択フレームを効果的に処理するために、永続メモリマジュールを導入した半教師ありビデオオブジェクトセグメンテーションモデルです。少数のアノテーション付きフレームからプロダクションレベルのビデオセグメンテーションを提供します。
memory-networkrotoscopingsemi-supervisedvideo-segmentation -
XMem AIが発見
2022
人間の認知メモリモデルに着想を得た複数階層の機能メモリシステムを採用し、高い精度と低いメモリ使用量を維持しながら長時間動画に対応する動画オブジェクトセグメンテーションアーキテクチャ。
long-term-trackingmemory-modelsegmentationvos -
Robust Video Matting AIが発見
2021
リカレントニューラルネットワークを使用して時間的メモリを伴う動画処理を行い、トライマップなどの追加入力を必要とせずに高い時間的一貫性を実現する、リアルタイムかつ高解像度の人物動画マッティング手法。
mattingreal-timervmvideo-matting
商用・業界ツール¶
-
Beeble AI AIが発見
2026
Beeble AIは、クリーンなアルファマットを生成するための高度な背景削除およびロトスコープツールを提供する、AI搭載のVFXプラットフォームです。Nuke、After Effects、DaVinci ResolveなどのプロフェッショナルなDCCツールと統合し、高解像度の制作パイプラインをサポートします。
background-removalrotoscopingvfx -
Boris FX Silhouette AIが発見
2026
ハリウッドのVFXパイプラインで広く使用されている、アカデミー賞およびエミー賞受賞の高度なロトスコープ、ペイント、トラッキング用アプリケーション。AI駆動のマット生成、3Dヘッドトラッキング、ノードベースのコンポジットツールを搭載しています。
compositingrotoscopingtrackingvfx -
Silhouette AIが発見
2026
プロフェッショナルなロトスコープ、ペイント、コンポジットの業界標準として広く認知されている、アカデミー賞およびエミー賞受賞のビジュアルエフェクトソフトウェア。高度なノードベースのワークフロー、統合されたMochaトラッキング、AI支援によるマスキングツールを備え、複雑なVFXパイプラインを効率化します。
compositingpaintrotoscopingvfx -
Smart Roto AIが発見
2026
Smart Rotoは、ユーザーが描画したスプラインをビデオフレーム全体に伝播させつつ、すべてのスプラインを完全に編集可能な状態に保つ、オンラインのブラウザベース自動ロトスコープツールです。最大8KのプレートやEXRエクスポートをサポートし、プロフェッショナルなVFXワークフロー向けに設計されています。
online-toolrotoscopingvfx -
Autodesk Flow Studio AIが発見
2025
実写シーンへのCGキャラクターの自動アニメーション、ライティング、合成を行うクラウドベースのAI搭載3Dツールセット。アクターの自動マスキング、ロトスコープ、クリーンプレート生成機能を備える。
compositingrotoscopingvfx -
Boris FX Mocha Pro AIが発見
2025
Mocha Proは、Matte Refine ML、Object Brush、Matte Assistなどの高度なAI搭載マスキングツールを備えた、業界標準の平面トラッキングおよびロトスコープソフトウェアです。プロのVFXやポストプロダクションスタジオで、クリーンなマットの生成や有機的な表面の追跡に広く使用されています。
matte-refineplanar-trackingrotoscopingvfx -
Mocha Pro AIが発見
2025
Boris FX社による業界標準の平面トラッキングおよびマスキングソフトウェア。高度なAI搭載ロトスコープ、顔検出、自動マット微調整ツールを備える。
maskingrotoscopingtrackingvfx -
Adobe After Effects Roto Brush AIが発見
2024
Adobe After Effectsに統合された業界標準のAI搭載ロトスコープツールであり、高度な機械学習を用いて前景の被写体と背景の分離を自動化します。
adobeafter-effectsmattingrotoscoping -
Beeble AIが発見
2024
スタジオグレードのロトスコープ、背景削除、リライティングや3Dコンポジットワークフロー用のノードベースAIコンポジターを備えた、AI搭載のVideo-to-VFXプラットフォーム。
compositingrelightingrotoscopingvfx -
Mask Prompter AIが発見
2024
テキストプロンプト、バウンディングボックス、またはポイントを使用して、高精度なマスクやマットを生成できるAfter EffectsおよびPremiere Pro向けのAI搭載ロトスコーププラグイン。
after-effectsmaskingplugin -
Slapshot AI AIが発見
2024
最大8Kの高解像度映像に対応し、ロトスコープ、カメラトラッキング、深度マップ推定、生成的なリタイミングを自動化するエンタープライズ向けのAI搭載VFXツールキット。
camera-trackingdepth-maprotoscopingvfx -
Runway Green Screen AIが発見
2023
わずか数クリックで被写体を分離できる、プロフェッショナルなウェブベースのAI動画背景削除・ロトスコープツール。
background-removalrotoscopingrunwayweb-tool
