動画モーションキャプチャ¶
アニメーション・モーション
オープンソース¶
-
Fast SAM 3D Body AIが発見
2026
リアルタイムのヒューマンメッシュ復元に向けてSAM 3D Bodyのパイプラインを再構成した、トレーニング不要の高速化フレームワーク。反復的なMHRからSMPLへの変換ボトルネックを直接的なニューラルマッピングに置き換えることで、最大10.9倍のエンドツーエンドの高速化を実現します。
mocappose-estimationreal-time -
MoCapAnything V2 AIが発見
2026
単眼ビデオから任意の骨格構造に対してビデオからポーズ、ポーズから回転への学習を統合したエンドツーエンドのモーションキャプチャフレームワーク。テンプレート固有の身体モデルに依存せず、人間、動物、カスタムリグ付き3Dアセットをサポートします。
mocappose-estimationretargetingskeleton -
Multi-HMR 2 AIが発見
2026
正確なメートル法3Dローカリゼーションのためにカメラ座標系で動作する、高度な複数人カメラ中心の人間検出、3Dメッシュ復元、およびトラッキングフレームワーク。
mocappose-estimationsmpl-x -
OnlineHMR AIが発見
2026
未来のフレームやグローバルな最適化に依存せず、リアルタイムで動作するビデオベースの世界座標系3D人間メッシュ復元フレームワーク。AR/VR、テレプレゼンス、リアルタイムのモーションキャプチャなどのインタラクティブなシナリオに最適。
human-mesh-recoverymocappose-estimation -
SAM 3D Body AIが発見
2026
単一画像から全身、足、手のポーズを推定する、ロバストな3D人体メッシュ復元（HMR）のためのプロンプト可能な基盤モデル。骨格構造と表面形状を分離するMomentum Human Rig（MHR）を導入し、野生の多様な環境下で強力な汎化性能を示します。
foundation-modelhuman-mesh-recoverymocappose-estimation -
SAM3DBody-cpp AIが発見
2026
MetaのSAM 3D BodyモデルをC++で実装した、高性能かつリアルタイムな推論エンジン。単一カメラからの複数人の3D全身復元、ONNX/ggmlランタイム、およびBVHモーションキャプチャファイルの直接エクスポートに対応しています。
bvhmocappose-estimationreal-time -
SAM4Dcap: Training-free Biomechanical Twin System from Monocular Video AIが発見
2026
単眼ビデオから3D人体ポーズとバイオメカニクス指標を推定する、オープンソースでトレーニング不要のバイオメカニカルツインシステム。
biomechanicsmocapmonocularpose-estimation -
MAMMA: Markerless & Automatic Multi-Person Motion Action Capture AIが発見
2025
複数人のインタラクションシーケンスのマルチビュービデオから、SMPL-Xパラメータを正確に復元するマーカーレスモーションキャプチャパイプライン。
markerlessmocapmulti-personsmpl-x -
MoCapAnything AIが発見
2025
単眼ビデオから任意のボーン構造を持つ3Dアセットに対して、回転ベースのアニメーション（BVHなど）を再構築する統一3Dモーションキャプチャフレームワーク。生物種やテンプレートの制限を排除します。
bvhmocappose-estimationskeleton -
PersPose AIが発見
2025
カメラの内部パラメータをクロップ画像に直接組み込む「パースペクティブ・エンコーディング」と「パースペクティブ・ローテーション」を導入した単眼3D人間姿勢推定フレームワーク。奥行きの曖昧さを解消し、シングルカメラ動画からの3D関節復元の精度を大幅に向上させる。
mocappose-estimationsmpl -
PromptHMR: Promptable Human Mesh Recovery AIが発見
2025
混雑したシーンや遮蔽などの困難な状況において、2Dキーポイント、バウンディングボックス、テキストプロンプトなどの補助的な情報をプロンプトとして取り込むことで、3D再構成の精度を向上させるプロンプト可能な人間メッシュ復元フレームワーク。
human-mesh-recoverymocappose-estimationsmpl -
SAM-Body4D AIが発見
2025
ビデオから4D人体メッシュを復元するための、追加学習不要（Training-free）のフレームワーク。時間的連続性と拡散モデルベースのビデオオブジェクトセグメンテーションを活用してSAM 3D Bodyを動画シーケンスに拡張し、オクルージョン下でも一貫したトラッキングを実現します。
4d-reconstructionmocappose-estimationvideo-mocap -
SMPLest-X: Ultimate Scaling for Expressive Human Pose and Shape Estimation AIが発見
2025
表現力豊かな人体のポーズおよび形状推定をスケールアップする、SMPLer-Xの拡張・簡略化バージョン。コンポーネント誘導モジュールをミニマルなトランスフォーマーデコーダーに置き換えることで、手や体のポーズ推定精度を大幅に向上させています。
mocappose-estimationsmpl-xGitHub · arXiv · Hugging Face
-
GVHMR: World-Grounded Human Motion Recovery via Gravity-View Coordinates AIが発見
2024
単眼ビデオから重力を考慮した人体ポーズを推定する、世界座標系基準の人体運動復元フレームワーク。新しい重力視野（Gravity-View）座標系を定義することで、重力プライアを利用して累積誤差を回避し、グローバル座標における安定した3Dモーションを再構成します。
mocappose-estimationsmpl -
Multi-HMR AIが発見
2024
単一のRGB画像から複数人の全身3D人間メッシュを復元するシングルショットモデル。身体、手、表情、およびカメラ座標系における3D位置を同時に予測します。
human-mesh-recoverymocappose-estimation -
Sapiens AIが発見
2024
2D/3Dポーズ推定、部位セグメンテーション、深度推定など、人間中心のビジョンタスク向けにMetaが開発した高解像度基盤モデルファミリー。
foundation-modelmocappose-estimation -
TokenHMR: Advancing Human Mesh Recovery with a Tokenized Pose Representation AIが発見
2024
離散トークンベースの姿勢表現と閾値適応型損失スケーリング（TALS）損失を導入することで、予測を有効な人間の姿勢に制限し、単一画像およびビデオフレームからの3D人間メッシュ復元において最先端の精度を達成。
mesh-recoverymocappose-estimationsmpl -
TRAM: Global Trajectory and Motion of 3D Humans from in-the-wild Videos AIが発見
2024
SLAMを頑健化してカメラの動きを復元し、ビデオトランスフォーマーモデルを用いて運動学的な身体の動きを回帰することにより、実世界のビデオから人間のグローバルな軌跡と動きを再構成する2段階の手法。
mocappose-estimationsmpltrajectory -
4D-Humans (HMR 2.0) AIが発見
2023
単一視点のビデオから人間のメッシュを時間経過に沿って復元・追跡する、完全にトランスフォーマーベースのフレームワーク。複雑なポーズの処理において最先端の精度を実現。
mesh-recoverymocaptrackingtransformer -
Co-Evolution of Pose and Mesh for 3D Human Body Estimation from Video AIが発見
2023
3Dポーズを中間媒体として導入し、ポーズとメッシュの相互作用を行う共進化デコーダを利用することで、一貫性がありスムーズな動きの推定を実現するビデオベースの3D人間メッシュ復元フレームワーク。
mesh-recoverymocappose-estimationsmpl -
HaMeR AIが発見
2023
単一の入力画像やビデオから、高精度かつ頑健に3Dの手の形状を復元するために設計された、トランスフォーマーベースの手のメッシュ復元モデル。
hand-posemesh-recoverymocaptransformer -
HybrIK-X: Hybrid Analytical-Neural Inverse Kinematics for Whole-Body Mesh Recovery AIが発見
2023
3Dキーポイント推定とハイブリッド解析・ニューラル逆運動学（IK）ソルバーを組み合わせ、表情豊かな身体、手、顔のメッシュを再構築する全身メッシュ復元フレームワーク。
inverse-kinematicsmesh-recoverymocappose-estimation -
PoseFormerV2 AIが発見
2023
周波数領域で動作する、効率的かつ堅牢なトランスフォーマーベースの3D人体ポーズ推定フレームワーク。計算複雑度を低減し、長時間のビデオシーケンスにおけるノイズの多い2D関節検出に対する堅牢性を向上させます。
3d-posepose-estimationtransformer -
SLAHMR: Simultaneous Localization and Human Mesh Recovery AIが発見
2023
野生環境の単眼ビデオから人体とカメラの動きを分離する最適化ベースのフレームワーク。複数の移動する人物とカメラを統一されたグローバル座標系に配置し、正確な軌跡追跡とモーションキャプチャを可能にします。
mocappose-estimationtracking -
SMPLer-X AIが発見
2023
身体、手、顔の動きを捉えるために、最大450万インスタンスのデータでトレーニングをスケールアップした、表現力豊かな人間のポーズおよび形状推定のための汎用基盤モデル。
foundation-modelmocappose-estimationsmpl-x -
WHAM AIが発見
2023
単眼ビデオからグローバル座標系での3D人間モーションを復元するフレームワーク。カメラの動き推定と時系列コンテキストを統合し、正確な軌跡の再現とフットスライディングの抑制を実現します。
human-mesh-recoverymocappose-estimation -
CLIFF: Carrying Location Information in Full Frames into Human Pose and Shape Estimation AIが発見
2022
クロップベースのネットワークにフルフレームの位置情報を組み込む、トップダウン型の人体ポーズ・形状推定手法。このグローバルな視点により、元のカメラ座標系におけるグローバルな回転と平行移動を極めて正確に予測できます。
mocappose-estimationsmpl -
DeciWatch: A Simple Baseline for 10x Efficient 2D and 3D Pose Estimation AIが発見
2022
ビデオフレームを疎にサンプリングし、サンプル・デノイズ・復元パイプラインを用いてモーションシーケンス全体を再構築することで、10倍の高速化を実現する高効率なビデオベースの2D/3D人間姿勢推定フレームワーク。
efficiencymocappose-estimationtemporal -
MotionBERT AIが発見
2022
多様なデータから人間の動作表現を学習し、3Dポーズ推定、メッシュ復元、および行動認識を解決する統一的な事前学習フレームワーク。
mocapmotion-representationpose-estimationpre-training -
XR Animator AIが発見
2022
標準的なWebカメラやビデオファイルから、体、顔、手のリアルタイムトラッキングをサポートする、VTuberや3Dキャラクターアニメーション向けに設計されたオープンソースのAIベース全身モーションキャプチャアプリケーション。
mocapvtuberwebcam -
BlendArMocap AIが発見
2021
MediaPipeとRigifyを使用して、Blender内で直接リアルタイムのマーカーレスモーショントラッキングとキャプチャを可能にするBlenderアドオン。
blendermediapipemocap -
EasyMocap AIが発見
2021
単一または複数視点のビデオから、マーカーレスで人間のモーションキャプチャおよび3D復元を行うためのオープンソースツールボックス。
3d-reconstructionmarkerlessmocapmulti-view -
FreeMoCap AIが発見
2021
一般向けのカメラで撮影されたビデオ映像から、マーカーレスで高品質な3Dモーションキャプチャデータを抽出できるオープンソースのシステム。
3d-motionmarkerlessmocappose-estimation -
GLAMR: Global Occlusion-Aware Human Mesh Recovery with Dynamic Cameras AIが発見
2021
動的なカメラで撮影された単眼ビデオ向けに設計された、グローバルな人体メッシュ復元手法。ディープ生成モーションインフィラーを統合し、深刻な遮蔽や長期の遮蔽が発生している間でも、連続的な人体の軌跡とポーズを再構成します。
mocapocclusionpose-estimation -
SysMocap AIが発見
2021
軽量なポーズ推定モデルを利用して、バーチャルキャラクターのアニメーションやVTuber向けに設計されたリアルタイム3Dモーションキャプチャシステム。
mocapreal-timevtuber -
FrankMocap AIが発見
2020
単一視点のビデオから、手と身体の3Dポーズを同時に推定する、高速で使いやすいオープンソースのシステム。
3d-posebody-posehand-posemocap -
MMPose AIが発見
2020
2D/3Dの姿勢推定、全身キーポイント検出、ビデオ動作解析に対応したOpenMMLabのポーズ推定ツールボックス。
3d-posemocappose-estimation -
VIBE: Video Inference for Human Body Pose and Shape Estimation AIが発見
2019
リカレントニューラルネットワーク（GRU）とAMASSモーションキャプチャデータセットを用いた敵対的学習を活用し、時系列で一貫性のあるリアルなSMPL身体モデルシーケンスを生成するビデオベースの3D人間姿勢・形状推定手法。
mesh-recoverymocappose-estimationsmpl -
VideoPose3D AIが発見
2018
2Dキーポイントの軌跡に対して拡張時間畳み込み（dilated temporal convolutions）を使用する、ビデオ内の効率的な3D人体ポーズ推定モデル。バックプロジェクションを用いた半教師あり学習手法を導入し、ラベルなしビデオデータを活用します。
3d-posepose-estimationtemporal-convolution
商用・業界ツール¶
-
Rokoko Vision AIが発見
2023
ウェブカメラの映像やアップロードされた動画ファイルから3Dキャラクターアニメーションを抽出する、ブラウザベースのAIモーションキャプチャツール。精度向上のためのデュアルカメラ設定に対応し、クリーンアップやリターゲットを行うRokoko Studioと連携します。
browser-baseddual-cameramocappose-estimation -
Wonder Studio AIが発見
2023
実写映像内の人物を3DのCGキャラクターに自動で置き換え、アニメーション、ライティング、合成を行うAI搭載クラウドプラットフォーム。マルチカメラまたはシングルカメラのモーションキャプチャ、カメラトラッキングを実行し、Blender、Maya、Unreal Engine向けにクリーンなFBX/OBJモーションデータやカメラ軌道を出力できる。
actor-replacementmocapvfx -
Rokoko Video AIが発見
2022
ビデオクリップやウェブカメラから3Dキャラクターアニメーションを抽出し、FBX、BVH、または主要なゲームエンジンに直接エクスポートできる、Rokokoによる無料のブラウザベースAIモーションキャプチャツール。
animationbrowser-basedfreemocap -
Kinetix AIが発見
2020
動画クリップをカスタム3Dキャラクターアニメーションやエモートに変換する、AI搭載の3Dヒューマンモーションプラットフォーム。モーションキャプチャ、クリーンアップ、リターゲティングを自動化し、クリエイターが互換性のある3Dアバターにアニメーションを適用して、ゲームや仮想世界に直接配信できるようにする。
emotesmocapretargeting -
通常の動画を3Dアニメーション（FBX/BVH/GLB）に変換する商用のマーカーレスモーションキャプチャサービス。スーツやスタジオなしでmocapを実現。
apicommercialmarkerless-mocap -
標準的なカメラから高品質な3Dモーションを生成するマーカーレスのマルチカメラmocapサービス。インディーから中規模スタジオで利用される。
apicommercialmarkerless-mocap
.jpg)
