コンテンツにスキップ

表情アニメーション・リップシンク

アニメーション・モーション

オープンソース

  • A1

    AVTR-1 AIが発見

    2026

    参加者双方の音声に条件付けられたコンパクトな153Mパラメータの自己回帰フローマッチング動作生成器を特徴とする、リアルタイムのインタラクティブなアバター会話のためのオープンソーススタック。

    audio-driven avatar flow-matching real-time

    GitHub · arXiv

  • EM

    EmoTaG AIが発見

    2026

    表現力豊かな表情の動きと安定した幾何学的形状を備えた、3D Gaussian Splattingに基づく感情認識型トーキングヘッド合成フレームワーク。

    emotion-aware few-shot gaussian-splatting

    GitHub · arXiv

  • LB

    LeapTalk: Breaking the Latency-Quality Trade-off in Talking Head Generation AIが発見

    2026

    単一のフォワードステップで安定したリアルタイムのトーキングヘッド生成を実現し、任意の長さのビデオにスケールする新しいフレームワーク。エラーの累積やアイデンティティのドリフトを防ぐ単一ステップの生成プロセスを利用することで、遅延と品質のトレードオフを解決する。

    lip-sync real-time single-step talking-head

    GitHub · arXiv

  • XT

    Xemo-Talker AIが発見

    2026

    ニュートラルな音声からモーションへのマッピングと感情に関連する変化を分離することで、明示的かつ正確な感情制御を実現する音声駆動型トーキングポートレート合成フレームワーク。

    audio-driven emotion-control talking-head

    GitHub · arXiv

  • AS

    AnyTalker: Scaling Multi-Person Talking Video Generation with Interactivity Refinement AIが発見

    2025

    複数人が会話する動画を音声駆動で生成するフレームワーク。拡張可能なマルチストリーム処理アーキテクチャを備え、シームレスな人物間の相互作用とリアルなリップシンクを保証しながら、複数のアイデンティティをスケーリングできる。

    lip-sync multi-person talking-head video-generation

    GitHub · arXiv · 公式サイト

  • A3

    Audio2Face-3D AIが発見

    2025

    NVIDIAによるオープンソースのAI顔アニメーション・リップシンクモデルおよびSDK。音声入力からリアルタイムで3Dブレンドシェイプ、顎、舌、目の動きを生成します。

    3d-facial-animation audio-driven facial lip-sync

    GitHub

  • EC

    EchoMimicV3 AIが発見

    2025

    参照画像、音声、テキストプロンプトから、事前定義された2D/3Dポーズを必要とせずに高品質なトーキングヘッド動画を生成する、1.3Bパラメータの効率的なマルチタスク・マルチモーダル人間アニメーションフレームワーク。

    diffusion lip-sync multimodal talking-head

    GitHub · arXiv

  • EE

    EmoHead: Emotional Talking Head via Manipulating Semantic Expression Parameters AIが発見

    2025

    EmoHeadは、セマンティックな表情パラメータを操作することで、音声入力から極めてリアルで感情に特化したトーキングヘッド動画を合成する感情表現対応のトーキングヘッド生成フレームワークです。

    audio-driven emotional-expression lip-sync talking-head

    arXiv

  • FA

    FantasyTalking AIが発見

    2025

    事前学習済みのビデオ拡散トランスフォーマー（DiT）モデルを活用し、制御可能なモーションダイナミクスを備えた高精度で一貫性のあるトーキングポートレートを生成するフレームワーク。2段階のオーディオビジュアルアライメントにより、微細な表情、全身の動き、動的な背景を捉えます。

    audio-driven diffusion-transformer lip-sync talking-head

    GitHub · arXiv

  • HH

    Hallo4: High-Fidelity Dynamic Portrait Animation via Direct Preference Optimization and Temporal Motion Modulation AIが発見

    2025

    直接好み最適化（DPO）と時間的モーション変調を利用して、リップと音声の同期、表情の鮮明さ、および身体の動きのコヒーレンスを向上させる、高度なポートレートアニメーションフレームワーク。

    audio-driven diffusion facial lip-sync

    GitHub · arXiv

  • HA

    HunyuanVideo-Avatar AIが発見

    2025

    音声条件からダイナミックで感情制御可能、かつ複数キャラクターのトーキングアバター動画を生成する、Tencentのマルチモーダル拡散トランスフォーマー（MM-DiT）ベースのモデル。任意の入力アバター画像を高品質かつ正確なリップシンクでアニメーション化できる。

    diffusion-transformer lip-sync talking-head

    GitHub · arXiv · Hugging Face

  • JA

    JoyGen: Audio-Driven 3D Depth-Aware Talking-Face Video Editing AIが発見

    2025

    音声駆動型の唇の動き生成と3D深度を考慮した外観合成を統合した、トーキングフェイス動画編集のための2段階フレームワーク。正確なリップシンクと高精度な顔のレンダリングを可能にします。

    3d-depth lip-sync talking-head video-editing

    GitHub · arXiv

  • L1

    Livatar-1: Real-Time Talking Heads Generation with Tailored Flow Matching AIが発見

    2025

    フローマッチングに基づき、リップシンクの精度制限や長期的なポーズのドリフト（ズレ）を解消するリアルタイム音声駆動型発話頭部生成フレームワーク。

    flow-matching lip-sync real-time talking-head

    arXiv · 公式サイト

  • LL

    LLIA AIが発見

    2025

    拡散モデルに基づく、リアルタイムかつ低遅延の音声駆動型ポートレート動画生成フレームワーク。計算負荷を最適化することで、高速動作と最小限の遅延が求められるインタラクティブなアバターアプリケーションへの展開を可能にします。

    lip-sync low-latency real-time

    GitHub · arXiv

  • ML

    MultiTalk (Let Them Talk) AIが発見

    2025

    複数ストリームの音声入力を処理可能な、音声駆動型の複数人会話動画生成フレームワーク。音声と複数の人物間の誤った紐付け問題を解決し、複数キャラクターの同期した顔の動きや会話のダイナミクスを生成します。

    lip-sync multi-person talking-head

    GitHub · arXiv

  • O1

    OmniHuman-1 AIが発見

    2025

    モーション関連の条件を混合することでデータ規模を拡張する、Diffusion Transformerベースのエンドツーエンド人物アニメーションフレームワーク。1枚のポートレートと音声などの弱い駆動信号から、様々なアスペクト比や身体プロポーションに対応した極めてリアルな人物動画を生成します。

    diffusion-transformer lip-sync talking-head

    プロジェクト · arXiv

  • PE

    PersonaLive AIが発見

    2025

    ライブ配信向けに設計された、リアルタイムかつ拡散モデルベースのポートレートアニメーションフレームワーク。ハイブリッド暗黙的信号（暗黙的顔表現と3D暗黙的プレーン）を採用することで、従来の拡散モデルと比較して7〜22倍の高速化を実現し、高品質で表現豊かな表情アニメーションとリップシンクを可能にします。

    facial-animation lip-sync live-streaming real-time

    GitHub · arXiv

  • SH

    SyncTalk++: High-Fidelity and Efficient Synchronized Talking Heads Synthesis Using Gaussian Splatting AIが発見

    2025

    SyncTalk++は、3D Gaussian Splattingを活用して、被写体の同一性、唇の動き、表情、頭部のポーズをリアルに同期・調整する、高精度かつ効率的な発話頭部（トーキングヘッド）合成フレームワークです。

    3d-avatar gaussian-splatting lip-sync talking-head

    GitHub · arXiv

  • XA

    X-Actor AIが発見

    2025

    X-Actorは、1枚の参照画像から、本物そっくりで感情表現豊かな長尺のトーキングヘッドビデオを生成するために設計された音声駆動型ポートレートアニメーションフレームワークです。

    expressive lip-sync talking-head

    arXiv

  • AN

    AniPortrait AIが発見

    2024

    音声から3D中間表現を抽出し、それを2Dランドマークに投影して拡散モデルをガイドする、音声駆動型のポートレートアニメーションフレームワーク。

    facial-animation lip-sync talking-head

    GitHub · arXiv

  • AN

    AniTalker AIが発見

    2024

    アイデンティティと顔の動きを分離することで、1枚のポートレートと音声入力から、自然な頭部の動きや表情を伴う鮮やかで多様なトーキングフェイスをアニメーション化するフレームワーク。

    audio-driven facial lip-sync

    プロジェクト · GitHub · arXiv

  • DD

    DEGSTalk: Decomposed Per-Embedding Gaussian Fields for Hair-Preserving Talking Face Synthesis AIが発見

    2024

    3Dガウシアン・スプラッティング（3DGS）に基づき、シーンを静的、動的、および髪専用のガウシアンフィールドに分解することで、リアルな長髪や複雑な頭部運動を伴うトーキングフェイスを高品質に合成する手法。

    3dgs gaussian-splatting hair-rendering talking-head

    GitHub · arXiv

  • DM

    Ditto: Motion-Space Diffusion for Controllable Realtime Talking Head Synthesis AIが発見

    2024

    低遅延で高精度なリップシンクと表情を実現する、制御可能でリアルタイムな発話頭部合成向けモーション空間拡散モデル。

    diffusion lip-sync real-time talking-head

    GitHub · arXiv · Hugging Face · 公式サイト

  • EC

    EchoMimic AIが発見

    2024

    編集可能なランドマーク条件付けを利用して、リアルな表情と自然な頭部の動きを生成する音声駆動型ポートレートアニメーションフレームワーク。

    facial-animation lip-sync talking-head

    GitHub · arXiv

  • EC

    EchoMimicV2 AIが発見

    2024

    音声入力から豊かな表情、自然な頭部のポーズ、上半身の動きを生成し、ポートレートや半身のキャラクターアニメーションを簡略化する音声駆動型ヒューマンアニメーションフレームワーク。

    audio-driven facial lip-sync

    GitHub · arXiv

  • EE

    EDTalk: Efficient Disentanglement for Emotional Talking Head Synthesis AIが発見

    2024

    口の形状、頭部のポーズ、感情表現を精密に制御できる、感情豊かなトーキングヘッド合成のための効率的なもつれ戻し（ディセンタングルメント）フレームワーク。直交基底とAudio-to-Motionモジュールを活用し、リアルな音声駆動型の表情アニメーションを実現します。

    audio-driven facial-animation lip-sync talking-head

    GitHub · arXiv

  • EE

    EMO: Emote Portrait Alive AIが発見

    2024

    1枚の参照画像と音声から、豊かな表情と自然な頭部のポーズを持つボーカルアバター動画を直接合成する、表現力豊かな音声・動画拡散モデル。

    facial-animation lip-sync talking-head

    arXiv

  • ES

    EmoVOCA: Speech-Driven Emotional 3D Talking Heads AIが発見

    2024

    EmoVOCAは、音声入力から豊かな感情表現を持つリアルな3Dフェイシャルアニメーションを合成する、音声駆動型の感情表現対応3Dトーキングヘッド生成フレームワークです。

    3d-facial-animation emotional-expression lip-sync talking-head

    GitHub · arXiv

  • FG

    FLOAT: Generative Motion Latent Flow Matching for Audio-driven Talking Portrait AIが発見

    2024

    1枚のソース画像と音声から、ピクセルベースの潜在空間ではなく、学習された直交モーション潜在空間でフローマッチングを用いることで、効率的かつ時間的一貫性のある高品質なトーキングポートレート動画を生成する手法。

    flow-matching lip-sync portrait-animation talking-head

    プロジェクト · GitHub · arXiv

  • HA

    Hallo AIが発見

    2024

    ポートレート画像アニメーションのための階層的な音声駆動型ビジュアル合成フレームワーク。高精度なリップシンクと多様で自然な表情を実現します。

    facial-animation lip-sync talking-head

    GitHub · arXiv

  • HA

    Hallo2 AIが発見

    2024

    長時間の高解像度動画合成向けに設計された音声駆動型ポートレート画像アニメーションモデル。外観のドリフトや時間的なアーティファクトを抑制し、4K解像度で制御可能な高精度トーキングヘッド動画を生成します。

    diffusion high-resolution lip-sync talking-head

    プロジェクト · GitHub · arXiv

  • HA

    Hallo3 AIが発見

    2024

    拡散トランスフォーマーをベースにしたポートレートアニメーションフレームワーク。音声条件付けを統合し、非正面の角度からでもアイデンティティを維持した、非常にダイナミックでリアルなトーキングヘッド動画を生成します。

    audio-driven facial lip-sync

    GitHub · arXiv

  • JP

    JoyVASA: Portrait and Animal Image Animation with Diffusion-Based Audio-Driven Facial Dynamics and Head Motion Generation AIが発見

    2024

    顔の外観と動きを分離することで、人物のポートレートだけでなく動物の顔に対してもリアルなリップシンクと頭部ポーズの生成を可能にする、拡散モデルベースの音声駆動型フェイシャルアニメーションフレームワーク。

    audio-driven diffusion facial lip-sync

    GitHub · arXiv

  • LA

    LatentSync AIが発見

    2024

    中間的な動作表現を介さず、音声条件付き潜在拡散モデルに基づいてエンドツーエンドで動作するリップシンクフレームワーク。高精度で時間的一貫性のある口元の動きを生成します。

    audio-driven diffusion lip-sync

    GitHub · arXiv

  • LI

    LivePortrait AIが発見

    2024

    暗黙的キーポイントに基づく、効率的かつ高品質なポートレートアニメーションフレームワーク。表情や頭部のポーズに対して正確なスティッチングとリターゲティング制御を可能にします。

    facial-animation lip-sync talking-head

    GitHub · arXiv

  • MU

    MuseTalk AIが発見

    2024

    潜在空間で動作し、アイデンティティの一貫性と歯のディテールを維持しながら、リアルタイムで高精度なビデオダビングとリップシンクを実現するフレームワーク。

    facial-animation lip-sync talking-head

    GitHub · arXiv

  • SO

    Sonic AIが発見

    2024

    グローバルな音声知覚に焦点を当てることで、長時間のビデオにおいても安定し、シームレスで高度に同期したリップシンクと表情の生成を可能にするポートレートアニメーションモデル。

    audio-driven facial lip-sync

    GitHub · arXiv

  • TA

    TalkingGaussian AIが発見

    2024

    3D Gaussian Splattingをベースにした構造維持型の3Dトーキングヘッド合成フレームワーク。高精度な顔のディテールを再構成し、リアルタイムな描画速度を実現します。

    3d-gaussian-splatting lip-sync real-time talking-head

    プロジェクト · GitHub · arXiv

  • VE

    V-Express AIが発見

    2024

    条件付きドロップアウトと段階的トレーニングを使用し、音声、ポーズ、参照画像などの制御信号のバランスを調整するポートレートビデオ生成フレームワーク。

    facial-animation lip-sync talking-head

    GitHub · arXiv

  • DR

    DreamTalk AIが発見

    2023

    音声入力から表現力豊かで感情豊かなトーキングヘッドを生成する拡散モデルベースのフレームワーク。多様な感情スタイルにおいて、高い映像品質と正確なリップシンクを維持します。

    diffusion emotional-talking-head expressive lip-sync

    プロジェクト · GitHub · arXiv

  • EM

    EmoTalk AIが発見

    2023

    音声駆動3D顔アニメーションのためのエンドツーエンドニューラルネットワーク。感情と音声コンテンツを分離抽出し、表現力豊かで感情制御可能な3Dブレンドシェイプおよびフェイシャルメッシュを生成します。

    audio-driven emotion facial lip-sync

    arXiv · 論文

  • GE

    GeneFace++ AIが発見

    2023

    NeRFを用いた、汎用的かつ安定したリアルタイム3Dトーキングフェイス生成フレームワーク。高精度な音声と唇の同期、自然な頭部運動、およびリアルタイムのレンダリング速度を実現します。

    3d-avatar lip-sync nerf talking-head

    GitHub · arXiv

  • SY

    SyncTalk AIが発見

    2023

    SyncTalkは、NeRFベースのアーキテクチャを使用して、被写体の同一性、唇の動き、表情、および頭部のポーズの同期に焦点を当てた音声駆動型のトーキングヘッド合成フレームワークです。

    lip-sync nerf talking-head

    GitHub · arXiv

  • TH

    Talking Head (3D) AIが発見

    2023

    ブラウザ上でフルボディ3Dアバター（Ready Player MeのGLBモデルなど）を使用し、リアルタイムのリップシンクと表情制御を実現するJavaScriptクラスおよびウェブアプリケーション。主要な音声合成（TTS）APIとの連携に対応し、Mixamoアニメーション、マークダウンテキスト、字幕の表示もサポートします。

    3d-avatar lip-sync real-time webgl

    GitHub

  • VI

    VividTalk AIが発見

    2023

    VividTalkは、3Dハイブリッド事前分布を利用して表現力豊かな表情と自然な頭部のポーズをモデル化し、1枚の画像と音声から高品質なトーキングヘッドビデオを生成する2段階のフレームワークです。

    3d-prior lip-sync talking-head

    GitHub · arXiv

  • SA

    SadTalker AIが発見

    2022

    音声からリアルな3Dモーション係数（頭部のポーズ、表情）を生成し、1枚の静止ポートレート画像をアニメーション化する広く使用されているフレームワーク。

    facial-animation lip-sync talking-head

    GitHub · arXiv

  • VI

    VideoReTalking AIが発見

    2022

    表情編集、リップシンク、顔高画質化の3段階にプロセスを分離することで、実世界の動画に対して高品質な音声同期編集を行うシステム。

    audio-driven facial lip-sync video-editing

    GitHub · arXiv

  • ME

    MeshTalk AIが発見

    2021

    音声から全顔の3Dアニメーションを生成するクロスモーダル分離学習フレームワーク。音声内容に非連動な上半顔の自然な動きを含め、顔全体のアニメーションを合成します。

    3d-facial-animation audio-driven facial lip-sync

    arXiv · 論文

  • UL

    uLipSync AIが発見

    2021

    Unity向けのリアルタイムかつMFCC（メル周波数ケプストラム係数）ベースのリップシンクプラグイン。UnityのJob SystemとBurst Compilerを利用して高性能な音声解析を行い、VRMモデルなどの3Dキャラクターをマイク入力やオーディオソースに合わせて動的にリップシンクさせることができます。

    lip-sync real-time unity vrm

    GitHub

  • WA

    Wav2Lip AIが発見

    2020

    任意の喋る顔ビデオの唇の動きを、ターゲットの音声に合わせて正確に変形させるために設計された、古典的で堅牢なリップシンクモデル。

    facial-animation lip-sync talking-head

    GitHub · arXiv

  • RL

    Rhubarb Lip Sync AIが発見

    2016

    音声録音から2Dの口の動き（バイジーム）を自動生成するコマンドラインツール。ゲーム開発や2Dアニメーションで広く使用されており、Spine、After Effects、カスタムゲームエンジン向けの出力フォーマットに対応し、キャラクターの口と音声を同期させることができます。

    2d-animation game-dev lip-sync viseme

    GitHub

商用・業界ツール

  • IN

    InfiniteTalk AIが発見

    2025

    InfiniteTalkは、Wan 2.1の上に音声駆動の同期を追加するAIリップシンクビデオAPIであり、唇、表情、および頭部の動きを入力音声と整列させます。

    api lip-sync wan-2.1

    公式サイト

  • HE

    Hedra AIが発見

    2024

    テキストまたは音声から、非常に正確なリップシンクと自然な表情を持つリアルな喋るアバターを生成する、高度なAI動画作成プラットフォーム。

    facial-animation lip-sync talking-head

    公式サイト

  • RA

    Rask AI AIが発見

    2023

    翻訳された音声と自然な口の動きを一致させる、高度なマルチスピーカーAIリップシンク機能を備えた、人気の商用ビデオローカライズおよびダビングプラットフォーム。

    dubbing lip-sync localization voice-cloning

    公式サイト

  • SL

    Sync Labs AIが発見

    2023

    リアルタイムでスタジオ品質のAIリップシンクおよびビデオ吹き替えを提供する商用プラットフォームおよびAPI。映画、ゲーム、アニメーションなど、あらゆるビデオ内の人物を任意の言語で話すようにアニメーション化できます。

    api dubbing lip-sync real-time

    公式サイト

  • NO

    NVIDIA Omniverse Audio2Face AIが発見

    2021

    音声トラックに合わせて3Dキャラクターの表情アニメーションを簡略化する、NVIDIAのAI搭載アプリケーション。リアルタイムでリアルな表情やリップシンクを生成し、Unreal Engine（MetaHuman）やその他の3Dパイプラインとの統合をサポートする。

    3d-avatar facial-animation lip-sync

    公式サイト

  • JR

    JALI Research AIが発見

    2020

    多言語のリップシンクと表情豊かなフェイシャルアニメーションを自動化する、ハイエンドなプロシージャルアニメーション技術およびソフトウェアスイート。MayaやUnreal Engineなどのゲームエンジンと統合し、アニメーターに精密な演出コントロールを提供する。

    facial-animation lip-sync procedural

    公式サイト

  • DI

    D-ID AIが発見

    2017

    テキストまたは音声入力から顔画像をトーキングヘッド動画にアニメーション化する、主要な商用プラットフォームおよびAPI。バーチャルプレゼンターやローカライズ向けに、リアルなリップシンク、表情、自然な頭部の動きを生成します。

    api avatar lip-sync talking-head

    公式サイト

  • SG

    Speech Graphics SGX AIが発見

    トラック数千件のゲームダイアログ音声から自然でローカライズされた顔アニメーションとリップシンクを自動生成する、業界標準のプロシージャルフェイシャルアニメーションプラットフォーム。

    audio-driven facial game-production lip-sync

    公式サイト