効果音・フォーリー

音声・オーディオ

オープンソース

• CU

  ControlFoley: Unified and Controllable Video-to-Audio Generation with Cross-Modal Conflict Handling AIが発見

  2026

  ビデオ、テキスト、参照オーディオを用いて、生成される効果音を精密に制御できる、統一された制御可能な多モーダルビデオ・オーディオ（V2A）生成フレームワーク。クロスモーダルな競合を堅牢に処理する。

  foley multimodal sfx video-to-audio

  プロジェクト · GitHub · arXiv

• DA

  Dasheng AudioGen: A Unified Model for Generating Coherent Audio Scenes from Text AIが発見

  2026

  テキスト記述から明瞭な音声、音楽、効果音、および環境音を共同で合成できる統合型テキスト・オーディオ生成モデル。構造化されたマルチビュー・キャプションと高次元のセマンティック・アコースティック表現を使用して、一貫性のある混合オーディオシーンを生成する。

  foley sfx sound-generation text-to-audio

  GitHub · arXiv

• FO

  Foley-Omni AIが発見

  2026

  孤立したタスクレベルの合成から完全なビデオサウンドトラック生成へと拡張する、統一されたマルチモーダル音声生成モデル。テキストとビデオの入力を条件として、共有された潜在生成プロセス内で音声、効果音、音楽を共同でモデリングします。

  foley multimodal sfx video-to-audio

  GitHub · arXiv

• FF

  FoleyDirector: Fine-Grained Temporal Steering for Video-to-Audio Generation via Structured Scripts AIが発見

  2026

  構造化時間スクリプト（STS）を導入することで、効果音の微細な時間制御を可能にするビデオからオーディオへの生成フレームワーク。ユーザーは特定の時間帯に特定の音（車のクラクションや足音など）を生成し、他の時間帯を無音に保つといった精密なコントロールが可能。

  foley sfx temporal-control video-to-audio

  GitHub · arXiv

• WO

  Woosh AIが発見

  2026

  Sony AIが開発した音響効果の基盤モデルであり、高品質なテキストからオーディオ（T2A）およびビデオからオーディオ（V2A）への合成をサポートし、プロフェッショナルなサウンドデザインやフォーリー制作向けに設計されています。

  foley sfx text-to-audio video-to-audio

  GitHub · arXiv

• WO

  WorldSonus AIが発見

  2026

  ワールドモデルやゲーム環境向けに設計されたインタラクティブ動画-音響変換フレームワーク。リアルタイム生成、指示制御、空間配置ステレオ音響に対応。

  foley game-audio sfx world-models

  arXiv

• AP

  Audio Palette: A Diffusion Transformer with Multi-Signal Conditioning for Controllable Foley Synthesis AIが発見

  2025

  Stable Audio Openアーキテクチャを拡張し、4つの時間変化する音響制御信号（ラウドネス、ピッチ、スペクトル重心、音色）を導入することで、アーティスト中心のきめ細かな効果音（Foley）合成を可能にするモデル。

  controllable diffusion foley sfx

  arXiv · 公式サイト

• CA

  CAFA AIが発見

  2025

  テキストプロンプトや参照音声による高度なユーザー制御を可能にし、無音映像に対して同期した効果音を生成する制御可能な自動フォーリー生成モデル。

  control foley sfx video-to-audio

  GitHub · arXiv

• DR

  DreamFoley AIが発見

  2025

  ビジョンランゲージモデル（VLM）を活用して、高忠実度で同期された効果音や環境音を生成する、スケーラブルなビデオ・ツー・オーディオ生成フレームワーク。クロスモーダルなアライメントとオーディオ品質を向上させることで、既存の拡散トランスフォーマーアーキテクチャの限界に対処します。

  foley sfx video-to-audio vlm

  arXiv

• FC

  Foley Control AIが発見

  2025

  事前学習済みの単一モダリティモデルを凍結したまま、それらの間の小さなクロスアテンションブリッジのみを学習する、軽量なビデオガイド付きフォーリー生成手法。ビデオ埋め込みを凍結されたテキスト・オーディオモデルに接続し、タイミングと局所的なダイナミクスを微調整します。

  foley sfx stable-audio video-to-audio

  arXiv · 公式サイト

• FV

  FoleyGRAM: Video-to-Audio Generation with GRAM-Aligned Multimodal Encoders AIが発見

  2025

  統一されたGramian Representation Alignment Measure（GRAM）アライメントを用いて、ビデオ、テキスト、オーディオ入力から同期されたフォーリー効果音を合成するマルチモーダル生成オーディオモデル。

  diffusion foley multimodal sound-effects

  arXiv

• HF

  HunyuanVideo-Foley AIが発見

  2025

  Tencent Hunyuanが開発したエンドツーエンドのビデオ・トゥ・オーディオ生成フレームワーク。視覚的なダイナミクスに正確に同期した高忠実度な効果音を合成します。表現アライメントを備えたマルチモーダル拡散モデルを利用し、リアルな意味的・時間的同期を実現します。

  diffusion foley sound-generation video-to-audio

  プロジェクト · GitHub · arXiv

• KF

  Kling-Foley AIが発見

  2025

  ビデオコンテンツと同期した高品質なオーディオを合成するために、拡散トランスフォーマーを利用する大規模なマルチモーダルビデオ・ツー・オーディオ生成モデル。ビデオの条件を潜在的なオーディオ要素と整列させるための視覚的意味表現モジュールとオーディオビジュアル同期モジュールを組み込んでいます。

  diffusion-transformer foley sfx video-to-audio

  GitHub · arXiv

• SS

  StereoSync: Spatially-Aware Stereo Audio Generation from Video AIが発見

  2025

  クロスアテンションを介して空間的な手がかりを組み込むことで、ビデオに整列したステレオオーディオを生成し、視覚的なシーンに動的に適応する音響空間を作り出す拡散ベースのフレームワーク。

  diffusion spatial-audio stereo-audio video-to-audio

  arXiv

• TH

  ThinkSound AIが発見

  2025

  Chain-of-Thought（CoT）推論を利用して、高品質でビデオに同期した効果音やフォーリーを生成する統合Any2Audio生成フレームワーク。生成プロセスを基礎的なフォーリー、音響環境モデリング、時間的アライメントに分解して処理します。

  chain-of-thought foley sfx video-to-audio

  GitHub · arXiv

• AU

  AudioLCM AIが発見

  2024

  潜在整合性モデル（LCM）に基づき、少ないサンプリングステップで高品質かつ高速な効果音合成を可能にするテキスト音声生成フレームワーク。

  consistency-model fast-inference sound-effects text-to-audio

  GitHub · arXiv

• EZ

  EzAudio AIが発見

  2024

  生の波形上で動作する潜在拡散トランスフォーマー（Latent Diffusion Transformer）をベースにした、効率的なテキスト・オーディオ生成フレームワーク。低計算コストで高品質かつ自然な効果音を生成します。

  diffusion sound-effects text-to-audio

  GitHub · arXiv · Hugging Face

• FS

  FolAI: Synchronized Foley Sound Generation with Semantic and Temporal Alignment AIが発見

  2024

  時間的構造の抽出と意味的にガイドされた生成を分離し、ビデオ、テキスト、またはオーディオのプロンプトを使用して同期されたフォーリー効果音を合成する2段階の生成フレームワーク。

  controlnet foley latent-diffusion sound-effects

  arXiv · 公式サイト

• FO

  FoleyCrafter AIが発見

  2024

  事前学習済みのテキスト音声生成モデルを活用し、無音ビデオからセマンティックに関連し、時間的に同期したリアルな効果音を生成するビデオ音声生成フレームワーク。

  diffusion foley sound-effects video-to-audio

  GitHub · arXiv

• FR

  Frieren AIが発見

  2024

  Rectified Flow Matching（整流フローマッチング）に基づく効率的なビデオ・トゥ・オーディオ（V2A）生成モデル。ノイズからスペクトログラムの潜在変数への条件付き輸送ベクトル場を回帰させることで、無音動画に対して高度に同期したリアルな効果音を生成します。

  flow-matching foley sound-generation v2a

  GitHub · arXiv

• MA

  Make-An-Audio 3 AIが発見

  2024

  フローベースの大型拡散トランスフォーマー（Lumina-T2X）に基づく、オープンソースのテキスト・映像から音声への生成モデル。テキストプロンプトや映像入力から、高品質でリアルな効果音や音楽を生成します。

  diffusion foley sfx text-to-audio

  GitHub · Hugging Face

• MM

  MMAudio AIが発見

  2024

  ビデオとオプションのテキストプロンプトから、高品質で同期された効果音やフォーリー音を合成する、オープンソースのマルチモーダル共同学習フレームワーク。

  foley multimodal sfx video-to-audio

  GitHub · arXiv

• SA

  Stable Audio Open AIが発見

  2024

  Creative Commonsデータでトレーニングされたオープンウェイトの潜在拡散モデルであり、テキストプロンプトから短い効果音、フォーリー、楽器サンプルの生成に最適化されています。

  diffusion foley sfx text-to-audio

  GitHub · arXiv · Hugging Face

• TF

  T-Foley AIが発見

  2024

  制御可能なフォーリー音響合成のために設計された、時間的イベントガイド付きの波形領域拡散モデル。生成された効果音を特定の視覚的イベントに合わせるための精密なタイミング制御を組み込んでいます。

  diffusion foley sfx waveform

  GitHub · arXiv

• T2

  Tango 2 AIが発見

  2024

  Direct Preference Optimization（DPO）を用いて微調整され、優れた効果音や環境音を出力する拡散ベースのテキスト音声生成モデル。

  diffusion dpo sfx text-to-audio

  GitHub · arXiv

• TA

  TangoFlux AIが発見

  2024

  515Mのパラメータを持つ効率的かつ高速なテキスト・トゥ・オーディオ生成モデル。最大30秒の44.1kHz高品質な効果音や環境音を生成可能です。フローマッチングを利用し、好みに応じた最適化（DPO）により優れたテキストとオーディオのアライメントを実現しています。

  flow-matching sfx sound-generation text-to-audio

  GitHub · arXiv

• VF

  Video-Foley AIが発見

  2024

  高い制御性と同期性を確保するために、セマンティックな音色プロンプトとともに二乗平均平方根（RMS）を時間的イベント条件として使用するビデオ・ツー・サウンドシステム。手動のタイムスタンプ注釈を必要とせずに、生成されたオーディオを視覚的なアクションと正確に整列させることで、効果音合成プロセスを自動化します。

  foley sfx temporal-alignment video-to-audio

  GitHub · arXiv

• VG

  Video-Guided Foley Sound Generation with Multimodal Controls AIが発見

  2024

  テキスト、オーディオ、ビデオの入力による条件付けをサポートする、Adobeが開発したマルチモーダルなフォリー音生成モデル。無音のビデオに対して高品質で同期された48 kHzの効果音を生成し、参照オーディオを使用して生成音の音色をガイドするなどの柔軟な制御を可能にする。

  foley multimodal sfx video-to-audio

  プロジェクト · arXiv

• AU

  Audiobox AIが発見

  2023

  自然言語の記述や音声リファレンスから、高品質な音声や効果音を生成できるMetaのフローマッチングベースの統合生成モデル。音声入力とテキストプロンプトを組み合わせることで、声質や音響スタイルを精密にコントロールできます。

  flow-matching foley sfx text-to-audio

  arXiv · 公式サイト

• AT

  AudioLDM: Text-to-Audio Generation with Latent Diffusion Models AIが発見

  2023

  AudioLDMは、Contrastive Language-Audio Pretraining（CLAP）の潜在空間から連続的なオーディオ表現を学習する、潜在拡散モデル（LDM）ベースのテキスト音声生成システムです。自然言語の説明から、高品質な効果音、環境音（Foley）、音楽を生成することができます。

  audio-generation foley latent-diffusion sfx

  arXiv · 論文

• DF

  Diff-Foley AIが発見

  2023

  潜在拡散モデル（LDM）に基づく同期ビデオ・トゥ・オーディオ合成フレームワーク。対照学習を用いた音響・映像事前学習モデル（CAVP）によりアライメントされた特徴を抽出し、無音動画に対して高品質で時間的に同期した効果音を生成します。

  diffusion foley sound-generation v2a

  GitHub · arXiv

• FO

  FoleyGen AIが発見

  2023

  視覚的なイベントに同期したリアルな効果音（Foley）を合成する、自己回帰トランスフォーマーベースの映像・音声生成システム。ニューラルオーディオコーデックを使用して波形を離散トークンに変換し、クロスアテンションを介して視覚的特徴を統合します。

  foley sfx transformer video-to-audio

  arXiv · 公式サイト

• MA

  Make-An-Audio AIが発見

  2023

  蒸留と再プログラミングの手法を用いたプロンプト強化型拡散モデルを利用し、多様な効果音や環境音を合成するテキストからオーディオへの生成フレームワーク。

  diffusion sfx text-to-audio

  GitHub · arXiv

• MA

  Make-An-Audio 2 AIが発見

  2023

  時間的な一貫性とセマンティックな整合性を高め、高品質な効果音を生成する潜在拡散ベースのテキスト音声生成モデル。

  diffusion sfx text-to-audio

  GitHub · arXiv

• TA

  Tango AIが発見

  2023

  指示調整済みLLM（Flan-T5）をテキストエンコーダーとして採用し、テキストの説明からリアルな効果音や環境音を合成する潜在拡散モデル。

  diffusion llm-guided sound-effects text-to-audio

  GitHub · arXiv

• AU

  AudioCraft AIが発見

  2022

  Metaが開発したオープンソースの音声生成フレームワーク。テキストから効果音を生成するAudioGenや、音楽を生成するMusicGenを搭載しています。テキストの説明からリアルな効果音や環境音、効果音（Foley）を生成するために広く使用されています。

  audiogen sfx sound-generation text-to-audio

  GitHub · arXiv

商用・業界ツール

• ES

  ElevenLabs Sound Effects AIが発見

  2024

  自然言語のプロンプトから高品質でロイヤリティフリーの効果音、フォーリー、環境音を生成するために設計された商用のテキスト・ツー・オーディオ生成ツール。複数のバリエーションの生成、シームレスなループ、およびプロフェッショナルグレードの48 kHzオーディオ出力をサポートしています。

  commercial foley sfx text-to-audio

  公式サイト

• OP

  OptimizerAI AIが発見

  2024

  クリエイター、ゲーム開発者、映像制作者向けに設計された、AI搭載の商用効果音ジェネレーター。テキストプロンプトやビデオのアップロードから、高品質でロイヤリティフリーのオーディオアセットを迅速に作成でき、44.1 kHzのステレオ出力をサポートする。

  foley proprietary sfx sound-generation

  公式サイト