音楽・適応型BGM生成¶
音声・オーディオ
オープンソース¶
-
ACE-Step AIが発見
2026
一般的なコンシューマー向けハードウェアでローカル動作するように設計された、高効率なオープンソースの音楽基盤モデル。ボーカル入りの高品質なフルレングス楽曲を数秒で生成できます。
local-aimusic-generationsuno-alternative -
HeartMuLa AIが発見
2026
歌詞、タグ、および参照オーディオを条件として、高忠実度で長尺の音楽を合成できる、LLMベースのオープンソース音楽基盤モデルファミリー。
foundation-modelllmlyrics-to-songmusic-generation -
MiniMax Music 3.0 AIが発見
2026
最大5分間の完全で構造的に一貫した楽曲を作成できる、高性能なオープンウェイトの音楽生成モデル。長期的な音楽構造をモデル化する8B Global LLM、フレームレベルの音響詳細を処理する0.6B Local LLM、およびFlow MatchingとFlow-VAEに基づく連続的な隠れ状態合成システムを組み合わせています。
bgmmusic-generationtext-to-music -
Muse AIが発見
2026
学術的な音楽生成における再現性のギャップを解消するために設計された、きめ細かなスタイル調整機能を備えたロングフォーム楽曲生成用の完全オープンソースシステム。ライセンス済みの合成データセット、トレーニングおよび評価パイプライン、そしてデプロイが容易な楽曲生成モデルが含まれています。
music-generationopen-sourcesong-generation -
Stable Audio 3 AIが発見
2026
テキストプロンプトやオーディオ編集をサポートする、高品質かつ可変長のオーディオおよび音楽生成のための高速な潜在拡散モデルファミリー。
audio-editinglatent-diffusionmusic-generationGitHub · arXiv · Hugging Face · 論文
-
V2M-Zero AIが発見
2026
トレーニング時にペアとなるビデオ・音楽データを必要とせず、視覚的なイベントに時間的に同期したバックグラウンドミュージックを生成するゼロペアのビデオ・トゥ・ミュージック生成フレームワーク。
bgmtemporal-alignmentvideo-to-music -
VIBE AIが発見
2026
深度方向のクロスレイヤー条件付けメカニズムを通じて、ユーザーの明示的なテキスト指示と視覚的な手がかりの両方にバックグラウンドミュージックを適合させるテキスト・ビデオ・トゥ・ミュージック生成モデル。
bgmcontrollablevideo-to-musicGitHub · arXiv · Hugging Face
-
YuE2 AIが発見
2026
記号的プランニングとオーディオ生成を統合した、高度なオープンソースの音楽生成基盤モデル。Mixture-of-Transformers（MoT）アーキテクチャを採用し、まずメロディとハーモニーを指定する楽譜を生成した上で、ボーカルを含む高忠実度なフル楽曲オーディオとして出力します。ゼロショットのカバー曲生成やエージェント型音楽編集もサポートしています。
bgmlyrics-to-songmusic-generationtransformer -
ACE-Step AIが発見
2025
テキストプロンプトや歌詞からボーカルと伴奏を含む高品質なフルレングスの楽曲を生成できるオープンソースの音楽基盤モデル。一般のGPU上でローカル実行が可能。
local-ailyrics-to-songmusic-generationopen-weightsプロジェクト · GitHub · arXiv · Hugging Face
-
ACE-Step 1.5 AIが発見
2025
ACE-Step 1.5は、CUDAやMac、AMDなどの環境でローカルかつオフラインで動作し、楽器構成やジャンル指定に応じた楽曲やBGMを生成できるオープンウェイト音楽生成モデルです。
bgmfoundation-modelmusic-generationtext-to-music -
DiffRhythm AIが発見
2025
わずか10秒で最大4分45秒のステレオ楽曲（ボーカルと伴奏の両方を含む）を合成できる、オープンソースの潜在拡散ベースの楽曲生成モデル。非自己回帰構造を採用することで、高速な推論速度を実現しています。
bgmdiffusionlatent-diffusionmusic-generation -
DiffRhythm 2 AIが発見
2025
ブロックフローマッチングに基づくエンドツーエンドの半自己回帰型楽曲生成フレームワーク。歌詞の正確なアライメントと、高品質でコントロール可能なフル楽曲生成を実現する。
bgmmusic-generationsoundtrack -
InspireMusic AIが発見
2025
AlibabaのFunAudioLLMチームによる、オープンソースの音楽・歌声・オーディオ生成フレームワーク。自己回帰トランスフォーマー言語モデルと超解像フローマッチングモデルを組み合わせることで、最大8分間の高品質な長尺音楽を48kHzのサンプリングレートで生成できます。
flow-matchinglong-formmusic-generationsuper-resolutionGitHub · arXiv · Hugging Face
-
JAM AIが発見
2025
細粒度のコントロール性と美的アライメントのために設計された、軽量なフローマッチング型楽曲生成モデル。高品質な音楽および歌声合成を可能にする。
bgmmusic-generationsoundtrack -
Magenta RealTime AIが発見
2025
GoogleのMagentaチームが開発したオープンウェイトのリアルタイム音楽生成モデル。MIDI、テキスト、またはオーディオプロンプトを介して同期されたユーザーコントロールにより、高品質な音楽をリアルタイムで継続的に生成可能。
googlemidimusic-generationreal-time -
MusicGen-Stem AIが発見
2025
単一のステレオミックスではなく、ベース、ドラム、その他の個別ステムを生成する自己回帰型マルチステム音楽生成モデル。高品質な音楽編集やインタラクティブなミキシングを可能にします。
audiocraftmusic-generationstemsGitHub · arXiv · Hugging Face
-
SongGen AIが発見
2025
テキストプロンプトからボーカルと伴奏を含む高品質なフル楽曲を生成できる、制御可能なテキスト・トゥ・ソング生成向けに設計されたシングルステージ自己回帰トランスフォーマーモデル。
lyrics-to-songmusic-generationopen-sourcetransformer -
YuE AIが発見
2025
歌詞から高品質なボーカルと伴奏を含むフルコーラスの楽曲を生成できる、オープンソースの楽曲生成ファウンデーションモデル。
foundation-modellyrics-to-songmusic-generation -
YuE AIが発見
2025
LLaMA2アーキテクチャに基づくオープンソースのフル楽曲生成基盤モデル。歌詞からボーカルと伴奏を分離して最大5分間の楽曲を生成（lyrics-to-song）でき、多様なスタイル転送や双方向生成をサポートします。
bgmfoundation-modellyrics-to-songmusic-generation -
ChatMusician AIが発見
2024
ChatMusicianは、本質的な音楽能力を統合したオープンソースの大規模言語モデルであり、テキスト互換のABC記譜法を用いて音楽を理解・生成できます。音楽を第二言語として扱い、外部のマルチモーダル構造を必要とせずにシンボリックな音楽生成や推論を可能にします。
abc-notationllmmusic-generationsymbolic-music -
FluxMusic AIが発見
2024
メルスペクトログラムの潜在VAE空間で動作する、拡散ベースの整流フロー（Rectified Flow）Transformerを拡張したテキストからの音楽生成モデル。セマンティックな整合性と音質を向上させています。
diffusionmusic-generationtext-to-musictransformer -
Instruct-MusicGen AIが発見
2024
MusicGenをベースにした指示チューニング型音楽言語モデル。元のオーディオ構造を維持しながら、楽器やステムの追加、削除、分離などのテキスト指示による高度な音楽編集を可能にする。
diffusionmusic-editingmusic-generation -
JASCO AIが発見
2024
Flow Matchingパラダイムに基づく、時間制御可能なテキストからの音楽生成モデル。新しい条件付け手法を用いることで、グローバルなテキスト記述と、コード、メロディ、ドラムトラックなどの詳細なローカル制御の両方をサポートします。
bgmcontrollableflow-matchingmusic-generation -
MetaBGM AIが発見
2024
連続するマルチシーン体験向けに設計された動的サウンドトラック変換フレームワーク。環境の遷移やユーザーのインタラクションにリアルタイムで適応するBGM生成を可能にします。
adaptive-musicbgminteractive -
Multi-Track MusicLDM AIが発見
2024
MusicLDM潜在拡散モデルをマルチトラック生成向けに拡張したモデル。単一のミックス音源だけでなく、ドラム、ベース、メロディなどの同期した個別楽器ステムの合成を可能にする。
diffusionmulti-trackmusic-generation -
SONIQUE AIが発見
2024
ペアのない音響・映像データを活用し、LLMによる動画理解と条件付き拡散モデルを組み合わせて、カスタマイズ可能な高品質のサウンドトラックを生成する動画用BGM生成モデル。
bgmdiffusionvideo-to-music -
Stable Audio AIが発見
2024
テキストプロンプトとタイミング埋め込みを条件として、44.1kHzの高品質で可変長のステレオオーディオおよび音楽を生成する潜在拡散モデルアーキテクチャ。
audiodiffusionmusicGitHub · arXiv · Hugging Face
-
AudioCraft AIが発見
2023
テキストやメロディを条件とした音楽生成モデル「MusicGen」や、高品質な圧縮技術「EnCodec」を搭載した、Metaによるオーディオ生成用ディープラーニングライブラリ。
audiocraftmusic-generationtext-to-music -
2023
テキスト→オーディオおよびテキスト→音楽の潜在拡散モデル。統一的な「オーディオの言語」表現を用いて音声・効果音・音楽を生成する。
diffusionmusicopen-weightstext-to-audio -
AudioLDM 2 AIが発見
2023
テキストからオーディオおよび音楽を生成するための統一された潜在拡散フレームワーク。異なるモダリティを橋渡しする「Language of Audio (LOA)」表現を導入することで、高品質で制御可能な音楽、音声、効果音の生成を可能にします。
diffusionlatent-diffusionmusic-generationtext-to-audioGitHub · arXiv · Hugging Face
-
2023
自己回帰・非自己回帰の学習を組み合わせ、テキストと音楽の整合性とオーディオ品質を高める、汎用かつ高忠実度のテキスト→音楽拡散モデル。
diffusionhigh-fidelitytext-to-music -
2023
効率的な音楽オーディオ生成のためのLMガイド型拡散モデル(MeLoDy)。サンプリングの前向き計算回数を大幅に削減しつつ最先端の品質を達成する。
diffusionefficientlm-guidedtext-to-music -
2023
テキスト記述から数分にわたる高品質なステレオ音楽を生成する、長コンテキストの潜在拡散によるテキスト→音楽モデル。
diffusionlong-contextstereotext-to-music -
2023
テキストやメロディで条件付けする単一段階の制御可能な音楽生成モデル。BGMのプロトタイピングや適応的スコアリングに使われる。
music-generationopen-weights -
2023
GoogleのMusicLMのオープンソースなPyTorch実装。離散オーディオトークンの階層的モデリングにより、テキスト記述から高忠実度の音楽を生成する。
audio-tokenstext-to-musictransformer -
Mustango AIが発見
2023
Mustangoは、拡散モデルに基づく音楽ドメイン知識を取り入れたテキストからの音楽生成システムであり、詳細なテキスト指示による生成制御を可能にします。コード、ビート、テンポ、キーなどの具体的な指示を学習プロセスに組み込むことで、高度な制御を実現しています。
bgmcontrollablediffusionmusic-generation -
2023
テキストから高品質な30秒の音楽クリップを生成するGoogleのカスケード拡散モデル群。ジャンル・テンポ・楽器・雰囲気・時代をテキストに忠実に反映する。
cascadeddiffusiongoogletext-to-music -
2023
双方向トランスフォーマーによるマスク付き音響トークンモデリングで高忠実度の音楽を生成し、合成・圧縮・インペインティング・バリエーション生成に対応する。
inpaintingmasked-transformervariation -
2022
ダンス動画を条件として複雑な音楽を生成する敵対的マルチモーダルフレームワーク。ベクトル量子化オーディオ表現を用いて多様なダンス音楽スタイルを生成する。
ganmultimodalvideo-to-music -
2022
細粒度・粗粒度のアテンションを用いて長いシーケンスを扱い、音楽の反復構造を効率的に捉える記号的音楽生成のためのトランスフォーマー。
long-formstructuresymbolictransformer -
2022
高速でユーザー制御可能な音楽生成システム。一般的なCPU上で実時間よりはるかに速く、任意の長さの波形音楽を合成する。
fastganinfinitewaveform -
2022
ファインチューニングしたStable Diffusionでスペクトログラム画像を生成し音声に変換することで、テキストプロンプトからほぼリアルタイムの音楽生成やループ生成を可能にする。
diffusionreal-timespectrogramtext-to-music -
SymphonyNet AIが発見
2022
複雑なオーケストラ楽曲を生成するために、マルチトラック・マルチインストゥルメント・リピータブル（MMR）表現と3D位置埋め込みを利用した、シンボリック交響曲生成用の置換不変言語モデル。
midiorchestralsymphony -
2021
音楽の理解と生成を扱うMicrosoftのAI音楽研究プロジェクト。メロディ、伴奏、歌詞→メロディ、構造的な記号作曲などのモデルをまとめて提供する。
microsoftresearchsymbolictransformer -
Symbolic Music Generation with Diffusion Models
2021
音符列の連続潜在表現上で拡散モデルを学習することで記号的音楽に拡散を適用し、強力な無条件生成と事後的な条件付き補間を実現する。
diffusioninfillingsymbolic -
MMM (Multi-Track Music Machine)
2020
条件付きのマルチトラック記号音楽生成のためのトランスフォーマーベースのシステム。長期依存を扱いつつ、トラック単位・小節単位の制御を提供する。
multi-tracksymbolictransformer -
2020
記号的音楽生成のためのオープンソースPythonツールキット。データセット管理、前処理、表現、モデル評価のユーティリティを提供する。
datasetssymbolictoolkit -
2018
スタイル指定が可能なポリフォニック音楽生成のための深層学習モデル。特定の作曲家や時代のスタイルで、強弱を制御しながら作曲できる。
lstmpolyphonicstylesymbolic -
2017
MIDI領域での記号的メロディ生成のための畳み込みGAN。条件付け機構を持ち、複数のMIDIチャンネルへの拡張に対応する。
cnnganmidisymbolic -
2017
記号的音楽生成のためのマルチトラック逐次GAN。ベースやドラムなどのトラックを同時にモデル化し、時間的ダイナミクスとトラック間の依存関係を捉える。
ganmulti-tracksymbolic -
2016
機械学習による音楽・アート生成のためのGoogleのオープンな研究プロジェクト。MelodyRNNやMusicVAEなどのモデルと、記号的・オーディオ音楽制作のためのツールを提供する。
googlernnsymbolictoolkit -
2015
LSTM/GRUの再帰型ネットワークを用い、生のオーディオ波形をサンプル単位で生成する初期のアルゴリズム作曲プロジェクト。
earlyrnnwaveform -
テキストプロンプトからアンビエントなBGMを生成する軽量なPythonツール。GPUなしで動作し、シンプルなBGMのプロトタイピングに向く。
ambientcpulightweighttext-to-music
商用・業界ツール¶
-
Udio AIが発見
2024
テキストプロンプトから高品質なフル楽曲、インストゥルメンタル、ボーカルを生成できる、最先端の商用AI音楽生成プラットフォーム。オーディオのインペインティング、楽曲の延長、スタイルのリミックスなどの高度な機能をサポートしています。
bgmmusic-generationproprietarytext-to-music -
Suno AI AIが発見
2023
Sunoは、シンプルなテキストプロンプトからボーカル、歌詞、伴奏を含む高品質なフルレングスの楽曲を生成できる、業界をリードする生成AI音楽プラットフォームです。詳細な生成コントロール、ステム抽出、およびWebベースの生成オーディオワークステーション機能を備えています。
bgmmusic-generationsoundtrackvocals -
Soundraw AIが発見
2020
クリエイターが小節単位でビート、楽器構成、楽曲構成をカスタマイズできる、映像やゲーム制作向けのロイヤリティフリーAI音楽ジェネレーター。
bgmmusic-generationsoundtrack -
AIVA AIが発見
クラシック、交響曲、シネマティック音楽の作曲に特化したAI音楽生成アシスタント。250以上の異なるスタイルでオリジナル楽曲を生成でき、MIDIやオーディオファイルのアップロード、ゲームや映像向けのMIDI/オーディオ形式でのエクスポートに対応しています。
bgmcinematicmusic-generationproprietary -
テキストプロンプトやタグからロイヤリティフリーで適応的・ストリーミング型のBGMを生成する、API付きの商用AI音楽サービス。アプリ・動画・ゲーム向けに使われる。
adaptiveapicommercialroyalty-free -
ジャンルのテンプレートからロイヤリティフリーの楽曲を生成する商用AI音楽ジェネレーター。コンテンツやゲーム向けに素早くBGMを必要とするクリエイター向け。
commercialroyalty-freetemplates -
テキストとタイミングのメタデータで条件付けする潜在拡散モデルで音楽・オーディオを生成するStability AIの商用プラットフォーム。高速な推論と長さの制御を提供する。
apicommercialdiffusiontiming-conditioned -
テキストからボーカル付きの楽曲をまるごと生成する商用音楽生成サービス。サウンドトラックやBGMの迅速なプロトタイピングに使われる。
apicommercialmusic-generation
