ボイスクローン・声質変換¶
音声・オーディオ
オープンソース¶
-
CosyVoice 3 / Qwen-Audio-3.0-TTS AIが発見
2026
CosyVoiceからCosyVoice 3、Qwen-Audio-3.0-TTSに至る系統の技術的レトロスペクティブ。自己回帰言語モデルによる音声計画と、フローマッチングによる音響レンダリングを分離した、スケーラブルな多言語ゼロショット音声合成システムを詳述しています。
flow-matchingttsvoice-cloning -
Higgs Audio AIが発見
2026
Higgs Audio（Higgs TTS 3）は、自然な会話型音声インタラクション向けに設計された、40億パラメータの多言語テキスト読み上げ（TTS）基盤モデルです。100以上の言語に対応し、短い参照クリップからのゼロショット音声クローニングをサポートするほか、感情、スタイル、韻律、効果音のきめ細かなインライン制御が可能です。
conversational-aimultilingualttsvoice-cloning -
MOSS-TTS AIが発見
2026
MOSS-TTSは、オープンソースの音声・音響生成基盤モデルファミリーです。カスタムの12Hzオーディオトークナイザーと自己回帰モデリングを使用し、高精度なゼロショット音声クローニング、制御可能な長文合成、多言語およびコードスイッチング音声生成を特徴としています。
audio-generationmultilingualttsvoice-cloningGitHub · arXiv · Hugging Face
-
Qwen3-TTS AIが発見
2026
Qwen3-TTSは、10言語にわたる500万時間以上の音声データで学習された、オープンソースの多言語テキスト読み上げ（TTS）モデルシリーズです。ゼロショット音声クローニング（CustomVoice）や自然言語に基づく音声デザインをサポートし、極めて表現力豊かで人間らしい音声を生成します。
multilingualspeech-synthesisttsvoice-cloningGitHub · arXiv · Hugging Face
-
ZONOS2 AIが発見
2026
ZONOS2は、総パラメータ数80億のスパースMixture of Experts（MoE）アーキテクチャに基づくオープンウェイトのテキスト読み上げモデルです。600万時間以上の多言語音声データで学習されており、感情、速度、トーンのきめ細かな制御に加え、高精度で自然なゼロショット音声クローニングをサポートします。
moemultilingualttsvoice-cloningGitHub · arXiv · Hugging Face
-
CosyVoice 3 AIが発見
2025
大規模な学習データと事後学習（ポストトレーニング）技術を導入し、野生（in-the-wild）の音声生成において高い自然度と話者類似度を実現する、高度な多言語ゼロショット音声合成・音声クローニングモデル。
ttsvoice-cloningzero-shot -
VibeVoice AIが発見
2025
Next-Token Diffusionと高度に圧縮された連続音声トークナイザーを利用し、表現力豊かな長尺の対話型音声合成および音声クローニングを実現するMicrosoftのモデル。
diffusionttsvoice-cloningGitHub · arXiv · Hugging Face
-
VoiceCraft-Dub AIが発見
2025
テキストと顔の視覚的特徴から高品質な音声を合成する自動ビデオ吹き替えフレームワーク。ニューラルコーデック言語モデルを拡張してビデオ特徴量を組み込むことで、クローンされた音声が顔の動きと時間的・表現力豊かに同期することを保証します。
dubbingmultimodalvoice-cloning -
VoiceCraft-X AIが発見
2025
11言語に対応し、多言語の音声編集とゼロショットテキスト読み上げ（TTS）を統合した自己回帰型ニューラルコーデック言語モデル。Qwen3大規模言語モデルと新しいトークン再配置メカニズムを活用し、高精度な音声クローニングと編集を実行します。
codec-lmspeech-editingvoice-cloning -
Chatterbox AIが発見
2024
感情制御、リアルタイム生成、および組み込みの電子透かし機能を備えた、Resemble AIによるオープンソースの音声合成およびゼロショット音声クローニングモデル。
ttsvoice-cloningzero-shot -
CosyVoice 2 AIが発見
2024
指示追従（Instruction-following）とゼロショット機能を統合した、高度な多言語ストリーミングテキスト読み上げ・音声クローニングモデル。大規模言語モデルと条件付きフロー・マッチング（Conditional Flow Matching）デコーダーを組み合わせることで、人間と同等の自然さと極めて低い遅延を実現しています。
streamingttsvoice-cloning -
DreamVoice AIが発見
2024
参照音声クリップの代わりに自然言語のプロンプトを使用して、望む声の音色やスタイルを指定できるテキストガイド型音声変換フレームワーク。
diffusiontext-guidedvoice-conversion -
FunAudioLLM (CosyVoice) AIが発見
2024
FunAudioLLMは、自然な音声生成のためのCosyVoiceを特徴とする音声基盤モデルファミリーです。CosyVoiceは、ゼロショットの多言語ボイスクローニング、クロスリンガルボイスクローニング、および音色、話速、感情のきめ細かな制御をサポートしています。
multilingualttsvoice-cloning -
MaskGCT AIが発見
2024
MaskGCTは、マスク型生成コーデックトランスフォーマーに基づくゼロショット音声合成・音声クローニングモデルであり、明示的なアライメントや音素長の予測器を必要としません。わずか3秒の音声プロンプトから、極めて自然で忠実な音声複製を実現します。
audio-generationttsvoice-cloningzero-shotGitHub · arXiv · Hugging Face
-
Seed-TTS AIが発見
2024
Seed-TTSは、ByteDanceが開発した大規模な自己回帰型テキスト読み上げ（TTS）およびボイスクローニングモデルファミリーです。人間の声と実質的に区別がつかない高品質な音声を生成し、ゼロショットのボイスクローニング、インコンテキスト学習、感情やスタイルの高度な制御をサポートします。
speech-synthesisvoice-cloningzero-shot -
Seed-VC AIが発見
2024
拡散トランスフォーマー（Diffusion Transformer）に基づくゼロショット音声変換および歌声変換フレームワーク。リアルタイム処理に対応し、音色の漏洩を防ぐ外部音色シフターを搭載。
diffusionsinging-voicevoice-conversion -
Seed-VC AIが発見
2024
リアルタイムストリーミング、歌声変換、ピッチ制御、音声匿名化に対応したゼロショットボイスチェンジおよび歌声変換フレームワーク。
singing-voicevoice-cloningvoice-conversionzero-shot -
VoiceCraft AIが発見
2024
音声編集および野生環境下でのゼロショットテキスト読み上げ（TTS）において、最先端の性能を達成するトークン補完型ニューラルコーデック言語モデル。
codec-lmspeech-editingvoice-cloning -
VoiceStudio AIが発見
2024
外部APIキーを必要とせず、数百の言語で音声クローニング、音声デザイン、ビデオダビング、テキスト読み上げを実行できる、完全にローカルで動作するオープンソースのElevenLabs代替ツール。
local-firstttsvoice-cloning -
XTTS AIが発見
2024
XTTSは、17以上の言語をサポートする大規模多言語ゼロショットテキスト読み上げ（TTS）およびボイスクローニングモデルです。Tortoiseアーキテクチャをベースにしており、わずか数秒の短い音声プロンプトから高品質な音声複製やクロスリンガルなボイスクローニングを可能にします。
multilingualvoice-cloningzero-shot -
Amphion AIが発見
2023
ゼロショットのテキスト読み上げや音声クローニングのための最先端モデル「MaskGCT」などを搭載した、オープンソースの音声・音楽・発話生成ツールキット。
audio-generationttsvoice-cloning -
Applio AIが発見
2023
Retrieval-based Voice Conversion (RVC) をベースにした、高度に最適化されたオープンソースの音声変換ツール。クリーンで使いやすいインターフェース、活発なコミュニティサポート、高品質な音声クローニングと変換のための様々なパフォーマンス向上機能を備えています。
rvcvoice-cloningvoice-conversion -
Bark AIが発見
2023
非常にリアルな音声、音楽、背景音を生成できる、トランスフォーマーベースの極めて人気のあるテキスト音声合成モデル。音声プロンプトによるゼロショット音声クローニングをサポート。
transformerttsvoice-cloning -
OpenVoice AIが発見
2023
短い音声クリップから話者の声を複製し、感情、アクセント、リズム、イントネーションなどのスタイルを細かく制御できる、多機能なインスタント音声クローニング手法。
ttsvoice-cloningzero-shot -
Realtime Voice Changer (w-okada) AIが発見
2023
RVC、MMVC、Beatriceなどの複数のモデルバックエンドをサポートし、VTuberやクリエイターに広く使用されているリアルタイムAIボイスチェンジャーおよび音声変換アプリケーション。
real-timevoice-changervoice-conversion -
RVC (Retrieval-based Voice Conversion)
2023
ソース音声を学習済みの声質に変換する人気のオープンソース声質変換ツールキット。キャラクターボイスやダビングの実験に広く使われる。
open-sourcevoice-conversion -
Voicebox: Text-Guided Multilingual Universal Speech Generation at Scale AIが発見
2023
5万時間の音声データで学習されたMetaの非自己回帰フローマッチング生成モデル。ゼロショット音声クローニング、ノイズ除去、言語を越えた声質移植を実現。
flow-matchingspeech-generationvoice-cloningzero-shot -
Coqui TTS AIが発見
2021
テキスト読み上げ（TTS）および音声クローニングのための広く使われているディープラーニングツールキット。わずか6秒の音声サンプルから多言語での音声クローニングが可能な強力な「XTTS-v2」モデルを搭載。
ttsvoice-cloningxtts
商用・業界ツール¶
-
Altered Studio AIが発見
2022
ゲームやメディア制作向けに、音声のクローニング、厳選されたAI音声へのモーフィング、高度なオーディオ編集を可能にするプロフェッショナルなAI音声コンテンツ作成プラットフォーム。
voice-changervoice-cloningvoice-conversion -
ElevenLabs Voice Design & Cloning AIが発見
2022
ゲームやメディア制作で使用される、高精度なAI音声生成、インスタントボイスクローニング、およびプロフェッショナルな音声複製のための業界をリードする商用プラットフォームです。
dubbingproprietaryttsvoice-cloning -
Lovo AI AIが発見
2019
リアルな音声クローニング、多言語合成、ビデオ編集機能を統合した「Genny」エディタを提供する、AI音声生成およびテキスト読み上げプラットフォーム。
ttsvoice-cloningvoiceover
