ChatTTS

ChatTTS- 会話シナリオ向けのテキスト読み上げ

自然な会話形式のテキスト読み上げに最適化

20K+Star on Github
自然な会話形式のテキスト読み上げに最適化

ChatTTS

オンライン無料チャットTTS

以下の例を使用してChatTTSを試してください。

Voicv

短い音声サンプルから自然で表現力豊かな声を複製し、動画やポッドキャスト制作に活用できます。

Voicv を試す

Loading demo…

Please wait while the demo prepares.

ChatTTS

ChatTTSとは?

ChatTTSは、大規模言語モデル(LLM)アシスタントの対話タスクや会話オーディオ・ビデオの導入などのアプリケーション向けに設計された音声生成モデルです。中国語と英語の両方をサポートし、約100,000時間の中国語と英語のデータを使用してトレーニングされたChatTTSは、スピーチ合成において高い品質と自然さを示しています。

ChatTTS

ChatTTSの特徴

複数言語サポート

ChatTTSの主な機能の1つは、英語や中国語を含む複数の言語のサポートです。これにより、幅広いユーザーを対象にし、言語の壁を乗り越えることができます

大規模なデータトレーニング

ChatTTSは大量のデータ、おおよそ1,000 万時間に及ぶ中国語および英語のデータを使用してトレーニングされています。 この徹底的なトレーニングにより、高品質かつ自然な音声合成が実現しています

対話タスク互換性

ChatTTSは、一般的に大規模言語モデルLLMに割り当てられる対話タスクを適切に扱うのに適しています。 さまざまなアプリケーションやサービスに統合された際に、会話のための応答を生成し、より自然でスムーズなインタラクション体験を提供できます

オープンソースの計画

プロジェクトチームは、トレーニングされたベースモデルをオープンソース化する予定です。これにより、学術研究者やコミュニティ内の開発者がこの技術をさらに研究および開発できるようになります

コントロールとセキュリティ

チームは、モデルの制御可能性の向上、透かしの追加、およびLLMとの統合を強化することにコミットしています。これらの取り組みにより、モデルの安全性と信頼性が確保されます

使いやすさ

ChatTTSは、ユーザーにとって使いやすい体験を提供しています。テキスト情報のみを入力として必要とし、それに対応する音声ファイルを生成します。このシンプルさにより、音声合成ニーズを持つユーザーにとって便利です

ChatTTS

ChatTTSの使い方

数ステップでChatTTSを始めましょう。

Image
  1. 01

    GitHubからダウンロード

    GitHubからコードをダウンロードしてください。

                      git clone https://github.com/2noise/ChatTTS
                    
    ChatTTSをダウンロード
  2. 02

    依存関係のインストール

    開始する前に、必要なパッケージがインストールされていることを確認してください。torchとChatTTSが必要です。まだインストールしていない場合は、pipを使用してインストールできます。

                      pip install torch ChatTTS
                    
  3. 03

    必要なライブラリのインポート

    スクリプトに必要なライブラリをインポートします。torch、ChatTTS、およびIPython.displayからのAudioが必要です。

                      import torch
    import ChatTTS
    from IPython.display import Audio
                    
  4. 04

    ChatTTSの初期化

    ChatTTSクラスのインスタンスを作成し、事前にトレーニングされたモデルを読み込みます。

                      chat = ChatTTS.Chat()
    chat.load_models()
                    
  5. 05

    テキストの準備

    音声に変換したいテキストを定義します。 <YOUR TEXT HERE>をお好みのテキストに置き換えます。

                      texts = ["こんにちは、ChatTTSへようこそ!",]
                    
  6. 06

    音声の生成

    テキストから音声を生成するためにinferメソッドを使用します。デコーダーを有効にするには、use_decoder=Trueを設定します。

                      wavs = chat.infer(texts, use_decoder=True)
                    
  7. 07

    オーディオの再生

    生成されたオーディオを再生するには、IPython.displayからのAudioクラスを使用します。サンプルレートを24,000 Hzに設定し、自動再生を有効にします。

                      Audio(wavs[0], rate=24_000, autoplay=True)
                    
  8. 08

    完全なスクリプト

    参考のために、こちらが完全なスクリプトです:

                      import torch
    import ChatTTS
    from IPython.display import Audio
    
    # ChatTTSの初期化
    chat = ChatTTS.Chat()
    chat.load_models()
    
    # 音声に変換するテキストの定義
    texts = ["こんにちは、ChatTTSへようこそ!",]
    
    # 音声の生成
    wavs = chat.infer(texts, use_decoder=True)
    
    # 生成されたオーディオの再生
    Audio(wavs[0], rate=24_000, autoplay=True)
    
                    

ChatTTS

よくある質問

質問がありますか?一般的な疑問を以下で確認してください。

01

開発者はどこから導入を始めればよいですか?

公式リポジトリの手順でモデルを準備し、短い文章を使って音声生成を確認してください。使用する版の依存関係と実行例を確認してから、アプリケーションへの組み込みを検討します。

02

どのような用途を検討できますか?

対話の試作、動画のナレーション、教材の読み上げなどが考えられます。まず実際に使う短い文章を用意し、発音、間の取り方、聞き取りやすさを確認してください。用途ごとの適合性は個別に評価します。

03

ChatTTSは複数言語をサポートしていますか?

はい、ChatTTSは中国語と英語の両方をサポートしています。これらの言語で大規模なデータセットでトレーニングすることで、ChatTTSは中国語と英語の両方で高品質な音声合成を生成できます。そのため、多言語環境での使用に適しており、多様な言語ユーザーのニーズに対応しています。

04

ChatTTSの特徴は何ですか?

対話場面の音声生成を重視したモデルです。文章をどのように話すかを、実際の音声で確認しながら検討できます。対応機能や使用条件は、選んだ版の公式資料で確認してください。

05

用途に合わせた調整はできますか?

利用する版で公開されている設定や手順を確認してください。まず文章と句読点を整理し、変更を一つずつ試すと、発音や話し方の違いを比較しやすくなります。特定の声や結果は保証されません。

06

どの環境で使えますか?

実行環境と必要な依存関係は、現在の公式リポジトリを参照してください。ローカル実行と外部デモでは条件が異なります。自分の環境で短い例を動かしてから、アプリへの組み込みを判断します。

07

利用時に注意する点はありますか?

長さや文章の複雑さ、実行環境によって結果は変わります。固有名詞や数字を原文と照合し、途中の欠落や不自然な間がないか最後まで聞いてください。公開前にはモデルと素材の利用条件も確認します。

08

問題はどのように報告すればよいですか?

公式リポジトリの案内に従い、再現できる短い入力例、使用した版、設定、期待した結果と実際の違いをまとめます。個人情報や認証情報をログに含めず、調査に必要な情報だけを共有してください。