ChatTTS : un modèle de génération de la parole qui imite la voix d'une personne réelle qui parle (ChatTTS one-click acceleration package)

Introduction générale

ChatTTS est un modèle de parole génératif conçu pour les scénarios de dialogue. Il génère une parole naturelle et expressive, prend en charge plusieurs langues et plusieurs locuteurs, et convient aux dialogues interactifs. Le modèle surpasse la plupart des modèles de synthèse vocale à source ouverte en prédisant et en contrôlant des caractéristiques rythmiques fines telles que le rire, les pauses et les interjections.ChatTTS fournit des modèles pré-entraînés pour soutenir la recherche et le développement, principalement à des fins académiques.

Liste des fonctions

• Prise en charge multilingueLes langues suivantes sont prises en charge : le chinois et l'anglais, et d'autres langues seront ajoutées à l'avenir.
• Prise en charge de plusieurs interlocuteursLa capacité de générer des voix d'interlocuteurs multiples permet de l'utiliser pour des dialogues interactifs.
• Contrôle rythmique précisLes caractéristiques rythmiques telles que les rires, les pauses et les interjections peuvent être prédites et contrôlées.
• Modèle de pré-entraînementLe système de gestion de l'information : il fournit 40 000 heures de modèles pré-entraînés afin de soutenir la recherche et le développement ultérieurs.
• source ouverteLe code est ouvert sur GitHub pour une utilisation académique et de recherche.

Utiliser l'aide

Processus d'installation

1. Clonage du code du projet: :

   git clone https://github.com/2noise/ChatTTS.git
   

2. Installation des dépendances: :

   cd ChatTTS
   pip install -r requirements.txt
   

3. Télécharger le modèle pré-entraînéTélécharger le modèle pré-entraîné à partir de HuggingFace ou ModelScope et le placer dans le répertoire spécifié.

Utilisation

1. Modèles de chargement: :

   from chattts import ChatTTS
   model = ChatTTS.load_model('path/to/pretrained/model')
   

2. Générer un discours: :

   text = "你好，欢迎使用ChatTTS！"
   audio = model.synthesize(text)
   

3. Enregistrement de fichiers audio: :

   with open('output.wav', 'wb') as f:
   f.write(audio)
   

Fonctionnement détaillé

• saisie de texteLe système de saisie de texte est compatible avec la saisie mixte de textes chinois et anglais.
• Contrôle rythmiqueLes caractéristiques des rimes, telles que les rires, les pauses et les interjections, sont contrôlées par des paramètres.
• contrôle de la tonalitéLa tonalité générée peut être contrôlée par une valeur d'amorçage ou un code de tonalité prédéfini.
• le contrôle des émotionsContrôlez les caractéristiques émotionnelles du discours généré en définissant les paramètres de volatilité et de pertinence de l'émotion.
• sortie en continuLa génération audio longue et la lecture basée sur les personnages pour les scénarios de dialogue complexes.

exemple de code (informatique)

from chattts import ChatTTS
# 加载模型
model = ChatTTS.load_model('path/to/pretrained/model')
# 设置文本和韵律参数
text = "你好，欢迎使用ChatTTS！"
params = {
'laugh': True,
'pause': True,
'interjection': True
}
# 生成语音
audio = model.synthesize(text, params)
# 保存音频文件
with open('output.wav', 'wb') as f:
f.write(audio)

ChatTTS Client

Expérience rapide

amélioration fonctionnelle

Extension des fonctionnalités

ChatTTSPlus - Paquet d'installation accélérée en un clic

ChatTTSPlus est une version étendue de ChatTTS qui ajoute à l'original l'accélération TensorRT, le clonage de la parole et le déploiement de modèles mobiles. Elle est facile à utiliser, propose un programme d'installation en un clic pour Windows et permet de tripler les performances avec TensorRT (de 28 tokens/s à 110 tokens/s sur les GPU Windows 3060). ChatTTSPlus est un outil de synthèse vocale puissant et facile à utiliser pour un large éventail de scénarios, avec des points forts particuliers dans les applications nécessitant des performances élevées et des capacités de clonage de la parole.

Adresse : https://github.com/warmshao/ChatTTSPlus