JoyHallo - Jingdongs quelloffenes digitales KI-Menschenmodell

Was ist JoyHallo?

JoyHallo ist ein quelloffenes digitales KI-Menschenmodell von Jingdong, das für Mandarin entwickelt wurde und die Umwandlung von Audiodaten in realistische Sprechvideos unterstützt. JoyHallo bettet Audiomerkmale auf der Grundlage des wav2vec2-Modells mit einer halb entkoppelten Struktur ein, um die Genauigkeit der Vorhersage von Lippenbewegungen zu verbessern und die Erstellung von englischen Videos zu unterstützen. JoyHallo hat eine breite Palette von Anwendungen in den Bereichen virtueller Anker, Online-Bildung, Kundenservice und Werbeproduktion, die eine effiziente, lebendige und personalisierte Service-Erfahrung bieten und die intelligente Entwicklung der entsprechenden Branchen fördern können.

Hauptmerkmale von JoyHallo

• Audio-gesteuerte VideoerstellungBasierend auf dem eingehenden Audiosignal wird automatisch ein dazu passendes Sprechvideo erzeugt.
• Sprachübergreifende generative KapazitätJoyHallo hat sich nicht nur auf die Erstellung von Videos in Mandarin spezialisiert, sondern kann auch englischsprachige Videos erstellen.
• LippensynchronisationDas Modell synchronisiert die Lippenbewegungen in Audio und Video genau.
• Erzeugung von GesichtsausdrückenGenerierung von Gesichtsausdrücken auf der Grundlage der Emotionen und des Tonfalls in den Audiodateien.

JoyHallo's offizielle Website-Adresse

• Projekt-Website::https://jdh-algo.github.io/JoyHallo/
• GitHub-Repository::https://github.com/jdh-algo/JoyHallo
• HuggingFace-Modellbibliothek::https://huggingface.co/jdh-algo/JoyHallo-v1
• arXiv Technisches Papier::https://arxiv.org/pdf/2409.13268

Wie man JoyHallo verwendet

• Vorbereitung der Umwelt::
  • Hardware-VoraussetzungEs wird empfohlen, Computer mit Hochleistungs-GPUs, wie NVIDIA-Grafikkarten (z. B. RTX 30-Serie oder höher), zu verwenden, um den Inferenzprozess des Modells zu beschleunigen.
  • SoftwareumgebungStellen Sie sicher, dass Python auf Ihrem System installiert ist (empfohlene Version 3.8 und höher). Installieren Sie PyTorch mit dem folgenden Befehl (wählen Sie den entsprechenden Installationsbefehl je nach CUDA-Version):

pip install torch torchvision torchaudio

• Installation von Abhängigkeiten::
  • Klonen von JoyHallo's GitHub Repository::

git clone https://github.com/jdh-algo/JoyHallo.git
cd JoyHallo

• • Projektabhängigkeiten installieren::

pip install -r requirements.txt

• Vorbereitung der DatenWenn Sie mit Ihren eigenen Daten trainieren oder eine Feinabstimmung vornehmen, müssen Sie die Daten entsprechend dem Datenformat von JoyHallo vorbereiten: Der Datensatz von JoyHallo enthält normalerweise Audiodateien und entsprechende Videodateien. Die Audiodateien müssen im wav-Format und die Videodateien im mp4-Format vorliegen. Wenn Sie nur das vortrainierte Modell für die Inferenz verwenden, können Sie diesen Schritt direkt überspringen.
• Modellladung und Inferenz::
  • Laden von vortrainierten ModellenJoyHallo's vortrainierte Modelle werden basierend auf der Hugging Face Modellbibliothek geladen.

from transformers import AutoModelForAudioToVideo, AutoProcessor

model_name = "jdh-algo/JoyHallo-v1"
processor = AutoProcessor.from_pretrained(model_name)
model = AutoModelForAudioToVideo.from_pretrained(model_name)

• • Audiovorverarbeitung: Konvertierung von Audiodateien in das für das Modell erforderliche Format::

from datasets import load_dataset

dataset = load_dataset("audiofolder", data_dir="path/to/your/audio/files")
inputs = processor(dataset[0]["audio"], return_tensors="pt")

• • Video generierenReasoning with models to generate videos:

outputs = model(**inputs)
video = processor.postprocess_video(outputs)
video.save("output_video.mp4")

JoyHallo's Hauptstärken

• Mandarin OptimierungJoyHallo wurde für Mandarin entwickelt und kann die Lippenbewegungen genau anpassen, um die komplexen Konsonanten- und Reimlaute in Mandarin zu simulieren, wie z.B. "zh", "ch", "sh zh", "ch", "sh", usw. Es unterstützt die Generierung reichhaltiger Gesichtsausdrücke, die auf den Emotionen und der Intonation im Audio basieren und das Video mitreißender machen.
• sprachübergreifende KompetenzJoyHallo ist in der Lage, neben Mandarin auch englische Videos zu generieren und unterstützt mehrsprachige Anwendungsszenarien wie z.B. Kundenservice für multinationale Unternehmen, internationales Bildungswesen usw., was ein breites Anwendungsspektrum ermöglicht.
• Effiziente StrukturenBasierend auf einer halb-entkoppelten Struktur werden die Prozesse der Einbettung von Audio-Merkmalen und der Video-Erzeugung getrennt, was die Inferenzgeschwindigkeit erheblich verbessert. Sie ist 14,31 TP3T schneller als beim traditionellen, vollständig gekoppelten Modell.
• Reichhaltige AnwendungsszenarienJoyHallo ist für eine Vielzahl von Branchen und Szenarien geeignet, darunter virtuelle Moderatoren (Nachrichtensendungen, Wettervorhersagen, Kommentare zu Sportereignissen), Online-Bildung (Sprachunterricht, Online-Kurse), Kundendienst (virtuelle Kundenbetreuer) und andere Szenarien.
• Open-Source-RessourceBereitstellung eines Open-Source-Datensatzes (jdh-Hallo-Datensatz) mit Mandarin-Videodatensätzen verschiedener Altersgruppen und Sprechstile, die alltägliche Gespräche und professionelle medizinische Themen abdecken. Das Projekt bietet detaillierte Modelltrainingsmethoden und Code, um Entwicklern die Anpassung und Optimierung zu erleichtern.

Für wen JoyHallo gedacht ist

• Ersteller von InhaltenVideoproduzenten und Social-Media-Fachleute können schnell hochwertige, personalisierte Videoinhalte erstellen, was Zeit und Kosten spart und die Attraktivität der Inhalte erhöht.
• ErzieherinErstellen von virtuellen Lehrerbildern für Online-Bildungsplattformen, Schulen und Ausbildungseinrichtungen, um die Lehrmittel zu bereichern und eine lebendige Unterrichtserfahrung zu ermöglichen.
• Unternehmen und MarkenDie Kundendienstabteilungen von Unternehmen erstellen virtuelle Kundendienstmitarbeiter, um die Servicezufriedenheit zu erhöhen; Marketingteams erstellen personalisierte Werbevideos, um die Attraktivität der Werbung zu steigern.
• Praktiker der UnterhaltungsindustrieFilm- und Fernsehproduktionsfirmen sowie Spieleentwicklungsfirmen zur Erstellung von Gesichtsanimationen von Charakteren, zur Verbesserung der Produktionseffizienz, zur Senkung der Produktionskosten und zur Verbesserung der Immersion und des Realismus der Arbeit.
• Forscher und EntwicklerForscher und Softwareentwickler auf dem Gebiet der künstlichen Intelligenz betreiben Forschung und Entwicklung, um technologische Fortschritte zu erzielen und Anwendungsszenarien zu erweitern.