Avatarify Python : Appels vidéo avec des avatars en vidéoconférence

Introduction générale

Avatarify Python est un outil de vidéoconférence IA open source basé sur la technologie First Order Motion Model (modèle de mouvement de premier ordre) qui permet d'associer les expressions faciales et les mouvements d'un utilisateur à n'importe quel avatar en temps réel. Il est pris en charge par divers logiciels de vidéoconférence tels que Zoom, Skype, Teams, etc., ce qui permet aux utilisateurs de passer des appels vidéo avec des avatars au lieu d'utiliser des caméras réelles. L'outil permet non seulement d'utiliser des avatars de célébrités prédéfinis, mais aussi d'ajouter des avatars personnalisés et même d'utiliser des avatars de personnages virtuels générés par l'IA. Une webcam virtuelle est créée lorsque le système fonctionne et peut être utilisée dans n'importe quelle application prenant en charge une source d'entrée vidéo personnalisée.

Liste des fonctions

• Expressions faciales et mouvements en temps réel, mappés sur des avatars virtuels
• Prise en charge d'un large éventail d'avatars de célébrités prédéfinis et d'avatars personnalisés
• Intégration des avatars d'IA générés par StyleGAN
• Fonction de zoom et de réglage de la position de l'écran de la caméra
• Prise en charge de la prévisualisation de l'avatar pour son repositionnement
• Possibilité de passer rapidement d'un avatar à l'autre (touches de raccourci 1-9)
• Prise en charge de la prévisualisation et de l'écran de sortie en miroir
• Fonction d'affichage des points de repère faciaux pour faciliter l'alignement
• Prise en charge par les principaux logiciels de vidéoconférence
• Choix d'un fonctionnement local ou d'une accélération à distance du GPU

Utiliser l'aide

exigences du système

1. Exigences de base en matière de configuration :
   • Une carte graphique NVIDIA (performances recommandées) est nécessaire pour le fonctionnement local :
     • GeForce GTX 1080 Ti : 33 fps
     • GeForce GTX 1070 : 15 fps
     • GeForce GTX 950 : 9 images/sec.
   • Si vous n'avez pas de carte graphique NVIDIA, c'est une option :
     • Travailler à distance avec Google Colab
     • Utilisation de serveurs distants avec des GPU
     • Fonctionne sur l'unité centrale (performances moindres, <1fps)

Étapes de l'installation

1. Installation du système Windows :
   • Installation de Miniconda Python 3.8
   • Installation de Git
   • Ouvrez l'invite Anaconda et exécutez-la :

     git clone https://github.com/alievk/avatarify-python.git
     cd avatarify-python
     scripts\install_windows.bat
     

   • Téléchargez le fichier de poids du modèle dans le répertoire avatarify-python.
   • Installation des plug-ins OBS Studio et VirtualCam
2. Installation du système Linux :

   git clone https://github.com/alievk/avatarify-python.git
   cd avatarify-python
   bash scripts/install.sh
   

3. Installation du système Mac :
   • Installation de Miniconda Python 3.7
   • Installation de CamTwist
   • Exécuter le script d'installation :

     git clone https://github.com/alievk/avatarify-python.git
     cd avatarify-python
     bash scripts/install_mac.sh
     

Lignes directrices pour l'utilisation

1. Lancer la procédure :
   • Windows : Exécuterrun_windows.bat
   • Linux : en cours d'exécutionbash run.sh
   • Mac : Suivre les instructions de Google Colab ou de Remote Server
2. Contrôles opérationnels :
   • Touches numériques 1 à 9 : Permet de passer rapidement d'un avatar à l'autre.
   • Clé Q : Activer les avatars aléatoires générés par l'IA
   • Touche 0 : Afficher/masquer l'avatar
   • Touche A/D : passage à l'avatar précédent/suivant
   • Touche W/S : Zoom avant/arrière sur l'écran de la caméra
   • Touches U/H/J/K : haut/gauche/bas/droite pour déplacer l'écran de la caméra
   • Touche Z/C : Ajuster la transparence de l'avatar
   • Touche X : réinitialisation du cadre de référence
   • Touche F : Changement de mode de recherche du cadre de référence
   • Touche O : afficher/masquer les points caractéristiques du visage
   • Touche ESC : quitter le programme
3. Conseils de conduite pour Avatar :
   • La position et les proportions du visage dans le cadre de la caméra doivent être aussi proches que possible de l'avatar cible.
   • Faire correspondre les expressions à l'aide de la fonction de transparence (touche Z/C) ou de l'affichage des points caractéristiques du visage (touche O).
   • Vous pouvez utiliser la touche F pour permettre au logiciel de trouver automatiquement un meilleur cadre de référence.
4. Utilisé dans les logiciels de vidéoconférence :
   • Zoom : Paramètres -> Vidéo -> Sélectionner une caméra virtuelle
   • Skype : Paramètres -> Audio et vidéo -> Sélectionner la caméra virtuelle
   • Équipes : Image de profil -> Paramètres -> Appareils -> Sélectionner la caméra virtuelle
   • Slack : Passer un appel -> Autoriser le navigateur à utiliser la caméra -> Paramètres -> Sélectionner la caméra virtuelle