TransRouter: una herramienta de conversión de audio en tiempo real para la traducción del chino al inglés basada en el modelo multimodal Gemini.

Introducción general

TransRouter es una aplicación de Google Géminis TransRouter es una herramienta de traducción de voz en tiempo real para grandes modelos, diseñada específicamente para la traducción de voz en tiempo real entre inglés y chino. Perfectamente integrado en programas de videoconferencia como Zoom, TransRouter emplea tecnología de procesamiento de secuencias para garantizar una baja latencia en el proceso de traducción, y cuenta con síntesis de voz automática. El sistema no sólo puede procesar señales de audio en tiempo real, sino también guardar automáticamente la grabación original y el audio sintetizado para su posterior revisión y grabación. El proyecto es completamente de código abierto, desarrollado en Python, con buena escalabilidad y personalización.

Lista de funciones

• Traducción de voz bidireccional en tiempo real entre chino e inglés
• Admite una integración perfecta con los principales programas de conferencias, como Zoom
• Traducciones de alta calidad con el macromodelo Google Gemini
• Procesamiento de audio en streaming de baja latencia
• Salida automática de síntesis de voz
• Permite guardar automáticamente las grabaciones originales y el audio traducido
• Proporcionar un sistema de registro completo
• Admite el enrutamiento de dispositivos de audio virtuales
• Parámetros de entrada y salida de audio configurables

Utilizar la ayuda

Preparación del entorno del sistema

1. Requisitos medioambientales básicos:
   • Python 3.8 o superior
   • Sistema operativo macOS
   • Conexión de red estable
   • Google Empresa de Internet API Géminis llaves
2. Configuración del dispositivo de audio:
   • Instale el dispositivo de audio virtual BlackHole:

     brew install blackhole-2ch
     

   • Configura los dispositivos de audio en Preferencias del Sistema:
     • Abra "Preferencias del Sistema > Sonido".
     • Compruebe que el dispositivo BlackHole 2ch está correctamente identificado
     • Configuración de los dispositivos de entrada y salida por defecto

Pasos de la instalación

1. Almacén de proyectos de clonación:

   git clone https://github.com/notedit/TransRouter.git
   cd TransRouter
   

2. Crear y activar un entorno virtual:

   python -m venv venv
   source venv/bin/activate  # macOS
   

3. Instale los paquetes de dependencia:

   pip install -r requirements.txt
   

4. Configurar variables de entorno:
   • haga una copia de .env.example archivo es .env
   • existe .env para establecer la clave API de Gemini:

     GEMINI_API_KEY=your_gemini_api_key
     

Guía de configuración de Zoom

1. Abrir el panel de configuración del zoom
2. Vaya a la opción Configuración de audio
3. Establecer el micrófono como dispositivo predeterminado del sistema
4. Ajusta los altavoces a "BlackHole 2ch".

Instrucciones de uso

1. Inicie el procedimiento:

   python transrouter.py
   

2. El programa se ejecuta automáticamente:
   • Inicializar un dispositivo de audio
   • Establecer una conexión con Google Gemini
   • Iniciar la captura y el procesamiento de audio
3. Gestión de documentos:
   • Los archivos de grabación se guardan en el recordings directorio (en el disco duro del ordenador)
   • El audio traducido sintetizado se guarda en el archivo synthesis directorio (en el disco duro del ordenador)
   • El registro de ejecución se guarda en el archivo logs directorio (en el disco duro del ordenador)
4. Controles operativos:
   • La información de estado en tiempo real se muestra mientras el programa está en marcha
   • Pulsa Ctrl+C para detener el programa de forma segura.
   • Guarda automáticamente todos los archivos de audio cuando se detiene

resolución de averías

1. Problemas con el equipo de audio:
   • Asegúrese de que BlackHole está correctamente instalado y configurado
   • Comprobación del estado de la identificación del dispositivo en los ajustes de audio del sistema
   • Verificación de la configuración de los ajustes de audio de Zoom
2. Problemas de traducción:
   • Confirme que la conexión a la red es estable
   • Compruebe que la clave API está configurada correctamente
   • Ver los archivos de registro para obtener mensajes de error detallados