Maestro: una herramienta para simplificar el proceso de ajuste de modelos de los principales lenguajes visuales de código abierto

Introducción general

Maestro es una herramienta desarrollada por Roboflow para simplificar y acelerar el proceso de ajuste fino de modelos multimodales, de modo que todo el mundo pueda entrenar sus propios modelos visuales. Proporciona recetas ya preparadas para el ajuste fino de los modelos de lenguaje visual (VLM) más populares, como Florence-2, PaliGemma 2 y Qwen2.5-VL. Maestro permite a los usuarios realizar el ajuste fino del modelo de manera más eficiente al encapsular las mejores prácticas en los módulos principales que se ocupan de la configuración, la carga de datos, la reproducibilidad y los ajustes del bucle de entrenamiento.

Lista de funciones

• gestión de la configuración: Maneja automáticamente el archivo de configuración del modelo, simplificando el proceso de configuración.
• Carga de datosSoporte para múltiples formatos de datos, preprocesamiento y carga de datos automatizados.
• Configuración del ciclo de entrenamientoPermite estandarizar los ciclos de formación para garantizar la repetibilidad del proceso de formación.
• fórmula ya preparada: Proporciona una variedad de recetas de ajuste para modelos que los usuarios pueden utilizar directamente.
• Interfaz de línea de comandos (CLI)El proceso de ajuste fino se inicia con una simple instrucción en la línea de comandos.
• API de Python: Proporciona una interfaz Python flexible que permite personalizar el proceso de ajuste.
• Libros de cocinaTutoriales detallados y ejemplos para ayudar a los usuarios a empezar rápidamente.

Utilizar la ayuda

Proceso de instalación

1. Creación de un entorno virtualComo diferentes modelos pueden tener dependencias conflictivas, se recomienda crear un entorno Python dedicado para cada modelo.

   python -m venv maestro_env
source maestro_env/bin/activate

2. Instalación de dependenciasInstala las dependencias específicas del modelo según sea necesario.

   pip install "maestro[paligemma_2]"

Uso de la interfaz de línea de comandos (CLI)

1. preparación y puesta a puntoInicie el proceso de ajuste mediante la interfaz de línea de comandos, especificando parámetros clave como la ubicación del conjunto de datos, el número de rondas de entrenamiento, el tamaño del lote, la estrategia de optimización y las métricas de evaluación.

   maestro paligemma_2 train \
--dataset "dataset/location" \
--epochs 10 \
--batch-size 4 \
--optimization_strategy "qlora" \
--metrics "edit_distance"

Uso de la API de Python

1. Importación de funciones de formación: Importe la función de entrenamiento del módulo correspondiente y defina la configuración en el diccionario.

   from maestro.trainer.models.paligemma_2.core import train
config = {
"dataset": "dataset/location",
"epochs": 10,
"batch_size": 4,
"optimization_strategy": "qlora",
"metrics": ["edit_distance"]
}
train(config)

Uso de libros de cocina

Maestro proporciona detallados Libros de Cocina para ayudar a los usuarios a aprender cómo afinar diferentes VLMs en una variedad de tareas visuales. por ejemplo:

• Ajuste de Florence-2 para la detección de objetivos con LoRA
• Puesta a punto de PaliGemma 2 para la extracción de datos JSON con LoRA
• Ajuste con QLoRA Qwen2.5-VL Realizar la extracción de datos JSON