Agenta : un outil pour évaluer les effets des mots repères et des modèles intégrés dans les applications d'IA

Introduction générale

Agenta est un outil de gestion de modèles d'IA open-source qui permet aux utilisateurs d'expérimenter facilement des mots-clés, de tester les effets des modèles et de surveiller les exécutions. Il convient aux personnes qui souhaitent développer rapidement des applications d'IA, en fournissant une plateforme simple à utiliser. Vous pouvez l'utiliser pour tester les effets de différents mots clés, comparer les réponses de plusieurs modèles d'IA et visualiser en temps réel les données d'exécution de l'application, telles que la vitesse et le coût.Agenta prend en charge de nombreux cadres d'IA courants, tels que LangChain, et est à la fois puissant et flexible. Comme il s'agit d'un logiciel libre, son utilisation est gratuite et vous pouvez trouver le code sur GitHub pour y apporter vos propres modifications. Il a maintenant plus de 2,1k likes sur GitHub, ce qui signifie qu'il est très populaire.

Liste des fonctions

• Mot clé zone expérimentale: Saisissez des mots-clés sur la page web pour tester différents modèles d'intelligence artificielle et comparer les résultats.
• Personnaliser le flux de tâchesLes tâches de l'IA : Vous pouvez créer votre propre flux de tâches d'IA, par exemple en demandant à un modèle de répondre à des questions sur la base d'informations.
• Test de l'effet de modèleLes outils permettent de vérifier la qualité des réponses au modèle, avec la possibilité d'une notation automatique ou de demander à quelqu'un de l'aider à examiner le modèle.
• Aide à l'inspection manuelleLes participants peuvent travailler avec l'équipe pour comparer les réponses des modèles et choisir les meilleures.
• Sauvegarde de la mémoireLes mots-clés : Sauvegardez les mots-clés qui ont fait leurs preuves et rappelez-les chaque fois que vous voulez les utiliser.
• Contrôle du fonctionnement en temps réelLes coûts d'utilisation de l'IA, sa rapidité d'exécution et les éventuels problèmes sont visibles sur le site.

Utiliser l'aide

Processus d'installation

Agenta peut être installé sur votre propre ordinateur et utilisé, ou vous pouvez utiliser le service en nuage. Voici les étapes pour l'installer sur votre ordinateur :

1. Préparation de l'environnement
   • Assurez-vous que votre ordinateur dispose de Docker et de Docker Compose, qui sont des outils essentiels pour l'exécution d'Agenta.
   • Linux ou macOS est préférable, les utilisateurs de Windows devront d'abord ouvrir WSL2.
   • Vérifiez que Python (3.10 ou plus recommandé) et Git sont installés, vous en aurez besoin plus tard.
2. Télécharger et lancer
   • Ouvrez un terminal et entrez la commande pour télécharger Agenta :

     mkdir agenta && cd agenta
     curl -L https://raw.githubusercontent.com/agenta-ai/agenta/main/docker-compose.gh.yml -o docker-compose.gh.yml
     

   • Démarrez ensuite le service :

     docker compose -f docker-compose.gh.yml up -d
     

   • Attendez quelques minutes, ouvrez votre navigateur et tapez http://localhost:3000et vous pourrez voir la page.
3. Options de réglage (en option)
   • Si vous ne souhaitez pas qu'Agenta recueille des données anonymes, vous pouvez modifier le paramètre agenta-web/.env placer le fichier TELEMETRY_TRACKING_ENABLED mis en place en tant que false.
   • Les utilisateurs qui se servent de la ligne de commande (CLI) peuvent modifier le paramètre ~/.agenta/config.tomlMise en place en tant que telemetry_tracking_enabled = false.
4. Vérifier qu'il est bien en place.
   • L'affichage de la page d'accueil d'Agenta dans votre navigateur est un signe de réussite.
   • Si vous souhaitez utiliser le nuage, vous pouvez voir comment vous connecter à AWS ou à d'autres services en nuage sur le site officiel.

Fonctionnement des principales fonctions

1) Zone expérimentale pour les mots clés

• Comment puis-je entrer ?Pour cela, vous devez vous connecter à Agenta et cliquer sur "Playground" dans le menu de gauche.
• repère: Tapez les mots que vous voulez essayer dans la case, par exemple "Rédiger une courte dissertation".
• modèleSélectionnez le modèle AI (par exemple GPT-4) dans la liste, et vous pouvez en sélectionner plusieurs pour la comparaison.
• résultats de la course (dans une course)Appuyez sur "Exécuter" pour voir les réponses des différents modèles.
• modifier et remplacerSi vous êtes satisfait de votre réponse, cliquez sur "Enregistrer".
• Où est-il utilisé ?Il est bon d'essayer le modèle qui répond le mieux à la question, ou d'ajuster le mot indicateur pour rendre la réponse plus précise.

2. créez votre propre flux de missions

• Processus de nouvelle constructionCliquez sur "Workflows", sélectionnez "New Workflow" et choisissez un type (par exemple, flux de questions-réponses).
• trucsLe champ d'application de la base de connaissances : Saisissez les informations nécessaires, telles que l'adresse de la base de connaissances ou les exigences de la tâche.
• Essayez-le.Tapez sur "Test" pour vérifier si le résultat est correct.
• Travail d'équipeLes résultats de l'analyse de l'impact sur l'environnement : Demandez à un collègue de modifier les paramètres ensemble et observez l'effet.
• sauvegarder et utiliserLes résultats de l'analyse des données de l'enquête ont été publiés dans le rapport de la Commission européenne sur les résultats de l'enquête.
• Où est-il utilisé ?L'IA est adaptée aux tâches complexes, comme la lecture d'informations et la réponse à des questions par l'IA.

3. tester l'efficacité du modèle

• commencer les testsCliquez sur "Évaluation" et sélectionnez "Nouvelle évaluation".
• sous-testLes tests d'évaluation : Choisissez un outil d'évaluation standard ou écrivez votre propre code de test.
• données en cours d'exécutionLe rapport d'évaluation s'affiche : posez quelques questions, cliquez sur "Exécuter" et un rapport d'évaluation apparaît.
• embaucher quelqu'un pour s'en occuperSi vous voulez vérifier manuellement, cliquez sur "Human Eval" et demandez à quelqu'un de choisir la réponse.
• voir comment les choses se passentLes tests sont suivis de graphiques qui indiquent si le modèle est bon ou non.
• Où est-il utilisé ?Le modèle peut être utilisé pour vérifier qu'il fonctionne, ou pour rechercher des problèmes.

4. le suivi des opérations

• Où chercherAppuyez sur "Surveillance" pour voir si l'intelligence artificielle fonctionne bien.
• Examinez les données.Les dépenses : pouvoir voir combien a été dépensé, à quelle vitesse cela s'est déroulé, et s'il y a eu des erreurs.
• piste d'auditLes demandes d'asile : Choisissez une demande et examinez les détails de chaque demande.
• problème de réparationSi quelque chose ne va pas, cliquez sur "Trace" pour en connaître la raison.
• Comment le modifier ?: Ajuster les mots-clés ou les paramètres en fonction des données afin d'améliorer le fonctionnement du système.
• Où est-il utilisé ?Il est bon de garder un œil sur les choses après leur mise en ligne pour s'assurer qu'elles sont correctes.

pointe

• réticulationLe téléchargement de Docker se bloquera si vous ne disposez pas d'un réseau stable au moment de l'installation.
• l'étendue de sa compétenceLes droits d'accès sont définis pour plusieurs utilisateurs et ne sont pas modifiables par quiconque.
• appel (à l'aide)Les questions peuvent être posées dans la documentation GitHub ou sur Slack.

Avec les étapes ci-dessus, vous pouvez rapidement commencer à utiliser Agenta, et il est facile d'accorder les mots-clés, de gérer les modèles et de consulter les données. Que vous jouiez seul ou que vous l'utilisiez pour une équipe, vous économiserez beaucoup d'efforts.