Tirer parti de STORM : construction d'un article de type Wikipedia pour la rédaction basée sur la recherche Internet

Thèse :https://arxiv.org/abs/2402.14207

Pouvons-nous enseigner aux titulaires d'une maîtrise en droit à rédiger de longs articles à partir de zéro, en s'appuyant sur des sources fiables ?
Les éditeurs de Wikipédia pensent-ils que cela les aidera ?
📣 Annonce de STORM, un système de rédaction d'articles de type Wikipédia basé sur des recherches Internet. J'utilise désormais STORM dans mes recherches quotidiennes !

Générer de longs articles avec des citations est difficile à faire et à évaluer !

Nous procédons en deux étapes :
1️⃣ Pré-rédaction au cours de laquelle le système collecte des références et génère un plan.
2️⃣ rédaction, dans laquelle le système génère l'article final avec des citations.

La "pré-écriture" consiste à faire des recherches sur un sujet à partir de zéro.
Cette tâche est difficile, même pour les experts humains. Demander directement aux modèles linguistiques de générer des questions ne fonctionne pas ! Ces problèmes manquent de profondeur et ont une portée limitée.
STORM vise à enseigner la modélisation linguistique **pose de bonnes questions**.

STORM améliore le questionnement en découvrant automatiquement des points de vue sur des sujets de recherche et en ajoutant des points de vue aux questions. Il simule également des dialogues de recherche d'informations afin d'encourager des questions de suivi souvent plus approfondies.

Nous avons construit FreshWiki pour réduire les fuites de données dans les données d'entraînement LM pour l'évaluation.
Pour mesurer la qualité, nous avons introduit le rappel souple des titres et le rappel des entités des titres. L'évaluation des grandes lignes facilite la pré-écriture de méthodes de prototypage.
STORM est supérieur à une ligne de base RAG bien conçue !

Lors de la phase finale de rédaction, STORM génère un texte avec des citations et rédige l'article complet section par section.

laisser (à qqn) STORM Les articles générés sont favorisés par les métriques automatiques *et* les éditeurs expérimentés de Wikipedia !

Cet écrit illustratif doit toujours être ancré dans les faits.
Nous avons évalué la qualité des citations et demandé aux éditeurs de Wikipédia d'évaluer la vérifiabilité. Nous avons constaté que le principal défi consiste à détourner la conversation des illusions factuelles largement débattues.
Cela nécessite des recherches qui vont au-delà de la vérification des faits !

Nous avons également interrogé les éditeurs de Wikipédia sur l'utilité perçue de STORM. Il est intéressant de noter que tous les participants ont reconnu que STORM était utile dans leur phase de pré-écriture. En outre, j'utilise moi-même STORM pour approfondir les concepts de ma recherche (si vous n'avez pas encore vu notre vidéo de démonstration, cliquez ici).

Il convient de noter que STORM est une filière de gestion des connaissances bien conçue, et non un conseil ou un modèle unique.
Nous utilisons DSPy pour construire STORM, qui offre une modularité très soignée - ce qui nous permet de continuer à étendre notre travail sans nous perdre dans un grand nombre de fichiers d'indices.