STORM 활용: 인터넷 검색 기반 위키피디아 스타일 문서 작성 구축하기

논문:https://arxiv.org/abs/2402.14207

LLM에게 신뢰할 수 있는 출처를 바탕으로 처음부터 긴 기사를 작성하도록 가르칠 수 있나요?
위키피디아 편집자들은 이것이 도움이 될 것이라고 생각하나요?
인터넷 검색을 기반으로 위키피디아 스타일의 기사를 작성하는 시스템인 STORM을 소개합니다. 저는 이제 매일 연구할 때 STORM을 사용합니다!

인용이 포함된 긴 기사를 작성하는 것은 어렵고 평가하기도 어렵습니다!

이를 두 단계로 나누어 설명합니다:
1️⃣ 시스템이 참조를 수집하고 개요를 생성하는 사전 작성.
2️⃣ 글쓰기, 시스템에서 인용이 포함된 최종 기사를 생성합니다.

'사전 글쓰기'는 처음부터 주제를 조사하는 것입니다.
이는 인간 전문가에게도 어려운 일입니다. 언어 모델 생성 문제를 직접 묻는 방식은 효과가 없습니다! 이러한 문제는 깊이가 부족하고 폭이 제한적입니다.
STORM은 **좋은 질문을 던지는** 언어 모델링을 가르치는 것을 목표로 합니다.

STORM은 연구 주제에 대한 관점을 자동으로 발견하고 프롬프트에 관점을 추가하여 질문을 개선합니다. 또한 정보 탐색 대화를 시뮬레이션하여 더 심도 있는 후속 질문을 유도합니다.

평가용 LM 학습 데이터에 대한 데이터 유출을 줄이기 위해 FreshWiki를 구축했습니다.
품질을 측정하기 위해 제목의 소프트 리콜과 제목의 엔티티 리콜을 도입했습니다. 개요 평가를 통해 프로토타이핑 방법을 더 쉽게 미리 작성할 수 있습니다.
STORM은 잘 설계된 RAG 기준선보다 우수합니다!

최종 작성 단계에서 STORM은 인용이 포함된 텍스트를 생성하고 전체 기사를 섹션별로 작성합니다.

그대로 두세요(SB에게) STORM 생성된 기사는 자동화된 메트릭 *과* 숙련된 위키백과 편집자들이 선호합니다!

이러한 예시 글은 항상 사실에 근거해야 합니다.
우리는 인용 품질을 평가하고 위키백과 편집자들에게 검증 가능성을 평가해 달라고 요청했습니다. 그 결과, 가장 큰 문제는 널리 논의되는 사실적 착각에서 대화를 전환하는 데서 비롯된다는 사실을 발견했습니다.
이를 위해서는 사실 확인 이상의 연구가 필요합니다!

또한 위키백과 편집자들에게 STORM의 유용성에 대해 질문했습니다. 놀랍게도 모든 참가자가 STORM이 글쓰기 전 단계에서 도움이 된다는 데 동의했습니다. 또한, 저 역시 STORM을 사용하여 연구에 필요한 개념을 더 깊이 파고들었습니다(데모 동영상을 보지 않으셨다면 여기를 클릭하세요).

STORM은 하나의 팁이나 모델이 아니라 잘 설계된 지식 관리 파이프라인이라는 점에 주목할 필요가 있습니다.
저희는 매우 깔끔한 모듈성을 제공하는 DSPy를 사용하여 STORM을 구축하는데, 이를 통해 수많은 힌트 파일에서 길을 잃지 않고 작업을 계속 확장할 수 있습니다.