WebShaper - 阿里通义开源的AI训练数据合成系统

WebShaper是什么

WebShaper 是阿里巴巴通义实验室推出的 AI 训练数据合成系统，基于形式化建模和智能体扩展机制，生成高质量、可扩展的训练数据，助力 AI 智能体提升复杂信息检索能力。系统引入“知识投影”概念，用集合操作构造复杂问题结构，精准控制任务复杂度。其中 Expander 智能体能简单“种子问题”出发，逐步扩展为复杂推理任务，生成的训练数据可控且可解释。WebShaper 结合监督微调与强化学习策略，让模型在复杂任务中表现出色，适用文献整理、市场调研、智能学习助手、生活决策和医疗信息查询等场景。

WebShaper的主要功能

• 形式化建模：基于集合论的“知识投影”技术，将复杂的信息检索任务分解为多个集合操作（如交集、并集等），精准控制推理路径和任务复杂度，让问题结构更加清晰。
• 智能体扩展机制：基于 Expander 智能体，从简单的“种子问题”出发，逐步扩展成复杂的推理任务，结合搜索、摘要和验证工具，确保问题逻辑清晰且任务难度可控。
• 高质量数据生成：生成的训练数据具有可控性、可解释性和可扩展性，突破传统预检索数据的限制，减少错误和冗余信息，提升数据质量。
• Agent 训练策略：结合监督微调（SFT）和强化学习（如 GRPO 算法），基于高质量的训练轨迹和奖励机制，引导模型进行多步推理，避免“走捷径”或“猜答案”，提升模型在复杂任务中的表现。

WebShaper的官网地址

• Github仓库：https://github.com/Alibaba-NLP/WebAgent
• HuggingFace模型库：https://huggingface.co/datasets/Alibaba-NLP/WebShaper
• arXiv技术论文：https://arxiv.org/pdf/2507.15061

如何使用WebShaper

• 访问项目资源
  • Dépôts GitHub：访问 WebShaper 的 GitHub 仓库，这里提供了代码、文档和示例数据。
  • Hugging Face 数据集：访问 Hugging Face 上的 WebShaper 数据集，直接下载和使用生成的训练数据。
• Préparation de l'environnement
  • Installation des dépendances：根据 GitHub 仓库中的 requirements.txt 文件安装必要的 Python 包。

pip install -r requirements.txt

• • Définition des variables d'environnement：如果需要使用外部工具（如搜索引擎或API），确保正确配置相关环境变量。
• 运行 WebShaper: :
  • 运行 Expander 智能体：从简单的“种子问题”开始，逐步扩展生成复杂问题。

from webshaper.expander import Expander

# 初始化 Expander 智能体
expander = Expander()

# 定义种子问题
seed_question = "2020年NBA总冠军是哪支球队？"

# 逐步扩展问题
expanded_question = expander.expand(seed_question)
print(expanded_question)

• • 生成训练数据：通过扩展机制生成高质量的训练数据。

from webshaper.data_generator import DataGenerator

# 初始化数据生成器
data_generator = DataGenerator()

# 生成训练数据
training_data = data_generator.generate(expanded_question)
print(training_data)

• Modèles de formation：结合监督微调（SFT）和强化学习（如 GRPO）训练 AI 模型。

from webshaper.trainer import Trainer

# 初始化训练器
trainer = Trainer()

# 训练模型
model = trainer.train(training_data)

WebShaper的核心优势

• 高质量数据生成：生成的训练数据具有高度的可控性、可解释性和可扩展性，能精准构造复杂问题结构，减少错误和冗余信息。
• 创新的形式化建模：基于集合论的“知识投影”概念，WebShaper 将复杂任务分解为集合操作，精准控制任务复杂度，让问题结构更加清晰。
• 智能体扩展机制：WebShaper 的 Expander 智能体能从简单“种子问题”出发，逐步扩展为复杂任务，确保生成问题的逻辑一致性和任务难度可控。
• 高效的训练策略：结合监督微调（SFT）和强化学习（GRPO），WebShaper 的训练策略用奖励机制引导模型进行多步推理，避免“走捷径”，提升推理能力。
• Large éventail de scénarios d'application：适用文献整理、市场调研、智能学习助手、生活决策和医疗信息查询等多种场景，提供个性化信息支持。

WebShaper的适用人群

• AI 研究人员：用在生成高质量训练数据，提升 AI 模型在复杂推理任务中的表现，助力前沿研究。
• 数据科学家：高效生成和优化训练数据，减少数据标注和清洗工作，提升模型性能。
• 自然语言处理（NLP）开发者：生成复杂自然语言任务，提升模型对多跳推理和复杂逻辑的理解能力，开发智能问答系统等。
• 企业分析师：快速收集和整理行业数据，自动生成市场调研任务，支持决策制定。
• éducateur：生成个性化学习任务，帮助学生进行深度学习和研究性学习，开发智能学习助手。