Agrégateur : plateforme unique de recherche et d'agrégation d'agents, pool d'agents gratuits (à utiliser dans le respect des règles).

Introduction générale

Aggregator 是一个开源项目，旨在打造一个免费代理池，能够爬取各种可用的代理节点。该平台具有灵活的插件系统，用户可以根据目标网站的特殊需求，通过插件实现特定功能。项目主要用于学习爬虫技术，禁止用于任何违法活动。

Liste des fonctions

• 代理池构建：自动爬取并聚合多个来源的代理节点，形成一个高质量的代理池。
• système enfichable：支持用户自定义插件，以应对不同网站的特殊需求。
• l'automatisation：包括自动签到、自动注册、订阅聚合等功能，简化用户操作。
• 多协议支持：支持多种代理协议，如 HTTP、HTTPS、SOCKS 等。
• 开源与社区支持：项目开源，用户可以自由修改和扩展功能，并通过社区获得支持。

Utiliser l'aide

Processus d'installation

1. Préparation de l'environnement：确保已安装 Python 3.6 及以上版本。
2. projet de clonage: Utilisation git clone https://github.com/wzdnzd/aggregator 命令将项目克隆到本地。
3. Installation des dépendances：进入项目目录，运行 pip install -r requirements.txt 安装所需依赖。
4. fichier de configurationModifier le cas échéant config.yaml 配置文件，设置爬取目标和代理池参数。
5. Projets en cours：执行 python collect.py 开始爬取代理节点，执行 python process.py 处理并聚合代理。

Processus d'utilisation

1. 启动爬虫: Run python collect.py 开始爬取代理节点，系统会自动根据配置文件中的设置进行爬取。
2. 处理数据: Run python process.py 对爬取到的代理节点进行处理和筛选，确保代理池的高质量。
3. 插件使用：根据目标网站的需求，编写或使用现有插件，放置在 plugins 目录下，系统会自动加载并执行。
4. l'automatisation：配置自动签到、自动注册等功能，运行相应的脚本实现自动化操作。
5. Voir les résultats：处理完成后，代理池数据会保存在指定文件中，用户可以根据需要进行使用。

Procédure d'utilisation détaillée

• 代理池构建：系统会定期爬取多个来源的代理节点，并对其进行筛选和验证，确保代理池的高质量和可用性。
• système enfichable：用户可以根据目标网站的特殊需求，编写自定义插件，放置在 plugins 目录下，系统会自动加载并执行这些插件。
• l'automatisation：通过配置文件设置自动签到、自动注册等功能，系统会定期执行这些操作，简化用户的日常操作。
• 多协议支持：系统支持 HTTP、HTTPS、SOCKS 等多种代理协议，用户可以根据需要选择合适的代理协议进行使用。