文档提取与清洗

综合介绍 Ollama OCR是一个强大的光学字符识别(OCR)工具包，它利用Ollama平台提供的最先进视觉语言模型来从图像中提取文本。该项目既可作为Python包使用，也提供了用户友好的Strea...

综合介绍 Docling 是一个强大的文档解析和导出工具，支持多种文档格式，包括 PDF、DOCX、PPTX、XLSX、图像、HTML、AsciiDoc 和 Markdown。它能够将这些文档解析并导...

综合介绍 GitIngest 是一个开源工具，旨在将 GitHub 代码库转化为适合大语言模型（LLM）提示的文本。通过简单的操作，用户可以将任何 GitHub 仓库的内容提取并格式化为适合 LLM ...

综合介绍 MarkItDown是由微软开发的一个Python工具，旨在将各种文件和办公文档转换为Markdown格式。该工具支持多种文件类型，包括PDF、PowerPoint、Word、Excel、图...

综合介绍 MinerU是由上海人工智能实验室OpenDataLab团队开发的一款开源数据提取工具，专注于从复杂的PDF文档、网页和电子书中高效提取内容。它能够将包含图片、公式、表格等元素的多模态PDF...

综合介绍 Marker 是一个基于深度学习的文档处理工具，旨在将 PDF 文件快速准确地转换为 Markdown 格式。它支持多种文档类型，特别优化了书籍和科学论文的转换。Marker 能够去除页眉页...

综合介绍 Mathpix 是一款强大的 AI 驱动文档自动化工具，专为科研人员、开发者和企业设计。它能够快速准确地将 PDF 和图像转换为可搜索、可导出和机器可读的文本。Mathpix 提供了多种功能...

综合介绍 MegaParse 是一个强大且多功能的文件解析工具，专为大语言模型（LLM）的数据处理优化而设计。无论是处理文本、PDF、PowerPoint 演示文稿还是 Word 文档，MegaPar...

综合介绍 Jina AI的Reader项目是一个开源工具（Reader 开源地址），可将任何URL通过添加前缀https://r.jina.ai/转换成适合大型语言模型(Large Languag...

综合介绍 GPT-Crawler 是由 BuilderIO 团队开发的一个开源工具，托管在 GitHub 上。它通过输入一个或多个网站 URL，爬取页面内容，生成结构化的知识文件（output.jso...

综合介绍 Datalab 提供了一系列先进的AI模型，专注于OCR、布局分析、PDF转Markdown等功能。这些模型不仅性能卓越，而且易于使用，并且是开源的。平台上的Marker模型可以快速准确地将...

综合介绍 Chonkie 是一个轻量级且高效的 RAG（Retrieval-Augmented Generation）文本切块库，旨在帮助开发者快速、简便地对文本进行分块处理。该库支持多种分块方法，包...

综合介绍 文本提取API（text-extract-api）是一个强大的工具，旨在从各种文档格式（如PDF、Word、PPTX等）中提取和解析内容。该API利用最先进的光学字符识别（OCR）技术和Ol...

综合介绍 Parsio 是一款基于 AI 技术的文档和邮件数据提取工具，能够自动从 PDF、电子邮件及其他文档中提取结构化数据。该平台提供强大的 PDF 解析器和 OCR 功能，支持多种文档类型，包括...

综合介绍 Unstructured-IO 提供了一系列开源组件，用于处理和预处理图像和文本文档，如 PDF、HTML、Word 文档等。其主要目标是简化和优化数据处理工作流程，特别是为大语言模型（LL...

综合介绍 llmstxt-generator 是一个专业的网站内容提取和整合工具，专门为大语言模型(LLM)的训练和推理准备高质量文本数据集。该工具由 Mendable AI 开发，采用 @firec...

综合介绍 Repomix（前称Repopack）是一款开源工具，专门用于将整个代码库打包成一个单一的、AI友好的文件。这个工具可以让开发者轻松地将他们的代码库提供给大语言模型（如Claude、Chat...

综合介绍 Maxun是一个开源的无代码网页数据提取平台，用户可以在几分钟内训练机器人，自动抓取网页数据并将其转换为API或电子表格。该平台支持分页和滚动，能够适应网站布局的变化，提供强大的数据抓取功能...

综合介绍 OmniParse是一个强大的数据解析与优化平台，旨在将任何非结构化数据转换为结构化、可操作的数据，优化后适用于GenAI（生成式人工智能）框架。无论是处理文档、表格、图像、视频、音频文件还...