Crawl4LLM: uma ferramenta eficiente de rastreamento da Web para pré-treinamento de LLM综合介绍 Crawl4LLM 是一个由清华大学和卡内基梅隆大学联合开发的开源项目,专注于优化大模型(LLM)预训练的网页爬取效率。它通过智能选择高质量网页数据,显著减少无效爬取,号称能将原本需要爬取1...Ferramentas de IA mais recentes# Projeto de código aberto AI Java# Extração e limpeza de documentos3 meses atrás05760
Markdownify MCP Server: converte vários conteúdos no formato Markdown com base no protocolo MCP.综合介绍 Markdownify MCP Server 是一个基于 Model Context Protocol(模型上下文协议)的开源工具,托管于 GitHub,由开发者 Zach Caceres ...Ferramentas de IA mais recentes# Projeto de código aberto AI JavaServiços de MCP ## Extração e limpeza de documentos3 meses atrás07090
CodeWeaver: gere automaticamente documentos Markdown a partir da estrutura e do conteúdo do código.综合介绍 CodeWeaver 是一个命令行工具,旨在将代码库编织成单个、易于浏览的Markdown文档。它通过递归扫描目录,生成项目文件层次结构的结构化表示,并在代码块中嵌入每个文件的内容。这款工具...Ferramentas de IA mais recentes# Projeto de código aberto AI Java# Extração e limpeza de documentos3 meses atrás05220
Kreuzberg: ferramenta de código aberto para extrair texto de qualquer documento综合介绍 Kreuzberg是一个用于简化PDF文件文本提取的库,旨在提供简单、无忧的文本提取解决方案。该库特别适合需要进行文本提取的RAG(Retrieval-Augmented Generatio...Ferramentas de IA mais recentes# Projeto de código aberto AI Java# Extração e limpeza de documentos4 meses atrás07010
Instrutor: uma biblioteca Python para simplificar fluxos de trabalho de saída estruturada para grandes modelos de linguagem综合介绍 Instructor 是一个流行的 Python 库,专为处理大语言模型(LLMs)的结构化输出而设计。它基于 Pydantic 构建,提供了一个简单、透明且用户友好的 API,用于管理数据...Ferramentas de IA mais recentes# Projeto de código aberto AI Java# Extração e limpeza de documentos4 meses atrás07040
zChunk: uma estratégia genérica de fragmentação semântica baseada no Llama-70B综合介绍 zChunk是由ZeroEntropy开发的一种新型分块策略,旨在为通用语义分块提供解决方案。该策略基于Llama-70B模型,通过提示生成分块,优化了文档的分块过程,确保在信息检索时保持高...Ferramentas de IA mais recentes# Projeto de código aberto AI Java# Extração e limpeza de documentos4 meses atrás05850
Pulse: Soluções de negócios para processamento de documentos e extração de dados综合介绍 Pulse 是一个专注于文档处理和数据提取的智能平台,旨在帮助企业和开发者高效地解析和处理各种复杂文档。通过其先进的计算机视觉和多模态处理技术,Pulse 能够准确地从文本、图像、表格等多种...Ferramentas de IA mais recentes# Extração e limpeza de documentos4 meses atrás06910
Rowfill: extração em lote de informações estruturadas de documentos e análise automatizada综合介绍 Rowfill 是一个开源的文档处理平台,专为知识工作者设计。它利用先进的人工智能技术,从复杂的文档、图像和PDF中提取、分析和处理数据。Rowfill 支持本地大语言模型(LLM)和Ope...Ferramentas de IA mais recentes# Projeto de código aberto AI Java# Análise de dados de IA# Extração e limpeza de documentos4 meses atrás06960
PPTX2MD: ferramenta especial para converter arquivos PPTX em Markdown综合介绍 PPTX2MD是一个开源工具,旨在将PowerPoint的PPTX文件转换为Markdown格式。该工具由GitHub用户ssine开发,支持保留标题、列表、文本格式(如粗体、斜体、颜色和超...Ferramentas de IA mais recentes# Projeto de código aberto AI Java# Extração e limpeza de documentos4 meses atrás08710
Repomix: empacotamento da base de código em um arquivo de texto para recuperação de modelos grandes综合介绍 Repomix(前称Repopack)是一款开源工具,专门用于将整个代码库打包成一个单一的、AI友好的文件。这个工具可以让开发者轻松地将他们的代码库提供给大语言模型(如Claude、Chat...Ferramentas de IA mais recentes# Projeto de código aberto AI Java# Extração e limpeza de documentos4 meses atrás01.2K0
Yek: leitura de arquivos de texto do repositório git e sua rápida divisão em pedaços para modelos grandes综合介绍 Yek 是一个基于 Rust 的快速工具,用于读取存储库或目录中的文本文件,将其分块并序列化以供大型语言模型(LLM)使用。该工具默认使用 .gitignore 规则跳过不需要的文件,并利用...Ferramentas de IA mais recentes# Projeto de código aberto AI Java# Extração e limpeza de documentos4 meses atrás09720
LlamaParse: serviço de análise de documentos e extração de dados de alta qualidade da Llamaindex (1.000 páginas gratuitas por dia).综合介绍 LlamaParse 是一个强大的文档解析工具,能够处理复杂的文档如 PDF、PowerPoint、Word 文档和电子表格,并将其转换为结构化数据。LlamaParse 提供多种使用方式...Ferramentas de IA mais recentes# Serviços abertos de IA# Extração e limpeza de documentos4 meses atrás09740
UnDatas.IO: serviço de API para análise precisa de vários tipos de dados não estruturados (pago)综合介绍 UnDatas.IO 是一个专注于解析和处理非结构化数据的平台。它利用先进的技术,自动识别文档布局,分类表格、图像、公式和文本,极大地简化了数据处理流程。该平台不仅能够节省大量的数据整理时间...Ferramentas de IA mais recentes# Serviços abertos de IA# Extração e limpeza de documentos4 meses atrás08370
Zerox: PDF, DOCX, conversão de imagem para Markdown, OCR de alta precisão de modelo visual综合介绍 Zerox是一个开源项目,旨在通过视觉模型将PDF、DOCX、图像等文件转换为Markdown格式。该项目由getomni-ai团队开发,提供了简单高效的OCR(光学字符识别)解决方案。Ze...Ferramentas de IA mais recentes# Projeto de código aberto AI Java# Extração e limpeza de documentos4 meses atrás01K0
SemHash: implementação rápida de desduplicação de texto semântico para melhorar a eficiência da limpeza de dados综合介绍 SemHash 是一个轻量级且灵活的工具,用于通过语义相似性来去重数据集。它结合了 Model2Vec 的快速嵌入生成和 Vicinity 的高效 ANN(近似最近邻)相似性搜索。SemHa...Ferramentas de IA mais recentes# Projeto de código aberto AI Java# Extração e limpeza de documentos4 meses atrás09440
Parseur: extração automatizada de dados de documentos, extração de texto estruturado de vários documentos综合介绍 Parseur是一款领先的AI数据提取软件,旨在帮助用户从PDF、电子邮件和其他文档中自动提取文本数据。通过Parseur,用户可以轻松地将非结构化数据转换为结构化数据,并将其发送到各种应用...Ferramentas de IA mais recentes# Extração e limpeza de documentos5 meses atrás09290
Funções de IA: um serviço (API) para converter conteúdo de entrada em saídas estruturadas综合介绍 Weco AI Functions 是一个强大的平台,旨在帮助用户快速构建和部署AI功能。通过简单的描述任务,用户可以生成结构化的输出模式,并进行A/B测试和观察性监控。该平台支持无代码原型...Ferramentas de IA mais recentes# Serviços abertos de IA# Extração e limpeza de documentos4 meses atrás07810
NV Ingest: análise de documentos de formato complexo e extração de dados multimodais em metadados e texto综合介绍 NV Ingest(NVIDIA Ingest) 是一套早期访问的微服务,专为解析数十万复杂、混乱的非结构化 PDF 和其他企业文档而设计。它能够将这些文档转换为元数据和文本,以便嵌入到检索...Ferramentas de IA mais recentes# Projeto de código aberto AI Java# Extração e limpeza de documentos5 meses atrás01.1K0
Trellis: converte documentos não estruturados em dados estruturados no formato EXCEL, PDF de forma rápida (pago)综合介绍 Trellis是一款专注于将复杂的非结构化数据源转换为结构化SQL格式的数据平台。通过其强大的AI引擎,Trellis能够处理金融文档、语音通话和电子邮件等多种数据源,并将其转换为可供数据和...Ferramentas de IA mais recentes# Extração e limpeza de documentos5 meses atrás08110