Dolphin - 字节跳动开源的轻量级文档解析大模型

67 0

Dolphin是什么

Dolphin 是字节跳动开源的轻量级文档解析大模型，具有322M参数，体积小且运行速度快。模型基于两阶段解析方法，基于页面级布局分析识别文档中的元素（如标题、表格、公式等），再对每个元素进行内容解析，模型支持文本、公式、表格等多种元素的提取，支持输出JSON、Markdown、HTML等格式。Dolphin 适用学术研究、商业办公、教育、技术开发等多种场景，能高效处理学术论文、商业报告、技术文档等，助力文档数字化与信息提取，提升办公效率。

Dolphin的主要功能

レイアウト分析：精准识别文档中的标题、图表、表格、脚注等各类元素，依据自然阅读顺序，生成清晰的元素序列，为后续内容解析奠定基础。
内容抽出：将文档页面解析为结构化的JSON或Markdown格式，便于后续处理与展示。
文本解析：准确提取文档中的文本内容，涵盖中文、英文等多种语言。
数式認識：支持复杂行内公式和块级公式的识别，输出为LaTeX格式，方便学术和技术文档处理。
表格解析：支持解析复杂表格结构，提取单元格内容生成HTML格式表格，满足多种应用场景需求。
軽量アーキテクチャ：模型参数量为322M，体积小、速度快，适合在资源受限的设备或环境中使用。
多样化输入输出：支持学术论文、商业报告、技术文档等多种文档图像输入，解析结果支持输出为JSON、Markdown、HTML等多种格式，便于与不同系统集成。

Dolphin的官网地址

GitHubリポジトリ::https://github.com/bytedance/Dolphin
HuggingFaceモデルライブラリ::https://huggingface.co/ByteDance/Dolphin
arXivテクニカルペーパー::https://arxiv.org/pdf/2505.14059
在线体验Demo::http://115.190.42.15:8888/dolphin/

如何使用Dolphin

在线体验Demo：访问Dolphin在线体验Demo地址，用户直接上传文档图像进行解析，无需安装或配置任何环境。
GitHub仓库部署::
- クローン倉庫::

git clone https://github.com/bytedance/Dolphin.git
cd Dolphin

- 依存関係のインストール::

pip install -r requirements.txt

- 訓練済みモデルのダウンロード：根据GitHub仓库中的说明，下载、解压预训练模型文件。
- 実行コード：按照仓库中的示例代码运行Dolphin。例如：

from dolphin import DolphinParser

parser = DolphinParser(model_path="path/to/model")
result = parser.parse(image_path="path/to/document.jpg")
print(result)

Hugging Face模型库::
- 安装 Hugging Face 库::

pip install transformers

- 積載モデル::

from transformers import AutoModelForDocumentParsing, AutoFeatureExtractor

model_name = "ByteDance/Dolphin"
model = AutoModelForDocumentParsing.from_pretrained(model_name)
feature_extractor = AutoFeatureExtractor.from_pretrained(model_name)

# 加载文档图像并进行预处理
image = feature_extractor(images="path/to/document.jpg", return_tensors="pt")

# 进行解析
outputs = model(**image)
# 处理输出结果