文档解析技能

概述

本技能利用 docling（IBM 最先进的文档理解库）实现高级文档解析。可解析复杂的 PDF、Word 文档和图像，同时保留结构、提取表格、图形，并处理多栏布局。

使用方法

提供要解析的文档
指定要提取的内容（文本、表格、图形等）
我将解析文档并返回结构化数据

示例提示：

"解析此 PDF 并提取所有表格"
"将这篇学术论文转换为结构化 Markdown"
"提取此文档中的图形和标题"
"解析此报告并保留文档结构"

领域知识

docling 基础

from docling.document_converter import DocumentConverter

# 初始化转换器
converter = DocumentConverter()

# 转换文档
result = converter.convert("document.pdf")

# 访问解析后的内容
doc = result.document
print(doc.export_to_markdown())

支持的格式

格式	扩展名	说明
PDF	.pdf	原生和扫描件
Word	.docx	完整结构保留
PowerPoint	.pptx	幻灯片作为章节
图片	.png, .jpg	OCR + 布局分析
HTML	.html	结构保留

基本用法

from docling.document_converter import DocumentConverter

# 创建转换器
converter = DocumentConverter()

# 转换单个文档
result = converter.convert("report.pdf")

# 访问文档
doc = result.document

# 导出选项
markdown = doc.export_to_markdown()
text = doc.export_to_text()
json_doc = doc.export_to_dict()

高级配置

from docling.document_converter import DocumentConverter
from docling.datamodel.base_models import InputFormat
from docling.datamodel.pipeline_options import PdfPipelineOptions

# 配置管道
pipeline_options = PdfPipelineOptions()
pipeline_options.do_ocr = True
pipeline_options.do_table_structure = True
pipeline_options.table_structure_options.do_cell_matching = True

# 使用选项创建转换器
converter = DocumentConverter(
    allowed_formats=[InputFormat.PDF, InputFormat.DOCX],
    pdf_backend_options=pipeline_options
)

result = converter.convert("document.pdf")

文档结构

# 文档层次结构
doc = result.document

# 访问元数据
print(doc.name)
print(doc.origin)

# 遍历内容
for element in doc.iterate_items():
    print(f"类型: {element.type}")
    print(f"文本: {element.text}")
    
    if element.type == "table":
        print(f"行数: {len(element.data.table_cells)}")

提取表格

from docling.document_converter import DocumentConverter
import pandas as pd

def extract_tables(doc_path):
    """从文档中提取所有表格。"""
    converter = DocumentConverter()
    result = converter.convert(doc_path)
    doc = result.document
    
    tables = []
    
    for element in doc.iterate_items():
        if element.type == "table":
            # 获取表格数据
            table_data = element.export_to_dataframe()
            tables.append({
                'page': element.prov[0].page_no if element.prov else None,
                'dataframe': table_data
            })
    
    return tables

# 使用示例
tables = extract_tables("report.pdf")
for i, table in enumerate(tables):
    print(f"第 {i+1} 个表格，位于第 {table['page']} 页:")
    print(table['dataframe'])

提取图形

def extract_figures(doc_path, output_dir):
    """提取图形及其标题。"""
    import os
    
    converter = DocumentConverter()
    result = converter.convert(doc_path)
    doc = result.document
    
    figures = []
    os.makedirs(output_dir, exist_ok=True)
    
    for element in doc.iterate_items():
        if element.type == "picture":
            figure_info = {
                'caption': element.caption if hasattr(element, 'caption') else None,
                'page': element.prov[0].page_no if element.prov else None,
            }
            
            # 如果可用，保存图像
            if hasattr(element, 'image'):
                img_path = os.path.join(output_dir, f"figure_{len(figures)+1}.png")
                element.image.save(img_path)
                figure_info['path'] = img_path
            
            figures.append(figure_info)
    
    return figures

处理多栏布局

from docling.document_converter import DocumentConverter

def parse_multicolumn(doc_path):
    """解析多栏布局的文档。"""
    
    converter = DocumentConverter()
    result = converter.convert(doc_path)
    doc = result.document
    
    # docling 自动处理栏检测
    # 文本按阅读顺序返回
    
    structured_content = []
    
    for element in doc.iterate_items():
        content_item = {
            'type': element.type,
            'text': element.text if hasattr(element, 'text') else None,
            'level': element.level if hasattr(element, 'level') else None,
        }
        
        # 如果可用，添加边界框
        if element.prov:
            content_item['bbox'] = element.prov[0].bbox
            content_item['page'] = element.prov[0].page_no
        
        structured_content.append(content_item)
    
    return structured_content

导出格式

from docling.document_converter import DocumentConverter

converter = DocumentConverter()
result = converter.convert("document.pdf")
doc = result.document

# Markdown 导出
markdown = doc.export_to_markdown()
with open("output.md", "w") as f:
    f.write(markdown)

# 纯文本
text = doc.export_to_text()

# JSON/dict 格式
json_doc = doc.export_to_dict()

# HTML 格式（如果支持）
# html = doc.export_to_html()

批量处理

from docling.document_converter import DocumentConverter
from pathlib import Path
from concurrent.futures import ThreadPoolExecutor

def batch_parse(input_dir, output_dir, max_workers=4):
    """并行解析多个文档。"""
    
    input_path = Path(input_dir)
    output_path = Path(output_dir)
    output_path.mkdir(exist_ok=True)
    
    converter = DocumentConverter()
    
    def process_single(doc_path):
        try:
            result = converter.convert(str(doc_path))
            md = result.document.export_to_markdown()
            
            out_file = output_path / f"{doc_path.stem}.md"
            with open(out_file, 'w') as f:
                f.write(md)
            
            return {'file': str(doc_path), 'status': 'success'}
        except Exception as e:
            return {'file': str(doc_path), 'status': 'error', 'error': str(e)}
    
    docs = list(input_path.glob('*.pdf')) + list(input_path.glob('*.docx'))
    
    with ThreadPoolExecutor(max_workers=max_workers) as executor:
        results = list(executor.map(process_single, docs))
    
    return results

最佳实践

使用合适的管道：根据文档类型进行配置
处理大型文档：必要时分块处理
验证表格提取：复杂表格可能需要复核
检查 OCR 质量：对扫描文档启用 OCR
缓存结果：存储解析后的文档以便复用

常见模式

学术论文解析器

def parse_academic_paper(pdf_path):
    """解析学术论文结构。"""
    
    converter = DocumentConverter()
    result = converter.convert(pdf_path)
    doc = result.document
    
    paper = {
        'title': None,
        'abstract': None,
        'sections': [],
        'references': [],
        'tables': [],
        'figures': []
    }
    
    current_section = None
    
    for element in doc.iterate_items():
        text = element.text if hasattr(element, 'text') else ''
        
        if element.type == 'title':
            paper['title'] = text
        
        elif element.type == 'heading':
            if 'abstract' in text.lower():
                current_section = 'abstract'
            elif 'reference' in text.lower():
                current_section = 'references'
            else:
                paper['sections'].append({
                    'title': text,
                    'content': ''
                })
                current_section = 'section'
        
        elif element.type == 'paragraph':
            if current_section == 'abstract':
                paper['abstract'] = text
            elif current_section == 'section' and paper['sections']:
                paper['sections'][-1]['content'] += text + '\n'
        
        elif element.type == 'table':
            paper['tables'].append({
                'caption': element.caption if hasattr(element, 'caption') else None,
                'data': element.export_to_dataframe() if hasattr(element, 'export_to_dataframe') else None
            })
    
    return paper

报告转结构化数据

def parse_business_report(doc_path):
    """将商业报告解析为结构化格式。"""
    
    converter = DocumentConverter()
    result = converter.convert(doc_path)
    doc = result.document
    
    report = {
        'metadata': {
            'title': None,
            'date': None,
            'author': None
        },
        'executive_summary': None,
        'sections': [],
        'key_metrics': [],
        'recommendations': []
    }
    
    # 解析文档结构
    for element in doc.iterate_items():
        # 根据文档结构实现解析逻辑
        pass
    
    return report

示例

示例 1：解析财务报告

from docling.document_converter import DocumentConverter

def parse_financial_report(pdf_path):
    """从财务报告中提取结构化数据。"""
    
    converter = DocumentConverter()
    result = converter.convert(pdf_path)
    doc = result.document
    
    financial_data = {
        'income_statement': None,
        'balance_sheet': None,
        'cash_flow': None,
        'notes': []
    }
    
    # 提取表格
    tables = []
    for element in doc.iterate_items():
        if element.type == 'table':
            table_df = element.export_to_dataframe()
            
            # 识别表格类型
            if 'revenue' in str(table_df).lower() or 'income' in str(table_df).lower():
                financial_data['income_statement'] = table_df
            elif 'asset' in str(table_df).lower() or 'liabilities' in str(table_df).lower():
                financial_data['balance_sheet'] = table_df
            elif 'cash' in str(table_df).lower():
                financial_data['cash_flow'] = table_df
            else:
                tables.append(table_df)
    
    # 提取 Markdown 作为注释
    financial_data['markdown'] = doc.export_to_markdown()
    
    return financial_data

report = parse_financial_report('annual_report.pdf')
print("利润表:")
print(report['income_statement'])

示例 2：技术文档解析器

from docling.document_converter import DocumentConverter

def parse_technical_docs(doc_path):
    """解析技术文档。"""
    
    converter = DocumentConverter()
    result = converter.convert(doc_path)
    doc = result.document
    
    documentation = {
        'title': None,
        'version': None,
        'sections': [],
        'code_blocks': [],
        'diagrams': []
    }
    
    current_section = None
    
    for element in doc.iterate_items():
        if element.type == 'title':
            documentation['title'] = element.text
        
        elif element.type == 'heading':
            current_section = {
                'title': element.text,
                'level': element.level if hasattr(element, 'level') else 1,
                'content': []
            }
            documentation['sections'].append(current_section)
        
        elif element.type == 'code':
            if current_section:
                current_section['content'].append({
                    'type': 'code',
                    'content': element.text
                })
            documentation['code_blocks'].append(element.text)
        
        elif element.type == 'picture':
            documentation['diagrams'].append({
                'page': element.prov[0].page_no if element.prov else None,
                'caption': element.caption if hasattr(element, 'caption') else None
            })
    
    return documentation

docs = parse_technical_docs('api_documentation.pdf')
print(f"标题: {docs['title']}")
print(f"章节数: {len(docs['sections'])}")

示例 3：合同分析

from docling.document_converter import DocumentConverter

def analyze_contract(pdf_path):
    """解析合同文档以提取关键条款。"""
    
    converter = DocumentConverter()
    result = converter.convert(pdf_path)
    doc = result.document
    
    contract = {
        'parties': [],
        'clauses': [],
        'dates': [],
        'amounts': [],
        'full_text': doc.export_to_text()
    }
    
    import re
    
    # 提取日期
    date_pattern = r'\b\d{1,2}[/-]\d{1,2}[/-]\d{2,4}\b|\b(?:Jan|Feb|Mar|Apr|May|Jun|Jul|Aug|Sep|Oct|Nov|Dec)[a-z]* \d{1,2},? \d{4}\b'
    contract['dates'] = re.findall(date_pattern, contract['full_text'], re.IGNORECASE)
    
    # 提取货币金额
    amount_pattern = r'\$[\d,]+(?:\.\d{2})?|\b\d+(?:,\d{3})*(?:\.\d{2})?\s*(?:USD|dollars)\b'
    contract['amounts'] = re.findall(amount_pattern, contract['full_text'], re.IGNORECASE)
    
    # 将章节解析为条款
    for element in doc.iterate_items():
        if element.type == 'heading':
            contract['clauses'].append({
                'title': element.text,
                'content': ''
            })
        elif element.type == 'paragraph' and contract['clauses']:
            contract['clauses'][-1]['content'] += element.text + '\n'
    
    return contract

contract_data = analyze_contract('agreement.pdf')
print(f"关键日期: {contract_data['dates']}")
print(f"金额: {contract_data['amounts']}")

限制

非常大的文档可能需要分块处理
手写内容需要 OCR 预处理
复杂的嵌套表格可能需要手动复核
某些 PDF 类型（如加密）不受支持
建议使用 GPU 以获得最佳性能

安装

pip install docling

# 完整功能
pip install docling[all]

# OCR 支持
pip install docling[ocr]

doc-parser

相关 Skills

文档解析技能

概述

使用方法

领域知识

docling 基础

支持的格式

基本用法

高级配置

文档结构

提取表格

提取图形

处理多栏布局

导出格式

批量处理

最佳实践

常见模式

学术论文解析器

报告转结构化数据

示例

示例 1：解析财务报告

示例 2：技术文档解析器

示例 3：合同分析

限制

安装

资源

你可能还喜欢

blucli

agent-architecture-audit

triaging-issues

继续探索