蔡怀权头像

PaddleOCR 端到端文本识别实战:PGNet 算法原理、训练与推理完整指南

PaddleOCR 端到端文本识别实战:PGNet 算法原理、训练与推理完整指南

【免费下载链接】PaddleOCR 飞桨多语言OCR工具包(实用超轻量OCR系统,支持80+种语言识别,提供数据标注与合成工具,支持服务器、移动端、嵌入式及IoT设备端的训练与部署) Awesome multilingual OCR toolkits based on PaddlePaddle (practical ultra lightweight OCR system, support 80+ languages recognition, provide data annotation and synthesis tools, support training and deployment among server, mobile, embedded and IoT devices) 【免费下载链接】PaddleOCR 项目地址: https://gitcode.com/paddlepaddle/PaddleOCR

PGNet(Point Gathering Network)是 PaddleOCR 内置的端到端 OCR 算法,它在一个模型中同时完成文本检测与文本识别,无需字符级标注、无需 NMS 与 ROI 操作,即可直接输出文本行的检测框与识别结果。本文以 docs/version2.x/algorithm/end_to_end/algorithm_e2e_pgnet.md 为骨架,结合仓库中的配置文件 configs/e2e/e2e_r50_vd_pg.yml 与源码实现,完整讲解 PGNet 的四分支网络结构、性能表现、推理使用、数据准备、两阶段训练、评估与模型导出推理的完整流程,帮助读者在 PaddleOCR 中快速落地端到端文本识别方案。

一、端到端 OCR 与 PGNet 算法概述

1.1 两阶段算法与端到端算法的区别

OCR 算法可以分为两阶段算法和端到端算法两类:

  • 两阶段 OCR 算法:一般分为文本检测与文本识别两个部分。检测算法先从图像中得到文本行的检测框,然后识别算法再去识别文本框中的内容,两个模块通常是分离训练、串联推理的。
  • 端到端 OCR 算法:在一个算法中同时完成文字检测和文字识别。其基本思想是设计一个同时具有检测单元和识别模块的模型,共享两者之间的 CNN 特征,并进行联合训练。由于一个算法即可完成文字识别,端到端模型通常更小、速度更快。

1.2 PGNet 算法介绍

近些年来,端到端 OCR 算法得到了良好的发展,包括 MaskTextSpotter 系列、TextSnake、TextDragon、PGNet 系列等算法。在这些算法中,PGNet 具备其他算法不具备的优势:

  • 设计 PGNet loss 指导训练,不需要字符级别的标注(标注成本大幅降低);
  • 不需要 NMS 和 ROI 相关操作,加速预测;
  • 提出预测文本行内阅读顺序的模块;
  • 提出基于图的修正模块(GRM, Graph-based Refinement Module)来进一步提高模型识别性能;
  • 精度更高,预测速度更快。

PGNet 的整体算法原理如下图所示:

PGNet算法原理图:输入图像经特征提取后送入TBO、TCL、TDO、TCC四个预测分支

从算法原理图可以看出,输入图像经过特征提取后送入四个并行分支:

分支全称作用
TBOText Border Offset,文本边缘偏移量预测文本行边界,与 TCL 结合得到检测结果
TCLText Center Line,文本中心线预测文本中心线,与 TBO 结合得到检测结果
TDOText Direction Offset,文本方向偏移量预测文本行内字符的阅读顺序方向
TCCText Character Classification,文本字符分类图预测每个像素的字符类别,实现识别

其中 TBO 与 TCL 的输出经过后处理后可以得到文本的检测结果;TCL、TDO、TCC 共同负责文本的识别(沿中心线按方向偏移采样字符分类,并通过阅读顺序模块还原出文字序列)。

1.3 源码中的网络结构

从源码结构看,PaddleOCR 中 PGNet 由以下组件构成,均可在仓库中直接查看:

  • 骨干网络 Backbone:ResNet-50(Architecture.Backbone.layers: 50),输出多尺度特征;
  • 特征融合 Neck:pg_fpn.py 中的 PGFPN,采用 "FPN Down Fusion + FPN UP Fusion" 的双向金字塔结构,把深层语义特征与浅层细节特征逐级相加融合(源码中通过 dconv0~dconv3 转置卷积上采样、paddle.add 逐级相加实现),最终输出 128 通道的公共特征;
  • 预测头 Head:e2e_pg_head.py 中的 PGHead,基于公共特征分别通过若干 ConvBNLayer + Conv2D 输出四个预测图:
    • f_score:1 通道,经 F.sigmoid 归一化,对应 TCL 中心线得分;
    • f_border:4 通道,对应 TBO 文本边缘四个方向的偏移量;
    • f_direction:2 通道,对应 TDO 方向偏移量;
    • f_char:character_length 通道(字典字符数 + 1),对应 TCC 字符分类图,其中字典长度由 character_dict_path(默认 ppocr/utils/ic15_dict.txt)动态读取得到。

二、性能指标

PGNet 在 PaddleOCR 中的实现性能如下(测试集为 Total-Text,测试环境为 NVIDIA Tesla V100-SXM2-16GB):

PGNetAdet_precisiondet_recalldet_f_scoree2e_precisione2e_recalle2e_f_scoreFPS下载
Paper85.3086.8086.10--61.7038.20 (size=640)-
Ours87.0382.4884.6961.7158.4360.0348.73 (size=768)下载链接

注:PaddleOCR 中的 PGNet 实现针对预测速度做了优化,在精度下降可接受范围内,可以显著提升端到端预测速度。

需要说明的是,上述指标来自官方文档记录的特定硬件与数据集环境,实际表现会随输入分辨率(max_side_len)、后处理模式(mode: fast/slow)以及数据集分布的不同而变化。

三、环境配置

在开始使用 PGNet 之前,请先完成运行环境准备与项目克隆:

环境配置完成后,进入仓库根目录(下文命令均以仓库根目录为当前目录执行)。

四、快速使用:inference 模型推理

本节以训练好的端到端模型为例,快速体验 PGNet 的预测能力。

4.1 inference 模型下载

首先下载训练好的端到端 inference 模型:

mkdir inference && cd inference
# 下载英文端到端模型并解压
wget https://paddleocr.bj.bcebos.com/dygraph_v2.0/pgnet/e2e_server_pgnetA_infer.tar && tar xf e2e_server_pgnetA_infer.tar
  • Windows 环境下如果没有安装 wget,下载模型时可将链接复制到浏览器中下载,并解压放置在相应目录下。

解压完毕后应有如下文件结构:

├── e2e_server_pgnetA_infer
│   ├── inference.pdiparams
│   ├── inference.pdiparams.info
│   └── inference.pdmodel

4.2 单张图像或者图像集合预测

PGNet 推理统一通过 tools/infer/predict_e2e.py 进行,核心参数为 --e2e_algorithm(指定端到端算法,取值为 PGNet)、--e2e_model_dir(inference 模型目录)以及 --e2e_pgnet_valid_set(数据集类型,影响后处理解码方式):

# 预测image_dir指定的单张图像
python3 tools/infer/predict_e2e.py --e2e_algorithm="PGNet" --image_dir="./doc/imgs_en/img623.jpg" --e2e_model_dir="./inference/e2e_server_pgnetA_infer/" --e2e_pgnet_valid_set="totaltext"

# 预测image_dir指定的图像集合
python3 tools/infer/predict_e2e.py --e2e_algorithm="PGNet" --image_dir="./doc/imgs_en/" --e2e_model_dir="./inference/e2e_server_pgnetA_infer/" --e2e_pgnet_valid_set="totaltext"

# 如果想使用CPU进行预测,需设置use_gpu参数为False
python3 tools/infer/predict_e2e.py --e2e_algorithm="PGNet" --image_dir="./doc/imgs_en/img623.jpg" --e2e_model_dir="./inference/e2e_server_pgnetA_infer/" --e2e_pgnet_valid_set="totaltext" --use_gpu=False

其中 --e2e_pgnet_valid_set 有两个取值,与后处理紧密相关:

取值适用场景
totaltext弯曲文本(Total-Text 风格曲线文本)
partvgg非弯曲文本(近似直线的文本行)

从 predict_e2e.py 源码可以看到,当 e2e_algorithm == "PGNet" 时,程序会把 e2e_pgnet_valid_set 写入后处理参数 postprocess_params["valid_set"],再交给 PGPostProcess 进行解码,因此该参数必须与模型训练时的数据集类型保持一致。

4.3 可视化结果

可视化文本检测结果默认保存到 ./inference_results 文件夹里面,结果文件的名称前缀为 e2e_res。结果示例如下:

PGNet端到端识别结果示例:弯曲文本被检测并用多边形框出同时输出识别文字

五、模型训练

本节以 totaltext 数据集为例,介绍 PaddleOCR 中端到端模型的训练流程。

5.1 准备数据

下载解压 totaltext 数据集到 PaddleOCR/train_data/ 目录,数据集组织结构如下:

/PaddleOCR/train_data/total_text/train/
  |- rgb/            # total_text数据集的训练数据
      |- img11.jpg
      | ...
  |- train.txt       # total_text数据集的训练标注

train.txt 标注文件格式如下,文件名和标注信息中间用 "\t" 分隔:

" 图像文件名                    json.dumps编码的图像标注信息"
rgb/img11.jpg    [{"transcription": "ASRAMA", "points": [[214.0, 325.0], [235.0, 308.0], [259.0, 296.0], [286.0, 291.0], [313.0, 295.0], [338.0, 305.0], [362.0, 320.0], [349.0, 347.0], [330.0, 337.0], [310.0, 329.0], [290.0, 324.0], [269.0, 328.0], [249.0, 336.0], [231.0, 346.0]]}, {...}]

标注格式要点:

  • json.dumps 编码前的图像标注信息是包含多个字典的 list;
  • 字典中的 points 表示文本框各点的坐标 (x, y),从左上角的点开始顺时针排列(PGNet 支持多边形标注,这正是其能处理弯曲文本的基础);
  • transcription 表示当前文本框的文字,当其内容为 "###" 时,表示该文本框无效,在训练时会跳过;
  • 如果您想在其他数据集上训练,可以按照上述形式构建标注文件。

5.2 两阶段训练与启动命令

PGNet 训练分为两个步骤:

  • step1:在合成数据上训练,得到预训练模型,此时模型精度依然较低;
  • step2:加载 step1 预训练模型,在 totaltext 数据集上训练。

为快速训练,PaddleOCR 直接提供了 step1 的预训练模型:

cd PaddleOCR/
# 下载step1 预训练模型
wget -P ./pretrain_models/ https://paddleocr.bj.bcebos.com/dygraph_v2.0/pgnet/train_step1.tar

# 可以得到以下的文件格式
./pretrain_models/train_step1/
  └─ best_accuracy.pdopt
  └─ best_accuracy.states
  └─ best_accuracy.pdparams

如果您安装的是 CPU 版本,请将配置文件中的 use_gpu 字段修改为 false。

# 单机单卡训练 e2e 模型
python3 tools/train.py -c configs/e2e/e2e_r50_vd_pg.yml -o Global.pretrained_model=./pretrain_models/train_step1/best_accuracy Global.load_static_weights=False
# 单机多卡训练,通过 --gpus 参数设置使用的GPU ID
python3 -m paddle.distributed.launch --gpus '0,1,2,3' tools/train.py -c configs/e2e/e2e_r50_vd_pg.yml -o Global.pretrained_model=./pretrain_models/train_step1/best_accuracy  Global.load_static_weights=False

上述指令中,通过 -c 选择训练使用的 configs/e2e/e2e_r50_vd_pg.yml 配置文件。有关配置文件的详细解释,请参考 《配置文件说明》。

您也可以通过 -o 参数在不需要修改 yml 文件的情况下改变训练参数,例如调整训练的学习率为 0.0001:

python3 tools/train.py -c configs/e2e/e2e_r50_vd_pg.yml -o Optimizer.base_lr=0.0001

5.3 断点训练

如果训练程序中断,希望通过加载中断时保存的模型恢复训练,可以通过指定 Global.checkpoints 指定要加载的模型路径:

python3 tools/train.py -c configs/e2e/e2e_r50_vd_pg.yml -o Global.checkpoints=./your/trained/model

注意:Global.checkpoints 的优先级高于 Global.pretrain_weights 的优先级,即同时指定两个参数时,优先加载 Global.checkpoints 指定的模型;如果 Global.checkpoints 指定的模型路径有误,会回退加载 Global.pretrain_weights 指定的模型。

5.4 配置文件详解

configs/e2e/e2e_r50_vd_pg.yml 是 PGNet 训练的完整配置,逐模块说明如下:

Global(全局训练参数)

参数默认值说明
use_gpuTrue是否使用 GPU,CPU 环境需改为 False
epoch_num600训练轮数
print_batch_step10每多少 batch 打印一次日志
log_smooth_window20日志平滑窗口
save_model_dir./output/pgnet_r50_vd_totaltext/模型保存目录
save_epoch_step10每多少轮保存一次模型
eval_batch_step[0, 1000]第 1000 个 iteration 后每隔多少 iteration 评估
cal_metric_during_trainFalse训练过程中是否计算指标
pretrained_model空预训练模型路径
checkpoints空断点续训模型路径(优先级高于 pretrained_model)
save_inference_dir空导出 inference 模型保存目录
use_visualdlFalse是否使用 VisualDL 可视化
infer_img空预测图片路径
infer_visual_typeEN可视化类型:EN 用于英文数据集,CN 用于中文数据集
valid_settotaltexttotaltext 对应弯曲文本,partvgg 对应非弯曲文本
save_res_path./output/pgnet_r50_vd_totaltext/predicts_pgnet.txt测试集检测结果文件
character_dict_pathppocr/utils/ic15_dict.txt字符字典路径
character_typeEN字符类型
max_text_length50序列最大长度
max_text_nums30单张图片中文本行最大数量
tcl_len64TCL 中心线长度(对应 Loss 中的 tcl_bs)

Architecture(网络结构)

参数取值说明
model_typee2e模型类型
algorithmPGNet端到端算法
Backbone.nameResNet骨干网络
Backbone.layers50骨干网络深度(ResNet-50)
Neck.namePGFPN特征融合网络
Head.namePGHead预测头
Head.character_dict_pathppocr/utils/ic15_dict.txt与 Global.character_dict_path 保持一致

Loss(损失函数)

参数默认值说明
namePGLoss损失函数名称
tcl_bs64TCL 相关 batch 大小
max_text_length50与 Global 保持一致
max_text_nums30与 Global 保持一致
pad_num36字典 padding 长度

Optimizer(优化器)

  • name: Adam,beta1: 0.9,beta2: 0.999;
  • 学习率 lr.name: Cosine(余弦退火),learning_rate: 0.001,warmup_epoch: 50;
  • 正则化 regularizer.name: L2,factor: 0.0001。

PostProcess(后处理)

参数默认值说明
namePGPostProcess后处理名称
score_thresh0.5中心线得分阈值
modefast后处理模式:fast 或 slow
point_gather_modealign与训练端 PGProcessTrain 的 point_gather_mode 保持一致,align 模式优于 none 模式

Metric(评估指标)

参数默认值说明
nameE2EMetric端到端评估指标
modeA两种评估方式:A 从 txt 标注读取,B 从 gt_mat 读取
gt_mat_dir./train_data/total_text/gtgt_mat 目录
character_dict_pathppocr/utils/ic15_dict.txt字典路径
main_indicatorf_score_e2e主指标为端到端 F-score

Train / Eval(数据与加载器)

训练数据流通过 PGDataSet 完成,核心 transform 包括:

  • DecodeImage:图像解码,img_mode: BGR,channel_first: False;
  • E2ELabelEncodeTrain:编码端到端训练标签;
  • PGProcessTrain:生成 TCL/border/direction 等训练监督图。关键参数:use_resize: True(使用缩放)、use_random_crop: False、min_crop_size: 24、min_text_size: 4、max_text_size: 512、point_gather_mode: align;
  • KeepKeys:指定返回给 DataLoader 的字段顺序:images, tcl_maps, tcl_label_maps, border_maps, direction_maps, training_masks, label_list, pos_list, pos_mask。

Loader 配置:shuffle: True、drop_last: True、batch_size_per_card: 14(需与 PGProcessTrain.batch_size 一致)、num_workers: 16。

Eval 端使用 E2ELabelEncodeTest 与 E2EResizeForTest(max_side_len: 768),并依次经过 NormalizeImage(mean/std 为 ImageNet 统计值)、ToCHWImage 归一化流水线;评估时 batch_size_per_card 必须为 1。

六、模型评估

PaddleOCR 计算三个 OCR 端到端相关的指标,分别是:Precision、Recall、Hmean。

运行如下代码,根据配置文件 e2e_r50_vd_pg.yml 中 save_res_path 指定的测试集检测结果文件,计算评估指标:

python3 tools/eval.py -c configs/e2e/e2e_r50_vd_pg.yml  -o Global.checkpoints="{path/to/weights}/best_accuracy"

评估要点:

  • 评估时设置后处理参数 max_side_len=768;使用不同数据集、不同模型训练时,可调整该参数进行优化;
  • 训练中模型参数默认保存在 Global.save_model_dir 目录下;
  • 评估指标时,需要设置 Global.checkpoints 指向保存的参数文件。

七、模型预测与推理

7.1 训练模型预测

测试单张图像的端到端识别效果:

python3 tools/infer_e2e.py -c configs/e2e/e2e_r50_vd_pg.yml -o Global.infer_img="./doc/imgs_en/img_10.jpg" Global.pretrained_model="./output/e2e_pgnet/best_accuracy" Global.load_static_weights=false

测试文件夹下所有图像的端到端识别效果:

python3 tools/infer_e2e.py -c configs/e2e/e2e_r50_vd_pg.yml -o Global.infer_img="./doc/imgs_en/" Global.pretrained_model="./output/e2e_pgnet/best_accuracy" Global.load_static_weights=false

7.2 导出 inference 模型

首先将 PGNet 端到端训练过程中保存的模型转换成 inference model。以基于 Resnet50_vd 骨干网络、以英文数据集训练的模型为例,可以使用如下命令进行转换:

wget https://paddleocr.bj.bcebos.com/dygraph_v2.0/pgnet/en_server_pgnetA.tar && tar xf en_server_pgnetA.tar
python3 tools/export_model.py -c configs/e2e/e2e_r50_vd_pg.yml -o Global.pretrained_model=./en_server_pgnetA/best_accuracy Global.load_static_weights=False Global.save_inference_dir=./inference/e2e

7.3 四边形文本检测模型推理(ICDAR2015 / partvgg)

对于近似直线的四边形文本,推理时需要设置参数 --e2e_algorithm="PGNet" 与 --e2e_pgnet_valid_set="partvgg":

python3 tools/infer/predict_e2e.py --e2e_algorithm="PGNet" --image_dir="./doc/imgs_en/img_10.jpg" --e2e_model_dir="./inference/e2e/"  --e2e_pgnet_valid_set="partvgg"

可视化文本检测结果默认保存到 ./inference_results 文件夹里面,结果文件的名称前缀为 e2e_res,效果示例如下:

PGNet四边形文本端到端识别效果示例

7.4 弯曲文本检测模型推理(Total-Text)

对于弯曲文本样例,推理时需要设置参数 --e2e_algorithm="PGNet",同时还需要增加参数 --e2e_pgnet_valid_set="totaltext":

python3 tools/infer/predict_e2e.py --e2e_algorithm="PGNet" --image_dir="./doc/imgs_en/img623.jpg" --e2e_model_dir="./inference/e2e/" --e2e_pgnet_valid_set="totaltext"

可视化文本端到端结果默认保存到 ./inference_results 文件夹里面,结果文件的名称前缀为 e2e_res。

八、后处理与损失函数的源码级解析

8.1 端到端评估指标的计算

PaddleOCR 的端到端评估在 ppocr/metrics/e2e_metric.py 中实现,统计维度包括:

  • 端到端 Precision(e2e_precision):预测结果中同时满足"检测框正确且识别文本正确"的比例;
  • 端到端 Recall(e2e_recall):真实标注中被正确检测且正确识别的比例;
  • Hmean / f_score_e2e:两者的调和平均,是配置文件 Metric.main_indicator 指定的主指标。

8.2 PGLoss 的损失构成

ppocr/losses/e2e_pg_loss.py 中的 PGLoss 由四部分加权组合而成(见 forward 中 loss_all = score_loss + border_loss + direction_loss + 5 * ctc_loss):

损失项监督目标实现要点
score_lossTCL 中心线得分图 f_score与 tcl_maps 计算 DiceLoss,配合 training_masks 掩码
border_lossTBO 边缘偏移图 f_border基于 smooth L1 风格的逐点回归损失(abs < 1 时用二次项,否则用线性项),并以中心线得分与掩码加权
direction_lossTDO 方向偏移图 f_direction与 border_loss 同构的 smooth L1 回归损失
ctc_lossTCC 字符分类图 f_char通过 pos_list/pos_mask 沿 TCL 中心线按方向 gather 字符特征序列,再送入 paddle.nn.functional.ctc_loss,blank 取 pad_num;在总损失中权重为 5

PGLoss 输入 labels 的字段顺序与训练配置中 KeepKeys.keep_keys 完全对应:images, tcl_maps, tcl_label_maps, border_maps, direction_maps, training_masks, label_list, pos_list, pos_mask。

8.3 PGPostProcess 的 fast / slow 两种解码模式

ppocr/postprocess/pg_postprocess.py 中的 PGPostProcess 根据配置 mode 选择两种解码路径,底层实现位于 ppocr/utils/e2e_utils/pgnet_pp_utils.py:

  • fast 模式(默认,对应 PostProcess.mode: fast):调用 generate_pivot_list_fast 与 restore_poly,从 f_score 中心线得分上按阈值提取关键点(pivot point),结合 f_direction 排序、f_char 解码字符,最后利用 f_border 恢复文本多边形,整个过程无需 NMS 与 ROI;
  • slow 模式(mode: slow):调用 generate_pivot_list_slow,逐点沿中心线行走生成点序列,精度更高但耗时更长,适合对速度不敏感的离线场景;
  • 两个模式都会依据 valid_set 决定是否按弯曲文本(totaltext)处理:从源码看,slow 模式在 valid_set == "totaltext" 时会把边缘偏移量 offset_expand 调整为 1.2,使恢复出的多边形向外扩展,从而更好地贴合弯曲文本。

九、总结

PGNet 是 PaddleOCR 中开箱即用的端到端 OCR 方案:它通过 TBO/TCL/TDO/TCC 四个分支在一个网络中同时完成检测与识别,配合 PGLoss 免去了字符级标注成本,后处理中不依赖 NMS 与 ROI,因而模型更小、预测更快,且天然支持 Total-Text 风格的弯曲文本。在 PaddleOCR 中使用 PGNet 的完整链路包括:配置环境与克隆项目(environment.md、clone.md)→ 下载或训练模型(e2e_r50_vd_pg.yml)→ 使用 predict_e2e.py 推理(注意区分 totaltext 与 partvgg 两种 valid_set)。读者可依据本文的配置表格与命令,在自有数据集上按标注格式构建数据,完成从训练、评估到导出的全流程落地。

【免费下载链接】PaddleOCR 飞桨多语言OCR工具包(实用超轻量OCR系统,支持80+种语言识别,提供数据标注与合成工具,支持服务器、移动端、嵌入式及IoT设备端的训练与部署) Awesome multilingual OCR toolkits based on PaddlePaddle (practical ultra lightweight OCR system, support 80+ languages recognition, provide data annotation and synthesis tools, support training and deployment among server, mobile, embedded and IoT devices) 【免费下载链接】PaddleOCR 项目地址: https://gitcode.com/paddlepaddle/PaddleOCR

转载自 CSDN-专业IT技术社区

原文链接:https://blog.csdn.net/gitblog_00224/article/details/157403939

文章来源转载

评论

评论列表

微信小程序
QQ小程序

关于作者

点赞数:0
关注数:0
粉丝:0
文章:0
关注标签:0
加入于:--