PaddleOCR 端到端文本识别实战:PGNet 算法原理、训练与推理完整指南
PGNet(Point Gathering Network)是 PaddleOCR 内置的端到端 OCR 算法,它在一个模型中同时完成文本检测与文本识别,无需字符级标注、无需 NMS 与 ROI 操作,即可直接输出文本行的检测框与识别结果。本文以 docs/version2.x/algorithm/end_to_end/algorithm_e2e_pgnet.md 为骨架,结合仓库中的配置文件 configs/e2e/e2e_r50_vd_pg.yml 与源码实现,完整讲解 PGNet 的四分支网络结构、性能表现、推理使用、数据准备、两阶段训练、评估与模型导出推理的完整流程,帮助读者在 PaddleOCR 中快速落地端到端文本识别方案。
一、端到端 OCR 与 PGNet 算法概述
1.1 两阶段算法与端到端算法的区别
OCR 算法可以分为两阶段算法和端到端算法两类:
- 两阶段 OCR 算法:一般分为文本检测与文本识别两个部分。检测算法先从图像中得到文本行的检测框,然后识别算法再去识别文本框中的内容,两个模块通常是分离训练、串联推理的。
- 端到端 OCR 算法:在一个算法中同时完成文字检测和文字识别。其基本思想是设计一个同时具有检测单元和识别模块的模型,共享两者之间的 CNN 特征,并进行联合训练。由于一个算法即可完成文字识别,端到端模型通常更小、速度更快。
1.2 PGNet 算法介绍
近些年来,端到端 OCR 算法得到了良好的发展,包括 MaskTextSpotter 系列、TextSnake、TextDragon、PGNet 系列等算法。在这些算法中,PGNet 具备其他算法不具备的优势:
- 设计 PGNet loss 指导训练,不需要字符级别的标注(标注成本大幅降低);
- 不需要 NMS 和 ROI 相关操作,加速预测;
- 提出预测文本行内阅读顺序的模块;
- 提出基于图的修正模块(GRM, Graph-based Refinement Module)来进一步提高模型识别性能;
- 精度更高,预测速度更快。
PGNet 的整体算法原理如下图所示:
从算法原理图可以看出,输入图像经过特征提取后送入四个并行分支:
| 分支 | 全称 | 作用 |
|---|---|---|
| TBO | Text Border Offset,文本边缘偏移量 | 预测文本行边界,与 TCL 结合得到检测结果 |
| TCL | Text Center Line,文本中心线 | 预测文本中心线,与 TBO 结合得到检测结果 |
| TDO | Text Direction Offset,文本方向偏移量 | 预测文本行内字符的阅读顺序方向 |
| TCC | Text Character Classification,文本字符分类图 | 预测每个像素的字符类别,实现识别 |
其中 TBO 与 TCL 的输出经过后处理后可以得到文本的检测结果;TCL、TDO、TCC 共同负责文本的识别(沿中心线按方向偏移采样字符分类,并通过阅读顺序模块还原出文字序列)。
1.3 源码中的网络结构
从源码结构看,PaddleOCR 中 PGNet 由以下组件构成,均可在仓库中直接查看:
- 骨干网络 Backbone:ResNet-50(
Architecture.Backbone.layers: 50),输出多尺度特征; - 特征融合 Neck:pg_fpn.py 中的
PGFPN,采用 "FPN Down Fusion + FPN UP Fusion" 的双向金字塔结构,把深层语义特征与浅层细节特征逐级相加融合(源码中通过dconv0~dconv3转置卷积上采样、paddle.add逐级相加实现),最终输出 128 通道的公共特征; - 预测头 Head:e2e_pg_head.py 中的
PGHead,基于公共特征分别通过若干ConvBNLayer + Conv2D输出四个预测图:f_score:1 通道,经F.sigmoid归一化,对应 TCL 中心线得分;f_border:4 通道,对应 TBO 文本边缘四个方向的偏移量;f_direction:2 通道,对应 TDO 方向偏移量;f_char:character_length通道(字典字符数 + 1),对应 TCC 字符分类图,其中字典长度由character_dict_path(默认 ppocr/utils/ic15_dict.txt)动态读取得到。
二、性能指标
PGNet 在 PaddleOCR 中的实现性能如下(测试集为 Total-Text,测试环境为 NVIDIA Tesla V100-SXM2-16GB):
| PGNetA | det_precision | det_recall | det_f_score | e2e_precision | e2e_recall | e2e_f_score | FPS | 下载 |
|---|---|---|---|---|---|---|---|---|
| Paper | 85.30 | 86.80 | 86.10 | - | - | 61.70 | 38.20 (size=640) | - |
| Ours | 87.03 | 82.48 | 84.69 | 61.71 | 58.43 | 60.03 | 48.73 (size=768) | 下载链接 |
注:PaddleOCR 中的 PGNet 实现针对预测速度做了优化,在精度下降可接受范围内,可以显著提升端到端预测速度。
需要说明的是,上述指标来自官方文档记录的特定硬件与数据集环境,实际表现会随输入分辨率(max_side_len)、后处理模式(mode: fast/slow)以及数据集分布的不同而变化。
三、环境配置
在开始使用 PGNet 之前,请先完成运行环境准备与项目克隆:
环境配置完成后,进入仓库根目录(下文命令均以仓库根目录为当前目录执行)。
四、快速使用:inference 模型推理
本节以训练好的端到端模型为例,快速体验 PGNet 的预测能力。
4.1 inference 模型下载
首先下载训练好的端到端 inference 模型:
mkdir inference && cd inference
# 下载英文端到端模型并解压
wget https://paddleocr.bj.bcebos.com/dygraph_v2.0/pgnet/e2e_server_pgnetA_infer.tar && tar xf e2e_server_pgnetA_infer.tar
- Windows 环境下如果没有安装 wget,下载模型时可将链接复制到浏览器中下载,并解压放置在相应目录下。
解压完毕后应有如下文件结构:
├── e2e_server_pgnetA_infer
│ ├── inference.pdiparams
│ ├── inference.pdiparams.info
│ └── inference.pdmodel
4.2 单张图像或者图像集合预测
PGNet 推理统一通过 tools/infer/predict_e2e.py 进行,核心参数为 --e2e_algorithm(指定端到端算法,取值为 PGNet)、--e2e_model_dir(inference 模型目录)以及 --e2e_pgnet_valid_set(数据集类型,影响后处理解码方式):
# 预测image_dir指定的单张图像
python3 tools/infer/predict_e2e.py --e2e_algorithm="PGNet" --image_dir="./doc/imgs_en/img623.jpg" --e2e_model_dir="./inference/e2e_server_pgnetA_infer/" --e2e_pgnet_valid_set="totaltext"
# 预测image_dir指定的图像集合
python3 tools/infer/predict_e2e.py --e2e_algorithm="PGNet" --image_dir="./doc/imgs_en/" --e2e_model_dir="./inference/e2e_server_pgnetA_infer/" --e2e_pgnet_valid_set="totaltext"
# 如果想使用CPU进行预测,需设置use_gpu参数为False
python3 tools/infer/predict_e2e.py --e2e_algorithm="PGNet" --image_dir="./doc/imgs_en/img623.jpg" --e2e_model_dir="./inference/e2e_server_pgnetA_infer/" --e2e_pgnet_valid_set="totaltext" --use_gpu=False
其中 --e2e_pgnet_valid_set 有两个取值,与后处理紧密相关:
| 取值 | 适用场景 |
|---|---|
totaltext | 弯曲文本(Total-Text 风格曲线文本) |
partvgg | 非弯曲文本(近似直线的文本行) |
从 predict_e2e.py 源码可以看到,当 e2e_algorithm == "PGNet" 时,程序会把 e2e_pgnet_valid_set 写入后处理参数 postprocess_params["valid_set"],再交给 PGPostProcess 进行解码,因此该参数必须与模型训练时的数据集类型保持一致。
4.3 可视化结果
可视化文本检测结果默认保存到 ./inference_results 文件夹里面,结果文件的名称前缀为 e2e_res。结果示例如下:
五、模型训练
本节以 totaltext 数据集为例,介绍 PaddleOCR 中端到端模型的训练流程。
5.1 准备数据
下载解压 totaltext 数据集到 PaddleOCR/train_data/ 目录,数据集组织结构如下:
/PaddleOCR/train_data/total_text/train/
|- rgb/ # total_text数据集的训练数据
|- img11.jpg
| ...
|- train.txt # total_text数据集的训练标注
train.txt 标注文件格式如下,文件名和标注信息中间用 "\t" 分隔:
" 图像文件名 json.dumps编码的图像标注信息"
rgb/img11.jpg [{"transcription": "ASRAMA", "points": [[214.0, 325.0], [235.0, 308.0], [259.0, 296.0], [286.0, 291.0], [313.0, 295.0], [338.0, 305.0], [362.0, 320.0], [349.0, 347.0], [330.0, 337.0], [310.0, 329.0], [290.0, 324.0], [269.0, 328.0], [249.0, 336.0], [231.0, 346.0]]}, {...}]
标注格式要点:
json.dumps编码前的图像标注信息是包含多个字典的 list;- 字典中的
points表示文本框各点的坐标 (x, y),从左上角的点开始顺时针排列(PGNet 支持多边形标注,这正是其能处理弯曲文本的基础); transcription表示当前文本框的文字,当其内容为 "###" 时,表示该文本框无效,在训练时会跳过;- 如果您想在其他数据集上训练,可以按照上述形式构建标注文件。
5.2 两阶段训练与启动命令
PGNet 训练分为两个步骤:
- step1:在合成数据上训练,得到预训练模型,此时模型精度依然较低;
- step2:加载 step1 预训练模型,在 totaltext 数据集上训练。
为快速训练,PaddleOCR 直接提供了 step1 的预训练模型:
cd PaddleOCR/
# 下载step1 预训练模型
wget -P ./pretrain_models/ https://paddleocr.bj.bcebos.com/dygraph_v2.0/pgnet/train_step1.tar
# 可以得到以下的文件格式
./pretrain_models/train_step1/
└─ best_accuracy.pdopt
└─ best_accuracy.states
└─ best_accuracy.pdparams
如果您安装的是 CPU 版本,请将配置文件中的 use_gpu 字段修改为 false。
# 单机单卡训练 e2e 模型
python3 tools/train.py -c configs/e2e/e2e_r50_vd_pg.yml -o Global.pretrained_model=./pretrain_models/train_step1/best_accuracy Global.load_static_weights=False
# 单机多卡训练,通过 --gpus 参数设置使用的GPU ID
python3 -m paddle.distributed.launch --gpus '0,1,2,3' tools/train.py -c configs/e2e/e2e_r50_vd_pg.yml -o Global.pretrained_model=./pretrain_models/train_step1/best_accuracy Global.load_static_weights=False
上述指令中,通过 -c 选择训练使用的 configs/e2e/e2e_r50_vd_pg.yml 配置文件。有关配置文件的详细解释,请参考 《配置文件说明》。
您也可以通过 -o 参数在不需要修改 yml 文件的情况下改变训练参数,例如调整训练的学习率为 0.0001:
python3 tools/train.py -c configs/e2e/e2e_r50_vd_pg.yml -o Optimizer.base_lr=0.0001
5.3 断点训练
如果训练程序中断,希望通过加载中断时保存的模型恢复训练,可以通过指定 Global.checkpoints 指定要加载的模型路径:
python3 tools/train.py -c configs/e2e/e2e_r50_vd_pg.yml -o Global.checkpoints=./your/trained/model
注意:Global.checkpoints 的优先级高于 Global.pretrain_weights 的优先级,即同时指定两个参数时,优先加载 Global.checkpoints 指定的模型;如果 Global.checkpoints 指定的模型路径有误,会回退加载 Global.pretrain_weights 指定的模型。
5.4 配置文件详解
configs/e2e/e2e_r50_vd_pg.yml 是 PGNet 训练的完整配置,逐模块说明如下:
Global(全局训练参数)
| 参数 | 默认值 | 说明 |
|---|---|---|
use_gpu | True | 是否使用 GPU,CPU 环境需改为 False |
epoch_num | 600 | 训练轮数 |
print_batch_step | 10 | 每多少 batch 打印一次日志 |
log_smooth_window | 20 | 日志平滑窗口 |
save_model_dir | ./output/pgnet_r50_vd_totaltext/ | 模型保存目录 |
save_epoch_step | 10 | 每多少轮保存一次模型 |
eval_batch_step | [0, 1000] | 第 1000 个 iteration 后每隔多少 iteration 评估 |
cal_metric_during_train | False | 训练过程中是否计算指标 |
pretrained_model | 空 | 预训练模型路径 |
checkpoints | 空 | 断点续训模型路径(优先级高于 pretrained_model) |
save_inference_dir | 空 | 导出 inference 模型保存目录 |
use_visualdl | False | 是否使用 VisualDL 可视化 |
infer_img | 空 | 预测图片路径 |
infer_visual_type | EN | 可视化类型:EN 用于英文数据集,CN 用于中文数据集 |
valid_set | totaltext | totaltext 对应弯曲文本,partvgg 对应非弯曲文本 |
save_res_path | ./output/pgnet_r50_vd_totaltext/predicts_pgnet.txt | 测试集检测结果文件 |
character_dict_path | ppocr/utils/ic15_dict.txt | 字符字典路径 |
character_type | EN | 字符类型 |
max_text_length | 50 | 序列最大长度 |
max_text_nums | 30 | 单张图片中文本行最大数量 |
tcl_len | 64 | TCL 中心线长度(对应 Loss 中的 tcl_bs) |
Architecture(网络结构)
| 参数 | 取值 | 说明 |
|---|---|---|
model_type | e2e | 模型类型 |
algorithm | PGNet | 端到端算法 |
Backbone.name | ResNet | 骨干网络 |
Backbone.layers | 50 | 骨干网络深度(ResNet-50) |
Neck.name | PGFPN | 特征融合网络 |
Head.name | PGHead | 预测头 |
Head.character_dict_path | ppocr/utils/ic15_dict.txt | 与 Global.character_dict_path 保持一致 |
Loss(损失函数)
| 参数 | 默认值 | 说明 |
|---|---|---|
name | PGLoss | 损失函数名称 |
tcl_bs | 64 | TCL 相关 batch 大小 |
max_text_length | 50 | 与 Global 保持一致 |
max_text_nums | 30 | 与 Global 保持一致 |
pad_num | 36 | 字典 padding 长度 |
Optimizer(优化器)
name: Adam,beta1: 0.9,beta2: 0.999;- 学习率
lr.name: Cosine(余弦退火),learning_rate: 0.001,warmup_epoch: 50; - 正则化
regularizer.name: L2,factor: 0.0001。
PostProcess(后处理)
| 参数 | 默认值 | 说明 |
|---|---|---|
name | PGPostProcess | 后处理名称 |
score_thresh | 0.5 | 中心线得分阈值 |
mode | fast | 后处理模式:fast 或 slow |
point_gather_mode | align | 与训练端 PGProcessTrain 的 point_gather_mode 保持一致,align 模式优于 none 模式 |
Metric(评估指标)
| 参数 | 默认值 | 说明 |
|---|---|---|
name | E2EMetric | 端到端评估指标 |
mode | A | 两种评估方式:A 从 txt 标注读取,B 从 gt_mat 读取 |
gt_mat_dir | ./train_data/total_text/gt | gt_mat 目录 |
character_dict_path | ppocr/utils/ic15_dict.txt | 字典路径 |
main_indicator | f_score_e2e | 主指标为端到端 F-score |
Train / Eval(数据与加载器)
训练数据流通过 PGDataSet 完成,核心 transform 包括:
DecodeImage:图像解码,img_mode: BGR,channel_first: False;E2ELabelEncodeTrain:编码端到端训练标签;PGProcessTrain:生成 TCL/border/direction 等训练监督图。关键参数:use_resize: True(使用缩放)、use_random_crop: False、min_crop_size: 24、min_text_size: 4、max_text_size: 512、point_gather_mode: align;KeepKeys:指定返回给 DataLoader 的字段顺序:images, tcl_maps, tcl_label_maps, border_maps, direction_maps, training_masks, label_list, pos_list, pos_mask。
Loader 配置:shuffle: True、drop_last: True、batch_size_per_card: 14(需与 PGProcessTrain.batch_size 一致)、num_workers: 16。
Eval 端使用 E2ELabelEncodeTest 与 E2EResizeForTest(max_side_len: 768),并依次经过 NormalizeImage(mean/std 为 ImageNet 统计值)、ToCHWImage 归一化流水线;评估时 batch_size_per_card 必须为 1。
六、模型评估
PaddleOCR 计算三个 OCR 端到端相关的指标,分别是:Precision、Recall、Hmean。
运行如下代码,根据配置文件 e2e_r50_vd_pg.yml 中 save_res_path 指定的测试集检测结果文件,计算评估指标:
python3 tools/eval.py -c configs/e2e/e2e_r50_vd_pg.yml -o Global.checkpoints="{path/to/weights}/best_accuracy"
评估要点:
- 评估时设置后处理参数
max_side_len=768;使用不同数据集、不同模型训练时,可调整该参数进行优化; - 训练中模型参数默认保存在
Global.save_model_dir目录下; - 评估指标时,需要设置
Global.checkpoints指向保存的参数文件。
七、模型预测与推理
7.1 训练模型预测
测试单张图像的端到端识别效果:
python3 tools/infer_e2e.py -c configs/e2e/e2e_r50_vd_pg.yml -o Global.infer_img="./doc/imgs_en/img_10.jpg" Global.pretrained_model="./output/e2e_pgnet/best_accuracy" Global.load_static_weights=false
测试文件夹下所有图像的端到端识别效果:
python3 tools/infer_e2e.py -c configs/e2e/e2e_r50_vd_pg.yml -o Global.infer_img="./doc/imgs_en/" Global.pretrained_model="./output/e2e_pgnet/best_accuracy" Global.load_static_weights=false
7.2 导出 inference 模型
首先将 PGNet 端到端训练过程中保存的模型转换成 inference model。以基于 Resnet50_vd 骨干网络、以英文数据集训练的模型为例,可以使用如下命令进行转换:
wget https://paddleocr.bj.bcebos.com/dygraph_v2.0/pgnet/en_server_pgnetA.tar && tar xf en_server_pgnetA.tar
python3 tools/export_model.py -c configs/e2e/e2e_r50_vd_pg.yml -o Global.pretrained_model=./en_server_pgnetA/best_accuracy Global.load_static_weights=False Global.save_inference_dir=./inference/e2e
7.3 四边形文本检测模型推理(ICDAR2015 / partvgg)
对于近似直线的四边形文本,推理时需要设置参数 --e2e_algorithm="PGNet" 与 --e2e_pgnet_valid_set="partvgg":
python3 tools/infer/predict_e2e.py --e2e_algorithm="PGNet" --image_dir="./doc/imgs_en/img_10.jpg" --e2e_model_dir="./inference/e2e/" --e2e_pgnet_valid_set="partvgg"
可视化文本检测结果默认保存到 ./inference_results 文件夹里面,结果文件的名称前缀为 e2e_res,效果示例如下:
7.4 弯曲文本检测模型推理(Total-Text)
对于弯曲文本样例,推理时需要设置参数 --e2e_algorithm="PGNet",同时还需要增加参数 --e2e_pgnet_valid_set="totaltext":
python3 tools/infer/predict_e2e.py --e2e_algorithm="PGNet" --image_dir="./doc/imgs_en/img623.jpg" --e2e_model_dir="./inference/e2e/" --e2e_pgnet_valid_set="totaltext"
可视化文本端到端结果默认保存到 ./inference_results 文件夹里面,结果文件的名称前缀为 e2e_res。
八、后处理与损失函数的源码级解析
8.1 端到端评估指标的计算
PaddleOCR 的端到端评估在 ppocr/metrics/e2e_metric.py 中实现,统计维度包括:
- 端到端 Precision(e2e_precision):预测结果中同时满足"检测框正确且识别文本正确"的比例;
- 端到端 Recall(e2e_recall):真实标注中被正确检测且正确识别的比例;
- Hmean / f_score_e2e:两者的调和平均,是配置文件
Metric.main_indicator指定的主指标。
8.2 PGLoss 的损失构成
ppocr/losses/e2e_pg_loss.py 中的 PGLoss 由四部分加权组合而成(见 forward 中 loss_all = score_loss + border_loss + direction_loss + 5 * ctc_loss):
| 损失项 | 监督目标 | 实现要点 |
|---|---|---|
score_loss | TCL 中心线得分图 f_score | 与 tcl_maps 计算 DiceLoss,配合 training_masks 掩码 |
border_loss | TBO 边缘偏移图 f_border | 基于 smooth L1 风格的逐点回归损失(abs < 1 时用二次项,否则用线性项),并以中心线得分与掩码加权 |
direction_loss | TDO 方向偏移图 f_direction | 与 border_loss 同构的 smooth L1 回归损失 |
ctc_loss | TCC 字符分类图 f_char | 通过 pos_list/pos_mask 沿 TCL 中心线按方向 gather 字符特征序列,再送入 paddle.nn.functional.ctc_loss,blank 取 pad_num;在总损失中权重为 5 |
PGLoss 输入 labels 的字段顺序与训练配置中 KeepKeys.keep_keys 完全对应:images, tcl_maps, tcl_label_maps, border_maps, direction_maps, training_masks, label_list, pos_list, pos_mask。
8.3 PGPostProcess 的 fast / slow 两种解码模式
ppocr/postprocess/pg_postprocess.py 中的 PGPostProcess 根据配置 mode 选择两种解码路径,底层实现位于 ppocr/utils/e2e_utils/pgnet_pp_utils.py:
- fast 模式(默认,对应
PostProcess.mode: fast):调用generate_pivot_list_fast与restore_poly,从f_score中心线得分上按阈值提取关键点(pivot point),结合f_direction排序、f_char解码字符,最后利用f_border恢复文本多边形,整个过程无需 NMS 与 ROI; - slow 模式(
mode: slow):调用generate_pivot_list_slow,逐点沿中心线行走生成点序列,精度更高但耗时更长,适合对速度不敏感的离线场景; - 两个模式都会依据
valid_set决定是否按弯曲文本(totaltext)处理:从源码看,slow 模式在valid_set == "totaltext"时会把边缘偏移量offset_expand调整为 1.2,使恢复出的多边形向外扩展,从而更好地贴合弯曲文本。
九、总结
PGNet 是 PaddleOCR 中开箱即用的端到端 OCR 方案:它通过 TBO/TCL/TDO/TCC 四个分支在一个网络中同时完成检测与识别,配合 PGLoss 免去了字符级标注成本,后处理中不依赖 NMS 与 ROI,因而模型更小、预测更快,且天然支持 Total-Text 风格的弯曲文本。在 PaddleOCR 中使用 PGNet 的完整链路包括:配置环境与克隆项目(environment.md、clone.md)→ 下载或训练模型(e2e_r50_vd_pg.yml)→ 使用 predict_e2e.py 推理(注意区分 totaltext 与 partvgg 两种 valid_set)。读者可依据本文的配置表格与命令,在自有数据集上按标注格式构建数据,完成从训练、评估到导出的全流程落地。
转载自 CSDN-专业IT技术社区
原文链接:https://blog.csdn.net/gitblog_00224/article/details/157403939






