一、简介

【本章配图:96.jpg —— 淘宝九宫格验证码完整截图】
经常和验证码打交道的朋友应该都有体会:市面上的验证码五花八门,滑块、点选文字、点选图标、空间推理……应有尽有。但今天要聊的淘宝九宫格验证码,是我把主流验证码逐一捋过之后,印象最深、也最“刁钻”的一个。
先看上面这张完整截图(96.jpg)。页面顶部是一行提示“请选择符合描述的所有图片”,下方是一块粉红色区域,再往下是九张物品图片:带小狗图案的马克杯、热气球、灯泡、帐篷、蜜蜂杯、番茄手机壳、鼠标……乍一看,和普通点选验证码没什么两样。
不,玄机全在那块“粉红色区域”里。
这块区域本该显示本轮验证码的文字描述提示词,比如“请点击所有包含动物的物品”。但它实际上是一张动态渲染的图片,肉眼看去不断闪烁——文字在里面一闪一闪,凑近盯着看,勉强能分辨出提示内容。可一旦截图,画面就“定格”在文字消失的那一瞬间,截出来只剩一片噪点,什么文字都看不到。
我放一张实际截图给大家感受一下,也就是后文提到的“小图”示例(96-2.jpg):整张图密密麻麻全是彩色噪点像素,肉眼几乎看不出任何有效信息。换句话说,这个验证码从设计上就堵死了“截图喂给 OCR 或大模型”这条最常见的路子——提示词根本不给你截到。

【本章配图:96-2.jpg —— 闪烁提示词的截图效果,几乎全是噪点】
再说说九宫格本身。这九张物品图也一点都不“安分”:
第一,物品千奇百怪。马克杯上印着小狗、手机壳上印着番茄、行李箱上印着苹果、T 恤上印着葡萄,还有灯泡、金鱼、海星、冰淇淋……提示词问的往往不是物品本身,而是物品上的图案、材质、颜色和语义属性,组合方式非常多。
第二,干扰项极多。同一轮九宫格里,可能出现“两个都印着狗的马克杯”“两个外观相似的鼠标”“印着同一品牌图案的行李箱”,稍不注意就会多选或漏选。而且题目要求“选出所有符合描述的图片”,并非只选一个,漏一个、错一个都直接判失败。
第三,图片风格混杂。实物图、插画、白底图、场景图混在一起,光照、角度、构图差异很大,模型的泛化难度陡增。
第四,提示词表述灵活。“没有新图片可以点击后,请点击提交”这类流程性提示和内容性提示混在一起,语义理解本身就是一道坎。
一边是肉眼看得到、截图看不到的闪烁提示词,一边是语义复杂、干扰项密集的九宫格图片——两者叠加,让这个验证码成为目前市面上公认难度最高的点选类验证码之一。市面上不少号称“全能”的识别方案,在它面前基本直接哑火。这也是我们专门针对它做深度优化的原因。
二、图片要求
要识别这类验证码,第一步是正确地“取材”。需要准备两张图:

【本章配图:96-1.jpg —— 九宫格大图(img1)】
1、大图(img1):九宫格图片
大图是包含全部 9 张物品图片的最小区域截图。不要多截,也不要少截——多截会引入无关像素干扰,少截会丢失物品导致漏选。实际操作中,我是直接定位页面上 id 为 “click-captcha-question-container” 的 div 元素进行截图的,这个容器正好包裹整个九宫格,边界干净、位置稳定,是理想的截取目标。
上面这张 96-1.jpg 就是标准的大图示例:灯泡、海星、印着小狗的 T 恤、行李箱、金鱼插画、苹果行李箱、葡萄 T 恤、棕色手提包、冰淇淋,九张图整整齐齐,没有任何多余内容。
2、小图(img2):文本提示图片

【本章配图:96-2.jpg —— 文本提示小图】
小图是那条闪烁文字提示词的截图,对应的页面元素是 id 为 “click-question-canvas” 的 canvas,直接对这个 canvas 截图即可。
这里要注意前面提到的“反截图”特性:由于提示词是动态闪烁渲染的,直接截 canvas 拿到的往往就是一片噪点(就像 96-2.jpg 那样)。这不是你截错了,而是这个验证码的“设计本性”。如何从这样的图里恢复出有效提示信息,正是整个识别链路中最核心的难点之一,也是我们识别接口的价值所在——具体怎么做,涉及我们的核心技术方案,恕不展开。
总结一下取材要求:
大图 img1:截取 id=“click-captcha-question-container” 的 div,包含完整九宫格;
小图 img2:截取 id=“click-question-canvas” 的 canvas,即闪烁提示词区域。
两张图都建议保持原始分辨率,不做缩放压缩,直接以 PNG 或高质量 JPEG 编码提交,识别效果最稳。
三、识别代码
import base64
import requests
import datetime
from io import BytesIO
from PIL import Image
t1 = datetime.datetime.now()
#PIL图片保存为base64编码
def PIL_base64(img, coding='utf-8'):
img_format = img.format
if img_format == None:
img_format = 'JPEG'
format_str = 'JPEG'
if 'png' == img_format.lower():
format_str = 'PNG'
if 'gif' == img_format.lower():
format_str = 'gif'
if img.mode == "P":
img = img.convert('RGB')
if img.mode == "RGBA":
format_str = 'PNG'
img_format = 'PNG'
output_buffer = BytesIO()
# img.save(output_buffer, format=format_str)
img.save(output_buffer, quality=100, format=format_str)
byte_data = output_buffer.getvalue()
base64_str = 'data:image/' + img_format.lower() + ';base64,' + base64.b64encode(byte_data).decode(coding)
# base64_str = base64.b64encode(byte_data).decode(coding)
return base64_str
# 加载图片
img1 = Image.open(r'E:\Python\lixin_project\OpenAPI接口测试\test_img\96-1.jpg')
img2 = Image.open(r'E:\Python\lixin_project\OpenAPI接口测试\test_img\96-2.jpg')
# 图片转base64
img1_base64 = PIL_base64(img1)
img2_base64 = PIL_base64(img2)
# 验证码识别接口
# 可以根据自己网络情况选择不同接口
# http://bq1gpmr8.xiaomy.net(电信)
# http://220.167.181.200:9009(移动、电信、联通)
# 验证码识别接口
url = "http://220.167.181.200:9009/openapi/verify_code_identify/"
data = {
# 用户的key
"key":"ZcR5afJnDevDiFZsDI8F",
# 验证码类型
"verify_idf_id":"96",
# 样例图片
"img1":img1_base64,
"img2":img2_base64,
}
header = {"Content-Type": "application/json"}
# 发送请求调用接口
response = requests.post(url=url, json=data, headers=header)
# 获取响应数据,识别结果
print(response.text)
print("耗时:", datetime.datetime.now() - t1)
代码里的几个关键点说明一下:
-
verify_idf_id 填 "96",对应的就是淘宝这种闪动九宫格验证码类型。我们平台给每一类验证码都分配了独立的类型编号,识别模型也是按类型专门训练和调优的,不是那种"一个通用模型打天下"的糊弄方案。
-
img1 传九宫格大图,img2 传闪烁提示词小图,两图一一对应提交。接口内部会完成提示内容的理解与九宫格物品的匹配,直接返回需要点击的目标及坐标结果。
-
PIL_base64 这个工具函数处理了 P 模式、RGBA 透明通道等常见图片模式的兼容问题,并按 quality=100 高质量编码,避免压缩损耗影响识别精度。大家拿到自己的截图后套用即可。
-
可以根据自己网络情况选择不同接入点(电信线路或三网通用线路),延迟都很低,整个请求通常在极短时间内返回。
大家可以看到,整个接入过程不超过五十行代码,没有复杂的环境配置,没有模型部署,没有GPU要求,一个HTTP请求搞定。把最难的部分全部留在了云端,把最简单的部分开放给使用者。
四、写在最后
淘宝这个闪动九宫格验证码,从"提示词闪烁反截图"到"高干扰语义九宫格",可以说是把反自动化做到了相当细致的程度。自己从头做识别,要同时啃下动态渲染对抗、噪点环境下的信息恢复、复杂语义匹配、多目标定位几座大山,投入的精力、数据和算力成本非常高,而且验证码样式一更新又得推倒重来。
如果你也被这类验证码卡住了进度,不妨直接试试我们的识别接口:按类型专模专训、HTTP接口开箱即用、识别速度快、价格便宜,几句代码就能跑通上面的示例。把时间花在业务上,验证码这种脏活累活交给我们。
想了解更多验证码识别,请访问:

转载自 CSDN-专业IT技术社区
原文链接:https://blog.csdn.net/Dxy1239310216/article/details/170844381




