detayun头像
淘宝闪动九宫格验证码识别——号称“反截图“的新型点选验证码,到底有多难?封面图

淘宝闪动九宫格验证码识别——号称“反截图“的新型点选验证码,到底有多难?

一、简介

【本章配图:96.jpg —— 淘宝九宫格验证码完整截图】

经常和验证码打交道的朋友应该都有体会:市面上的验证码五花八门,滑块、点选文字、点选图标、空间推理……应有尽有。但今天要聊的淘宝九宫格验证码,是我把主流验证码逐一捋过之后,印象最深、也最“刁钻”的一个。

先看上面这张完整截图(96.jpg)。页面顶部是一行提示“请选择符合描述的所有图片”,下方是一块粉红色区域,再往下是九张物品图片:带小狗图案的马克杯、热气球、灯泡、帐篷、蜜蜂杯、番茄手机壳、鼠标……乍一看,和普通点选验证码没什么两样。

不,玄机全在那块“粉红色区域”里。

这块区域本该显示本轮验证码的文字描述提示词,比如“请点击所有包含动物的物品”。但它实际上是一张动态渲染的图片,肉眼看去不断闪烁——文字在里面一闪一闪,凑近盯着看,勉强能分辨出提示内容。可一旦截图,画面就“定格”在文字消失的那一瞬间,截出来只剩一片噪点,什么文字都看不到。

我放一张实际截图给大家感受一下,也就是后文提到的“小图”示例(96-2.jpg):整张图密密麻麻全是彩色噪点像素,肉眼几乎看不出任何有效信息。换句话说,这个验证码从设计上就堵死了“截图喂给 OCR 或大模型”这条最常见的路子——提示词根本不给你截到。

【本章配图:96-2.jpg —— 闪烁提示词的截图效果,几乎全是噪点】

再说说九宫格本身。这九张物品图也一点都不“安分”:

第一,物品千奇百怪。马克杯上印着小狗、手机壳上印着番茄、行李箱上印着苹果、T 恤上印着葡萄,还有灯泡、金鱼、海星、冰淇淋……提示词问的往往不是物品本身,而是物品上的图案、材质、颜色和语义属性,组合方式非常多。

第二,干扰项极多。同一轮九宫格里,可能出现“两个都印着狗的马克杯”“两个外观相似的鼠标”“印着同一品牌图案的行李箱”,稍不注意就会多选或漏选。而且题目要求“选出所有符合描述的图片”,并非只选一个,漏一个、错一个都直接判失败。

第三,图片风格混杂。实物图、插画、白底图、场景图混在一起,光照、角度、构图差异很大,模型的泛化难度陡增。

第四,提示词表述灵活。“没有新图片可以点击后,请点击提交”这类流程性提示和内容性提示混在一起,语义理解本身就是一道坎。

一边是肉眼看得到、截图看不到的闪烁提示词,一边是语义复杂、干扰项密集的九宫格图片——两者叠加,让这个验证码成为目前市面上公认难度最高的点选类验证码之一。市面上不少号称“全能”的识别方案,在它面前基本直接哑火。这也是我们专门针对它做深度优化的原因。

二、图片要求

要识别这类验证码,第一步是正确地“取材”。需要准备两张图:

【本章配图:96-1.jpg —— 九宫格大图(img1)】

1、大图(img1):九宫格图片

大图是包含全部 9 张物品图片的最小区域截图。不要多截,也不要少截——多截会引入无关像素干扰,少截会丢失物品导致漏选。实际操作中,我是直接定位页面上 id 为 “click-captcha-question-container” 的 div 元素进行截图的,这个容器正好包裹整个九宫格,边界干净、位置稳定,是理想的截取目标。

上面这张 96-1.jpg 就是标准的大图示例:灯泡、海星、印着小狗的 T 恤、行李箱、金鱼插画、苹果行李箱、葡萄 T 恤、棕色手提包、冰淇淋,九张图整整齐齐,没有任何多余内容。

2、小图(img2):文本提示图片

【本章配图:96-2.jpg —— 文本提示小图】

小图是那条闪烁文字提示词的截图,对应的页面元素是 id 为 “click-question-canvas” 的 canvas,直接对这个 canvas 截图即可。

这里要注意前面提到的“反截图”特性:由于提示词是动态闪烁渲染的,直接截 canvas 拿到的往往就是一片噪点(就像 96-2.jpg 那样)。这不是你截错了,而是这个验证码的“设计本性”。如何从这样的图里恢复出有效提示信息,正是整个识别链路中最核心的难点之一,也是我们识别接口的价值所在——具体怎么做,涉及我们的核心技术方案,恕不展开。

总结一下取材要求:

大图 img1:截取 id=“click-captcha-question-container” 的 div,包含完整九宫格;
小图 img2:截取 id=“click-question-canvas” 的 canvas,即闪烁提示词区域。

两张图都建议保持原始分辨率,不做缩放压缩,直接以 PNG 或高质量 JPEG 编码提交,识别效果最稳。

三、识别代码


import base64
import requests
import datetime
from io import BytesIO
from PIL import Image

t1 = datetime.datetime.now()

#PIL图片保存为base64编码
def PIL_base64(img, coding='utf-8'):
    img_format = img.format
    if img_format == None:
        img_format = 'JPEG'

    format_str = 'JPEG'
    if 'png' == img_format.lower():
        format_str = 'PNG'
    if 'gif' == img_format.lower():
        format_str = 'gif'

    if img.mode == "P":
        img = img.convert('RGB')
    if img.mode == "RGBA":
        format_str = 'PNG'
        img_format = 'PNG'

    output_buffer = BytesIO()
    # img.save(output_buffer, format=format_str)
    img.save(output_buffer, quality=100, format=format_str)
    byte_data = output_buffer.getvalue()
    base64_str = 'data:image/' + img_format.lower() + ';base64,' + base64.b64encode(byte_data).decode(coding)
    # base64_str = base64.b64encode(byte_data).decode(coding)

    return base64_str

# 加载图片
img1 = Image.open(r'E:\Python\lixin_project\OpenAPI接口测试\test_img\96-1.jpg')
img2 = Image.open(r'E:\Python\lixin_project\OpenAPI接口测试\test_img\96-2.jpg')
# 图片转base64
img1_base64 = PIL_base64(img1)
img2_base64 = PIL_base64(img2)

# 验证码识别接口
# 可以根据自己网络情况选择不同接口
# http://bq1gpmr8.xiaomy.net(电信)
# http://220.167.181.200:9009(移动、电信、联通)

# 验证码识别接口
url = "http://220.167.181.200:9009/openapi/verify_code_identify/"
data = {
    # 用户的key
    "key":"ZcR5afJnDevDiFZsDI8F",
    # 验证码类型
    "verify_idf_id":"96",
    # 样例图片
    "img1":img1_base64,
    "img2":img2_base64,
}

header = {"Content-Type": "application/json"}

# 发送请求调用接口
response = requests.post(url=url, json=data, headers=header)

# 获取响应数据,识别结果
print(response.text)
print("耗时:", datetime.datetime.now() - t1)

代码里的几个关键点说明一下:

  1. verify_idf_id 填 "96",对应的就是淘宝这种闪动九宫格验证码类型。我们平台给每一类验证码都分配了独立的类型编号,识别模型也是按类型专门训练和调优的,不是那种"一个通用模型打天下"的糊弄方案。

  2. img1 传九宫格大图,img2 传闪烁提示词小图,两图一一对应提交。接口内部会完成提示内容的理解与九宫格物品的匹配,直接返回需要点击的目标及坐标结果。

  3. PIL_base64 这个工具函数处理了 P 模式、RGBA 透明通道等常见图片模式的兼容问题,并按 quality=100 高质量编码,避免压缩损耗影响识别精度。大家拿到自己的截图后套用即可。

  4. 可以根据自己网络情况选择不同接入点(电信线路或三网通用线路),延迟都很低,整个请求通常在极短时间内返回。

大家可以看到,整个接入过程不超过五十行代码,没有复杂的环境配置,没有模型部署,没有GPU要求,一个HTTP请求搞定。把最难的部分全部留在了云端,把最简单的部分开放给使用者。

四、写在最后

淘宝这个闪动九宫格验证码,从"提示词闪烁反截图"到"高干扰语义九宫格",可以说是把反自动化做到了相当细致的程度。自己从头做识别,要同时啃下动态渲染对抗、噪点环境下的信息恢复、复杂语义匹配、多目标定位几座大山,投入的精力、数据和算力成本非常高,而且验证码样式一更新又得推倒重来。

如果你也被这类验证码卡住了进度,不妨直接试试我们的识别接口:按类型专模专训、HTTP接口开箱即用、识别速度快、价格便宜,几句代码就能跑通上面的示例。把时间花在业务上,验证码这种脏活累活交给我们。

想了解更多验证码识别,请访问:

转载自 CSDN-专业IT技术社区

原文链接:https://blog.csdn.net/Dxy1239310216/article/details/170844381

文章来源转载

评论

评论列表

微信小程序
QQ小程序

关于作者

点赞数:0
关注数:0
粉丝:0
文章:0
关注标签:0
加入于:--