使用tensorflow卷积神经网络,进行字符型图片验证码识别

cnn_captcha 字符型图片验证码识别

本项目针对字符型图片验证码,使用tensorflow实现卷积神经网络,进行验证码识别。项目封装了比较通用的校验、训练、验证、识别、API模块,极大的减少了识别字符型验证码花费的时间和精力。

使用tensorflow卷积神经网络,进行字符型图片验证码识别
tensorflow卷积神经网络识别字符型图片验证码

验证码识别大多是爬虫会遇到的问题,也可以作为图像识别的入门案例。目前通常使用如下几种方法:

方法名称相关要点
tesseract仅适合识别没有干扰和扭曲的图片,训练起来很麻烦
其他开源识别库不够通用,识别率未知
付费OCR API需求量大的情形成本很高
图像处理+机器学习分类算法涉及多种技术,学习成本高,且不通用
卷积神经网络一定的学习成本,算法适用于多类验证码

这里说一下使用传统的图像处理和机器学习算法,涉及多种技术:

图像处理

  • 前处理(灰度化、二值化)
  • 图像分割
  • 裁剪(去边框)
  • 图像滤波、降噪
  • 去背景
  • 颜色分离
  • 旋转

机器学习

  • KNN
  • SVM

使用这类方法对使用者的要求较高,且由于图片的变化类型较多,处理的方法不够通用,经常花费很多时间去调整处理步骤和相关算法。
而使用卷积神经网络,只需要通过简单的前处理,就可以实现大部分静态字符型验证码的端到端识别,效果很好,通用性很高。

cnn_captcha 安装

注意:如果需要使用GPU进行训练,请把文件中的tenforflow修改为tensorflow-gpu

模型结构

序号层级
输入input
1卷积层 + 池化层 + 降采样层 + ReLU
2卷积层 + 池化层 + 降采样层 + ReLU
3卷积层 + 池化层 + 降采样层 + ReLU
4全连接 + 降采样层 + Relu
5全连接 + softmax
输出output

cnn_captcha 使用

数据集

原始数据集可以存放在./sample/origin目录中。
为了便于处理,图片最好以2e8j_17322d3d4226f0b5c5a71d797d2ba7f7.jpg格式命名(标签_序列号.后缀)。

如果你没有训练集,你可以使用gen_sample_by_captcha.py文件生成训练集文件。 生成之前你需要修改相关配置conf/captcha_config.json(路径、文件后缀、字符集等)。

配置文件

创建一个新项目前,需要自行修改相关配置文件conf/sample_config.json

关于验证码识别结果类别,假设你的样本是中文验证码,你可以使用tools/collect_labels.py脚本进行标签的统计。 会生成文件gen_image/labels.json存放所有标签,在配置文件中设置use_labels_json_file = True开启读取labels.json内容作为结果类别

验证和拆分数据集

此功能会校验原始图片集的尺寸和测试图片是否能打开,并按照19:1的比例拆分出训练集和测试集。
所以需要分别创建和指定三个文件夹:origin,train,test用于存放相关文件。

也可以修改为不同的目录,但是最好修改为绝对路径。
文件夹创建好之后,执行以下命令即可:

一般会有类似下面的提示

程序会同时校验和分割origin_image_dirnew_image_dir两个目录中的图片;后续有了更多的样本,可以把样本放在new_image_dir目录中再次执行verify_and_split_data
程序会把无效的文件留在原文件夹。

此外,当你有新的样本需要一起训练,可以放在sample/new目录下,再次运行python3 verify_and_split_data.py即可。
需要注意的是,如果新的样本中有新增的标签,你需要把新的标签增加到char_set配置中或者labels.json文件中。

训练模型

创建好训练集和测试集之后,就可以开始训练模型了。
训练的过程中会输出日志,日志展示当前的训练轮数、准确率和loss。
此时的准确率是训练集图片的准确率,代表训练集的图片识别情况
例如:

字符准确率和图片准确率的解释:

这里不具体介绍tensorflow安装相关问题,直奔主题。
确保图片相关参数和目录设置正确后,执行以下命令开始训练:

也可以根据train_model.pymain函数中的代码调用类开始训练或执行一次简单的识别演示。

由于训练集中常常不包含所有的样本特征,所以会出现训练集准确率是100%而测试集准确率不足100%的情况,此时提升准确率的一个解决方案是增加正确标记后的负样本。

批量验证

使用测试集的图片进行验证,输出准确率。

同样可以根据main函数中的代码调用类开始验证。

启动WebServer

项目已经封装好加载模型和识别图片的类,启动web server后调用接口就可以使用识别服务。
启动web server

接口url为http://127.0.0.1:6000/b

调用接口识别

使用requests调用接口:

返回的结果是一个json:

文件recognize_local.py是使用接口识别本地的例子,这个例子运行成功,那么识别验证码的一套流程基本上是走了一遍了。
在线识别验证码是显示中常用场景,文件recognize_online.py是使用接口在线识别的例子,参见:## 2.11 在线识别

部署

部署的时候,把webserver_recognize_api.py文件的最后一行修改为如下内容:

然后开启端口访问权限,就可以通过外网访问了。
另外为了开启多进程处理请求,可以使用uwsgi+nginx组合进行部署。
这部分可以参考:Flask部署选择

部署多个模型

部署多个模型: 在webserver_recognize_api.py文件汇总,新建一个Recognizer对象;
并参照原有up_image函数编写的路由和识别逻辑。

注意修改这一行:

在线识别

在线识别验证码是显示中常用场景,即实时获取目标验证码来调用接口进行识别。
为了测试的完整性,这里搭建了一个验证码获取接口,通过执行下面的命令启动:

启动后通过访问此地址:http://127.0.0.1:6100/captcha/可以接收到验证码图片的二进制流文件。
具体进行在线识别任务的demo参见:recognize_online.py

项目地址:https://github.com/nickliqian/cnn_captcha