python如何绕过ssl验证(2022年崔庆才)
各类网站采用了各种各样的措施来反爬虫,其中一个措施便是使用验证码。随着技术的发展,验证码的花样越来越多。验证码最初是几个数字组合的简单的图形,后来加入了英文字母和混淆曲线。还有一些网站使用了中文字符验证码,这使得识别愈发困难。
12306 验证码的出现使得行为验证码开始发展起来,用过 12306 的用户肯定多少为它的验证码头疼过,我们需要识别文字,点击与文字描述相符的图片,验证码完全正确,验证才能通过。随着技术的发展,现在这种交互式验证码越来越多,如滑动验证码需要将对应的滑块拖动到指定位置才能完成验证,点选验证码则需要点击正确的图形或文字才能通过验证。
验证码变得越来越复杂,爬虫的工作也变得越发艰难,有时候我们必须通过验证码的验证才可以访问页面。
本章就针对验证码的识别进行统一讲解,涉及的验证码有普通图形验证码、滑动验证码、点选验证码、手机验证码等,这些验证码识别的方式和思路各有不同,有直接使用图像处理库完成的,有的则是借助于深度学习技术完成的,有的则是借助于一些工具和平台完成的。虽然说技术各有不同,但了解这些验证码的识别方式之后,我们可以举一反三,用类似的方法识别其他类型验证码。
我们首先来看最简单的一种验证码,即图形验证码,这种验证码最早出现,现在依然也很常见,一般由 4 位左右字母或者数字组成。
例如这个案例网站 https://captcha7.scrape.center/ 就可以看到类似的验证码,如图所示:
这类验证码整体上比较规整,没有过多干扰线和干扰点,且文字没有大幅度的变形和旋转。
对于这一类的验证码我们就可以使用 OCR 技术来进行识别。
1. OCR 技术OCR,即 Optical Character Recognition,中文翻译叫做光学字符识别。它是指电子设备(例如扫描仪或数码相机)检查纸上打印的字符,通过检测暗、亮的模式确定其形状,然后用字符识别方法将形状翻译成计算机文字的过程。OCR 现在已经广泛应用于生产生活中,如文档识别、证件识别、字幕识别、文档检索等等。当然对于本节所述的图形验证码的识别也没有问题。
本节我们会以当前示例网站的验证码为例来讲解利用 OCR 来识别图形验证码的流程,输入上是一上图验证码的图片,输出就是验证码识别结果。
2. 准备工作识别图形验证码需要 Tesserocr 库,本库的安装相对没有那么简单,可以参考 https://setup.scrape.center/tesserocr
另外在本节学习过程中还需要安装 Selenium、Pillow、numpy,Retrying 库用作模拟登录、图像处理和操作重试,我们可以使用 pip3 来进行安装:
pip3 install selenium pillow numpy retrying
如果某个库安装有问题,可以参考如下链接:
- Selenium:https://setup.scrape.center/selenium
- Pillow:https://setup.scrape.center/pillow
- Numpy:https://setup.scrape.center/numpy
- retrying:https://setup.scrape.center/retrying
安装好了如上库之后,我们就可以开始本节的学习了。
3. 获取验证码为了便于实验,我们先将验证码的图片保存到本地。
我们可以在浏览器中打开上述示例网站,然后右键点击这张验证码图片,将其保存到本地,命名为 captcha.png,示例如图所示:
这样我们就可以得到一张验证码图片,以供测试识别使用。
4. 识别测试接下来新建一个项目,将验证码图片放到项目根目录下,用 tesserocr 库识别该验证码,代码如下所示:
import tesserocr
from PIL import Image
image = Image.open('captcha.png')
result = tesserocr.image_to_text(image)
print(result)
在这里我们新建了一个 Image 对象,调用了 tesserocr 的 image_to_text方法。传入该 Image 对象即可完成识别,实现过程非常简单,结果如下所示:
d241
另外,tesserocr 还有一个更加简单的方法,这个方法可直接将图片文件转为字符串,代码如下所示:
import tesserocr
print(tesserocr.file_to_text('captcha.png'))
可以得到同样的输出结果。
这时候我们可以看到,通过 OCR 技术我们便可以成功识别出验证码的内容了。
5. 验证码处理接下来我们换一个验证码,将其命名为 captcha2.png,如图所示。
重新用下面的代码来测试:
import tesserocr
from PIL import Image
image = Image.open('captcha2.png')
result = tesserocr.image_to_text(image)
print(result)
可以看到如下输出结果:
-b32d
这次识别和实际结果有偏差,多了一些干扰结果,这是因为验证码内的多余的点干扰了图像的识别,导致出现了一些多余的内容。
对于这种情况,我们可以需要做一下额外的处理,把一些干扰信息去掉。
这里观察到图片里面其实有一些杂乱的点,而这些点的颜色大都比文本更浅一点,因此我们可以做一些预处理,将干扰的点通过颜色来排除掉。
我们可以首先将原来的图像转化为数组看下维度:
import tesserocr
from PIL import Image
import numpy as np
image = Image.open('captcha2.png')
print(np.array(image).shape)
print(image.mode)
运行结果如下:
(38, 112, 4)
RGBA
可以发现这个图片其实是一个三维数组,前两维 38 和 112 代表其高和宽,最后一维 4 则是每个像素点的表示向量。为什么是 4 呢,因为最后一维是一个长度为 4 的数组,分别代表 R(红色)、G(绿色)、B(蓝色)、A(透明度),即一个像素点有四个数字表示。那为什么是 RGBA 四个数字而不是 RGB 或其他呢?这是因为 image 的模式 mode 是 RGBA,即有透明通道的真彩色,我们看到第二行输出也印证了这一点。
模式 mode 定义了图像的类型和像素的位宽,一共有 9 种类型:
- 1:像素用 1 位表示,Python 中表示为 True 或 False,即二值化。
- L:像素用 8 位表示,取值 0-255,表示灰度图像,数字越小,颜色越黑。
- P:像素用 8 位表示,即调色板数据。
- RGB:像素用 3x8 位表示,即真彩色。
- RGBA:像素用 4x8 位表示,即有透明通道的真彩色。
- CMYK:像素用 4x8 位表示,即印刷四色模式。
- YCbCr:像素用 3x8 位表示,即彩色视频格式。
- I:像素用 32 位整型表示。
- F:像素用 32 位浮点型表示。
为了方便处理,我们可以将 RGBA 模式转为更简单的 L 模式,即灰度图像。
我们可以利用 Image 对象的 convert 方法参数传入 L,即可将图片转化为灰度图像,代码如下所示:
image = image.convert('L')
image.show()
或者传入 1 即可将图片进行二值化处理,如下所示:
image = image.convert('1')
image.show()
在这里我们就转为灰度图像,然后根据阈值筛选掉图片中的干扰点,代码如下:
from PIL import Image
import numpy as np
image = Image.open('captcha2.png')
image = image.convert('L')
threshold = 50
array = np.array(image)
array = np.where(array > threshold, 255, 0)
image = Image.fromarray(array.astype('uint8'))
image.show()
在这里,变量 threshold 代表灰度的阈值,这里设置为 50。接着我们将图片 image 转化为了 Numpy 数组,接着利用 Numpy 的 where 方法对数组进行筛选和处理,这里指定了大于阈值的就设置为 255,即白色,否则就是 0,即黑色。
最后看下图片处理完之后是什么结果:
我们发现原来验证码中的很多点已经被去掉了,整个验证码变得黑白分明。这时重新识别验证码,代码如下所示:
import tesserocr
from PIL import Image
import numpy as np
image = Image.open('captcha2.png')
image = image.convert('L')
threshold = 50
array = np.array(image)
array = np.where(array > threshold, 255, 0)
image = Image.fromarray(array.astype('uint8'))
print(tesserocr.image_to_text(image))
即可发现运行结果变成如下所示:
b32d
所以,针对一些有干扰的图片,我们可以做一些去噪处理,这会提高图片识别的正确率。
6. 识别实战最后,我们可以来尝试下用自动化的方式来对案例进行验证码识别处理,这里我们使用 Selenium 来完成这个操作,代码如下:
import time
import re
import tesserocr
from selenium import webdriver
from io import BytesIO
from PIL import Image
from retrying import retry
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.common.Exceptions import TimeoutException
import numpy as np
def preprocess(image):
image = image.convert('L')
array = np.array(image)
array = np.where(array > 50, 255, 0)
image = Image.fromarray(array.astype('uint8'))
return image
@retry(stop_max_attempt_number=10, retry_on_result=lambda x: x is False)
def login():
browser.get('https://captcha7.scrape.center/')
browser.find_element_by_css_selector('.username input[type="text"]').send_keys('admin')
browser.find_element_by_css_selector('.password input[type="password"]').send_keys('admin')
captcha = browser.find_element_by_css_selector('#captcha')
image = Image.open(BytesIO(captcha.screenshot_as_png))
image = preprocess(image)
captcha = tesserocr.image_to_text(image)
captcha = re.sub('[^A-Za-z0-9]', '', captcha)
browser.find_element_by_css_selector('.captcha input[type="text"]').send_keys(captcha)
browser.find_element_by_css_selector('.login').click()
try:
WebDriverWait(browser, 10).until(EC.presence_of_element_located((By.XPATH, '//h2[contains(., "登录成功")]')))
time.sleep(10)
browser.close()
return True
except TimeoutException:
return False
if __name__ == '__main__':
browser = webdriver.Chrome()
login()
在这里我们首先定义了一个 preprocess 方法,用于验证码的噪声处理,逻辑就和前面说的是一样的。
接着我们定义了一个 login 方法,其逻辑执行步骤是:
- 打开样例网站
- 找到用户名输入框,输入用户名
- 找到密码输入框,输入密码
- 找到验证码图片并截取,转化为 Image 对象
- 预处理验证码,去除噪声
- 对验证码进行识别,得到识别结果
- 识别结果去除一些非字母和数字字符
- 找到验证码输入框,输入验证码结果
- 点击登录按钮
- 等待「登录成功」字样的出现,如果出现则证明登录成功,否则重复以上步骤重试。
在这里我们还用到了 retrying 来指定了重试条件和重试次数,以保证在识别出错的情况下反复重试,增加总的成功概率。
运行代码我们可以观察到浏览器弹出并执行以上流程,可能重试几次后得到登录成功的页面,运行过程如图所示:
登录成功后的结果如图所示:
到这里,我们就能成功通过 OCR 技术识别成功验证码,并将其应用到模拟登录的过程中了。
7. 总结本节我们了解了利用 Tesserocr 识别验证码的过程并将其应用于实战案例中实现了模拟登录。为了提高 Tesserocr 的识别准确率,我们可以对验证码图像进行预处理去除一些干扰,识别准确率会大大提高。但总归来说 Tesserocr 识别验证码的准确率并不是很高,下一节我们来介绍其他识别验证码的方案。
本节代码:https://github.com/Python3WebSpider/CrackImageCaptcha
本文参考资料:
- 文档 - OCR - 百度百科:https://baike.baidu.com/item/OCR
免责声明:本文仅代表文章作者的个人观点,与本站无关。其原创性、真实性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容文字的真实性、完整性和原创性本站不作任何保证或承诺,请读者仅作参考,并自行核实相关内容。文章投诉邮箱:anhduc.ph@yahoo.com