python pyqt 教程（Python+PyQt5实现美剧爬虫可视工具的方法）
python pyqt 教程
Python+PyQt5实现美剧爬虫可视工具的方法美剧《权力的游戏》终于要开播最后一季了，作为马丁老爷子的忠实粉丝，为了能够看得懂第八季复杂庞大的剧情架构，本人想着将前几季再稳固一下，所以就上美剧天堂下载来看，可是每次都上去下载太麻烦了，于是干脆自己写个爬虫爬下来得了。
话不多说，先上图片。
本人才疏学浅，就写了个简单的可视化软件，关键是功能实现就行了嘛。
实现语言：python ，版本 3.7.1
实现思路：首先运用 python 工具爬取到数据再实现图形化软件。
由于这里只是实现简单的爬取数据，并没有牵扯到 cookie 之类的敏感信息，也没有设置代理，所以在选择 python 库上并没有引入 selenium 或者更高级的 scrapy 框架，只是拿到数据就可以了，没必要那么麻烦。
所以选择了 urllib 这个库，在 python 2.x 中应该是 urllib 和 urllib2 同时引入，由于本人选用的版本的 python 3.x ，在 python 3.x 中上面两个库已经被合并为 urllib 一个库，语法上有些不同，但语言这种东西都是大同小异的嘛。
先贴代码，缓和一下尴尬的气氛。
|
|
import urllib.requestfrom urllib import parsefrom lxml import etreeimport sslfrom pyqt5.qtwidgets import qapplication, qwidget, qlineedit, qtextedit, qvboxlayout, qpushbutton, qmessageboximport sys# 取消代理验证ssl._create_default_https_context = ssl._create_unverified_contextclass texteditmeiju(qwidget): def __init__(self, parent=none): super(texteditmeiju, self).__init__(parent) # 定义窗口头部信息 self.setwindowtitle('美剧天堂') # 定义窗口的初始大小 self.resize(500, 600) # 创建单行文本框 self.textlineedit = qlineedit() # 创建一个按钮 self.btnbutton = qpushbutton('确定') # 创建多行文本框 self.textedit = qtextedit() # 实例化垂直布局 layout = qvboxlayout() # 相关控件添加到垂直布局中 layout.addwidget(self.textlineedit) layout.addwidget(self.btnbutton) layout.addwidget(self.textedit) # 设置布局 self.setlayout(layout) # 将按钮的点击信号与相关的槽函数进行绑定，点击即触发 self.btnbutton.clicked.connect(self.buttonclick) # 点击确认按钮 def buttonclick(self): # 爬取开始前提示一下 start = qmessagebox.information( self, '提示', '是否开始爬取《' + self.textlineedit.text() + "》", qmessagebox.ok | qmessagebox.no, qmessagebox.ok ) # 确定爬取 if start == qmessagebox.ok: self.page = 1 self.loadsearchpage(self.textlineedit.text(), self.page) # 取消爬取 else: pass # 加载输入美剧名称后的页面 def loadsearchpage(self, name, page): # 将文本转为 gb2312 编码格式 name = parse.quote(name.encode('gb2312')) # 请求发送的 url 地址 url = "https://www.meijutt.com/search/index.asp?page=" + str(page) + "&searchword=" + name + "&searchtype=-1" # 请求报头 headers = {"user-agent": "mozilla/5.0 (macintosh; intel mac os x 10_14_3) applewebkit/537.36 (khtml, like gecko) chrome/72.0.3626.121 safari/537.36"} # 发送请求 request = urllib.request.request(url, headers=headers) # 获取请求的 html 文档 html = urllib.request.urlopen(request).read() # 对 html 文档进行解析 text = etree.html(html) # xpath 获取想要的信息 pagetotal = text.xpath('//li[@class="page"]/span[1]/text()') # 判断搜索内容是否有结果 if pagetotal: self.loaddetailpage(pagetotal, text, headers) # 搜索内容无结果 else: self.infosearchnull() # 加载点击搜索页面点击的本季页面 def loaddetailpage(self, pagetotal, text, headers): # 取出搜索的结果一共多少页 pagetotal = pagetotal[0].split('/')[1].rstrip("页") # 获取每一季的内容（剧名和链接） node_list = text.xpath('//a[@class="b font_14"]') items = {} items['name'] = self.textlineedit.text() # 循环获取每一季的内容 for node in node_list: # 获取信息 title = node.xpath('@title')[0] link = node.xpath('@href')[0] items["title"] = title # 通过获取的单季链接跳转到本季的详情页面 requestdetail = urllib.request.request("https://www.meijutt.com" + link, headers=headers) htmldetail = urllib.request.urlopen(requestdetail).read() textdetail = etree.html(htmldetail) node_listdetail = textdetail.xpath('//li[@class="tabs-list current-tab"]//strong//a/@href') self.writedetailpage(items, node_listdetail) # 爬取完毕提示 if self.page == int(pagetotal): self.infosearchdone() else: self.infosearchcontinue(pagetotal) # 将数据显示到图形界面 def writedetailpage(self, items, node_listdetail): for index, nodelink in enumerate(node_listdetail): items["link"] = nodelink # 写入图形界面 self.textedit.append( "<li>" "<font color='black' size='3'>" + items['name'] + "</font>" + "\n" "<font color='red' size='3'>" + items['title'] + "</font>" + "\n" "<font color='orange' size='3'>第" + str(index + 1) + "集</font>" + "\n" "<font color='green' size='3'>下载链接：</font>" + "\n" "<font color='blue' size='3'>" + items['link'] + "</font>" "<p></p>" "</li>" ) # 搜索不到结果的提示信息 def infosearchnull(self): qmessagebox.information( self, '提示', '搜索结果不存在，请重新输入搜索内容', qmessagebox.ok, qmessagebox.ok ) # 爬取数据完毕的提示信息 def infosearchdone(self): qmessagebox.information( self, '提示', '爬取《' + self.textlineedit.text() + '》完毕', qmessagebox.ok, qmessagebox.ok ) # 多页情况下是否继续爬取的提示信息 def infosearchcontinue(self, pagetotal): end = qmessagebox.information( self, '提示', '爬取第' + str(self.page) + '页《' + self.textlineedit.text() + '》完毕，还有' + str(int(pagetotal) - self.page) + '页，是否继续爬取', qmessagebox.ok | qmessagebox.no, qmessagebox.no ) if end == qmessagebox.ok: self.page += 1 self.loadsearchpage(self.textlineedit.text(), self.page) else: passif __name__ == '__main__': app = qapplication(sys.argv) win = texteditmeiju() win.show() sys.exit(app.exec_()) |
以上是实现功能的所有代码，可以运行 python 的小伙伴直接复制到本地运行即可。都说 python 是做爬虫最好的工具，写完之后发现确实是这样。
我们一点点分析代码：
|
|
import urllib.requestfrom urllib import parsefrom lxml import etreeimport sslfrom pyqt5.qtwidgets import qapplication, qwidget, qlineedit, qtextedit, qvboxlayout, qpushbutton, qmessagebox, qlabelimport sys |
以上为我们引入的所需要的库，前 4 行是爬取 美剧天堂 官网所需要的库，后两个是实现图形化应用所需的库。
我们先来看一下如何爬取网站信息。
由于现在 美剧天堂 使用的是 https 协议，进入页面需要代理验证，为了不必要的麻烦，我们干脆取消代理验证，所以用到了 ssl 模块。
然后我们就可以正大光明的进入网站了：
令人遗憾的是 url 链接为https://www.meijutt.com/search/index.asp，显然没有为我们提供任何有用的信息，当我们刷新页面时，如下图：
当我们手动输入 ulr 链接https://www.meijutt.com/search/index.asp进行搜索时：
很明显了，当我们在首页输入想看的美剧并搜索时网站将我们的请求表单信息隐藏了，并没有给到 url 链接里，但是本人可不想每次都从首页进行搜索再提交表单获取信息，很不爽，还好本人发现了一个更好的方法。如下图：
在页面顶部有一个页面跳转的按钮，我们可以选择跳转的页码，当选择跳转页码后，页面变成了如下：
url 链接已经改变了：https://www.meijutt.com/search/index.asp?page=&searchword=%c8%a8%c1%a6%b5%c4%d3%ce%cf%b7&searchtype=-1
我们再将 page 中动态添加为page=1，页面效果不变。
经过搜索多个不同的美剧的多次验证发现只有 page 和 searchword 这两个字段是改变的，其中 page 字段默认为 1 ，而其本人搜索了许多季数很长的美剧，比如《老友记》、《生活大爆炸》、《邪恶力量》，这些美剧也就一页，但仍有更长的美剧，比如《辛普森一家》是两页，《法律与秩序》是两页，这就要求我们对页数进行控制，但是需要特别注意的是如果随意搜索内容，比如在搜索框只搜索了一个 ”i“，整整搜出了219页，这要扒下来需要很长的时间，所以就需要对其搜索的页数进行控制。
我们再来看一下 searchword 字段，将 searchword 字段解码转成汉字：
没错，正是我们想要的，万里长征终于实现了第一步。
|
|
# 加载输入美剧名称后的页面def loadsearchpage(self, name, page): # 将文本转为 gb2312 编码格式 name = parse.quote(name.encode('gb2312')) # 请求发送的 url 地址 url = "https://www.meijutt.com/search/index.asp?page=" + str(page) + "&searchword=" + name + "&searchtype=-1" # 请求报头 headers = {"user-agent": "mozilla/5.0 (macintosh; intel mac os x 10_14_3) applewebkit/537.36 (khtml, like gecko) chrome/72.0.3626.121 safari/537.36"} # 发送请求 request = urllib.request.request(url, headers=headers) # 获取请求的 html 文档 html = urllib.request.urlopen(request).read() # 对 html 文档进行解析 text = etree.html(html) # xpath 获取想要的信息 pagetotal = text.xpath('//li[@class="page"]/span[1]/text()') # 判断搜索内容是否有结果 if pagetotal: self.loaddetailpage(pagetotal, text, headers) # 搜索内容无结果 else: self.infosearchnull() |
接下来我们只需要将输入的美剧名转化成 url 编码格式就可以了。如上代码，通过 urllib 库对搜索的网站进行操作。
其中我们还需要做判断，搜索结果是否存在，比如我们搜索 行尸跑肉，结果不存在。
当搜索结果存在时：
我们通过谷歌的 xpath 插件对页面内的 dom 进行搜索，发现我们要选取的 class 类名。
我们根据获取到的页数，找到所有页面里我们要搜索的信息：