您的位置：首页 > 脚本大全 > > 正文

python 操作html（Python HTML解析模块HTMLParser用法分析爬虫工具）

更多时间：2021-10-21 07:11:16 类别：脚本大全浏览量：2301

python 操作html

Python HTML解析模块HTMLParser用法分析爬虫工具

本文实例讲述了python html解析模块htmlparser用法。分享给大家供大家参考，具体如下：

简介

先简略介绍一下。实际上，htmlparser是python用来解析html的内置模块。它可以分析出html里面的标签、数据等等，是一种处理html的简便途径。htmlparser采用的是一种事件驱动的模式，当htmlparser找到一个特定的标记时，它会去调用一个用户定义的函数，以此来通知程序处理。它主要的用户回调函数的命名都是以"handle_"开头的，都是htmlparser的成员函数。当我们使用时，就从htmlparser派生出新的类，然后重新定义这几个以"handle_"开头的函数即可。这几个函数包括：

（1）handle_startendtag 　　处理开始标签和结束标签（即单标签）
（2）handle_starttag     　　   处理开始标签，比如<xx>
（3）handle_endtag       　　处理结束标签，比如</xx>
（4）handle_charref      　　   处理特殊字符串，就是以&#开头的，一般是内码表示的字符
（5）handle_entityref   　　   处理一些特殊字符，以&开头的，比如
（6）handle_data         　　   处理数据，就是<xx>data</xx>中间的那些数据
（7）handle_comment          处理注释
（8）handle_decl         　　    处理<!开头的，比如<!doctype html public "-//w3c//dtd html 4.01 transitional//en"
（9）handle_pi           　　      处理形如<?instruction>的东西

实例

ok，废话少说，直接上手，来一个简单的爬虫实例——抓取贴吧图片。

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44 from html.parser import htmlparser

from urllib import request

class myhtmlparser(htmlparser): # 创建html解析类

def __init__(self):

htmlparser.__init__(self)

self.gifs_urls = [] # 创建列表，保存gif

self.jpgs_urls = [] # 创建列表，保存jpg

# 重写htmlparser中的内置方法

def handle_starttag(self, tags, attrs): # 处理起始标记

if tags == 'img': # 处理图片

for attr in attrs:

for t in attr:

if 'gif' in t and 'https' in t:

self.gifs_urls.append(t) # 添加到gif列表

elif 'jpg' in t and 'https' in t:

self.jpgs_urls.append(t) # 添加到jpg列表

else:

pass

# 自定义的方法

def get_gifs(self): # 返回gif列表

return self.gifs_urls

def get_jpgs(self): # 返回jpg列表

return self.jpgs_urls

# 自定义的方法，获取页面

def gethtml(self,url):

req=request.request(url,method='get')

html=request.urlopen(req,timeout=30)

return html.read()

# 自定义的方法，批量下载图片

def downimgs(self,img_urls,n=10,path='image/'):

count=1

for url in img_urls:

request.urlretrieve(url=url,filename='{0}{1}{2}'.format(path,count,'.jpg'))

count=count+1

if count == n + 1:

print('共下载%d张图片' %(n))

return

if __name__ == '__main__':

url = 'http://tieba.baidu.com/p/2256306796'

htmlparser=myhtmlparser()

html=htmlparser.gethtml(url)

# print(html)

htmlparser.feed(str(html)) #开始解析html，自动调用htmlparser中的内置方法

htmlparser.downimgs(htmlparser.get_jpgs())

希望本文所述对大家python程序设计有所帮助。

原文链接：https://www.cnblogs.com/wcwnina/p/8082761.html

标签：Python htmlparser 爬虫工具

上一篇：面试二叉树问的多吗（面试官：谈谈你对索引的认知系列之B-树）

下一篇：django菜单动态生成（django富文本编辑器的实现示例）

您可能感兴趣

python 操作html（Python HTML解析模块HTMLParser用法分析爬虫工具）

python 操作html

热门推荐

排行榜