python抓取贴吧标题和图片代码（Python实现的爬取百度贴吧图片功能完整示例）
时间：2021-10-02 01:46:38 类别：脚本大全 浏览量：2525
python抓取贴吧标题和图片代码
Python实现的爬取百度贴吧图片功能完整示例本文实例讲述了python实现的爬取百度贴吧图片功能。分享给大家供大家参考，具体如下：
|
|
#coding:utf-8import requestsimport urllib2import urllib```from lxml import etreeclass tieba: def __init__(self): self.tiebaname = raw_input("请输入需要爬取的贴吧:") self.beginpage = int(raw_input("请输入爬取的起始页：")) self.endpage = int(raw_input("请输入爬取的结束页：")) self.baseurl = "http://tieba.baidu.com" #self.headers = {"user-agent" : "mozilla/5.0 (windows nt 10.0; wow64) applewebkit/537.36 (khtml, like gecko) chrome/59.0.3071.86 safari/537.36"} self.headers = {"user-agent" : "mozilla/5.0 (compatible; msie 9.0; windows nt 6.1 trident/5.0;"} def startwork(self): """ 发送贴吧每一页的url请求 """ for page in range(self.beginpage, self.endpage + 1): pn = (page - 1) * 50 keyword = {"kw" : self.tiebaname, "pn" : pn} kw = urllib.urlencode(keyword) url = self.baseurl + "/f?" + kw #print url html = self.loadrequest(url) self.loadpage(html) def loadrequest(self, url): """ 发送请求，返回响应 url: 发送请求的url地址 """ request = urllib2.request(url, headers = self.headers) #request = urllib2.request(url) response = urllib2.urlopen(request) return response.read() def loadpage(self, html): """ 提取每个帖子的url，并发送请求，获取响应 html: 贴吧每一页的html """ content = etree.html(html) print '------' print content # xpath 返回的所有匹配成功后的结果的列表 #pagelink_list = content.xpath("//li[@class='threadlist_lz clearfix']/li/a[@class='j_th_tit']/@href") pagelink_list = content.xpath("//li[@class='col2_right j_threadlist_li_right']//li/a/@href") pagelink_list = content.xpath("//li[@class='t_con cleafix']//li/a/@href") for link in pagelink_list: print link self.loadimage(self.loadrequest(self.baseurl + link)) def loadimage(self, html): """ 提取帖子里用户发送的图片的url地址 html: 每个帖子的html """ content = etree.html(html) imagelink_list = content.xpath("//li[@class='p_content ']//img[@class='bde_image']/@src") for link in imagelink_list: self.writeimage(self.loadrequest(link), link[-10:]) def writeimage(self, data, filename): """ 将图片的响应数据，写入到本地磁盘里 data: 图片的响应数据 filename: 文件名(图片url的后10位) """ print "正在保存图片...%s" % filename with open(filename, "wb") as f: f.write(data)if __name__ == "__main__": tieba = tieba() tieba.startwork() |
希望本文所述对大家python程序设计有所帮助。
原文链接：https://blog.csdn.net/xuezhangjun0121/article/details/73719059
您可能感兴趣
- python下载后依然打不开文件（解决python打不开文件文件不存在的问题）
- 用python画圣诞树送给女朋友（情人节快乐! python绘制漂亮玫瑰花）
- python将一个字符串逆序输出（Python字符串逆序输出的实例讲解）
- python pyqt 教程（Python+PyQt5实现美剧爬虫可视工具的方法）
- opencv人脸识别实战（Python opencv实现人眼/人脸识别以及实时打码处理）
- python微信红包分配（PHP切割整数工具类似微信红包金额分配的思路详解）
- python企业微信录信息（python获取微信企业号打卡数据并生成windows计划任务）
- python中if条件语句如何使用（Python中如何使用if语句处理列表实例代码）
- nginxpython编写模块（Python开发之Nginx+uWSGI+virtualenv多项目部署教程）
- jupyter如何编写python（windows系统中Python多版本与jupyter notebook使用虚拟环境的过程）
- python怎么查看函数的返回值（python在回调函数中获取返回值的方法）
- pythondict排序原理（Python标准库使用OrderedDict类的实例讲解）
- python字符串分析总结（Python 存储字符串时节省空间的方法）
- python3中super函数的基本用法（实例讲解Python3中abs函数）
- python中可以改变的数据类型（Python常见数据类型转换操作示例）
- python实现删除列表重复元素功能（Python实现删除排序数组中重复项的两种方法示例）
- 三分71 生死战爆发 篮网旧将丁威迪今天成奇兵，助队赢球（三分71生死战爆发）
- 《红 雄安》系列广播剧第一集 水上奇兵雁翎队（雄安系列广播剧第一集）
- 小说 小伙穿越成刘备，用现代知识指挥作战，众谋士都看呆了（小伙穿越成刘备）
- 解析葡萄牙6-1瑞士 进攻多点开花，贡萨洛-拉莫斯一战成名（解析葡萄牙6-1瑞士）
- 这支 奇兵队 腕大 有范儿还各怀绝技，毒贩杀人犯见了都要仓皇而逃（这支奇兵队腕大）
- 雄藩崛起 奇兵队与幕末长州藩军事改革（雄藩崛起奇兵队与幕末长州藩军事改革）
热门推荐
- docker中运行项目的配置（Docker中搭建配置Git环境的过程）
- canvas 缩放后字发虚（canvas 绘图时位置偏离的问题解决）
- mysql5.7.20非安装版教程（MySQL5.5 部署的一个问题）
- druid数据库连接池原理详解（阿里巴巴Druid，轻松实现MySQL数据库加密！）
- python中导入模块的命令（Python3 导入上级目录中的模块实例）
- dedecms数据库备份（dedecms网站搬家需要的备份的文件）
- python中字典的常用操作（11个Python3字典内置方法大全与示例汇总）
- idea里面怎么配置tomcat（intellij idea 使用Tomcat部署的项目位置在哪）
- mysql多行数据之和（详解MySQL的数据行和行溢出机制）
- sql多条件查询汇总语句（SQL判断语句用法和多表查询）
排行榜
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9