python怎么爬取excel数据(python爬取内容存入Excel实例)
python怎么爬取excel数据
python爬取内容存入Excel实例最近老师布置了个作业,爬取豆瓣top250的电影信息。按照套路,自然是先去看看源代码了,一看,基本的信息竟然都有,心想这可省事多了。简单分析了下源代码,标记出所需信息的所在标签,ok,开始干活!
鉴于正则表达式的资料已经看了不少,所以本次除了beautifulsoup外,还有些re的使用,当然,比较简单。而爬到信息后,以往一般是存到txt文件,或者数据库中,老是重样的操作,难免有些‘厌倦'。心想,干嘛不存到excel表呢?对啊,可以存到excel表。
环境准备:pip install openpyxl (假设你已配好了python环境)
好了,废话少说,上代码。
|
# coding=utf-8 ''' function:爬取豆瓣top250的电影信息,并写入excel文件 ''' import requests import re from openpyxl import workbook # 写入excel表所用 from openpyxl import load_workbook # 读取excel表所用 from bs4 import beautifulsoup as bs import os os.chdir( 'c:\users\administrator\desktop' ) # 更改工作目录为桌面 def gethtml(src): html = requests.get(src).content getdata(html, src) # 首页链接和其他页不同,所以单独获取信息 urls = re.findall( 'href="(.*filter=?)' , html) # re获取获取跳转链接的href for u in range ( len (urls) - 2 ): # 匹配到的跳转链接最后两个重复,需去掉 next_url = 'https://movie.douban.com/top250' + urls[u] html = requests.get(next_url).content getdata(html, next_url) def getdata(html, num_url): # html:网页源码 ,num_url:页面链接 global ws # 全局工作表对象 name = [] # 存储电影名 dr = [] # 存储导演信息 ma = [] # 存储主演信息 si = [] # 存储简介 r_score = [] # 存储评分 r_count = [] # 存储评论人数 r_year = [] # 存储年份 r_area = [] # 存储地区 r_about = [] # 存储剧情类型 soup = bs(html, 'lxml' ) for n in soup.find_all( 'li' , class_ = 'hd' ): # ts = n.contents[1].text # 得到电影的所有名称 ts = n.contents[ 1 ].text.strip().split( '/' )[ 0 ] # 得到电影中文名 name.append(ts) for p in soup.find_all( 'p' , class_ = ''): infor = p.text.strip().encode( 'utf-8' ) #此处用utf-8编码,以免下面查找 ‘主演'下标报错 ya = re.findall( '[0-9]+.*\/?' , infor)[ 0 ] # re得到年份和地区 r_year.append(ya.split( '/' )[ 0 ]) # 得到年份 r_area.append(ya.split( '/' )[ 1 ]) # 得到地区 r_about.append(infor[infor.rindex( '/' ) + 1 :]) # rindex函数取最后一个/下标,得到剧情类型 try : sub = infor.index( '主演' ) # 取得主演下标 dr.append(infor[ 0 :sub].split( ':' )[ 1 ]) # 得到导演信息 mh = infor[sub:].split( ':' )[ 1 ] # 得到主演后面的信息 ma.append(re.split( '[1-2]+' , mh)[ 0 ]) # 正则切片得到主演信息 except : print '无主演信息' dr.append(infor.split( ':' )[ 1 ].split( '/' )[ 0 ]) ma.append( '无介绍...' ) for r in soup.find_all( 'li' , class_ = 'star' ): rs = r.contents # 得到该li的子节点列表 r_score.append(rs[ 3 ].text) # 得到评分 r_count.append(rs[ 7 ].text) # 得到评论人数 for s in soup.find_all( 'span' , 'inq' ): si.append(s.text) # 得到简介 if len (si) < 25 : for k in range ( 25 - len (si)): si.append( '本页有的电影没简介,建议查看核对,链接:' + num_url) for i in range ( 25 ): # 每页25条数据,写入工作表中 ws.append([name[i], r_year[i], r_area[i], r_about[i], dr[i], ma[i], r_score[i], r_count[i], si[i]]) if __name__ = = '__main__' : # 读取存在的excel表测试 # wb = load_workbook('test.xlsx') #加载存在的excel表 # a_sheet = wb.get_sheet_by_name('sheet1') #根据表名获取表对象 # for row in a_sheet.rows: #遍历输出行数据 # for cell in row: #每行的每一个单元格 # print cell.value, # 创建excel表并写入数据 wb = workbook.workbook() # 创建excel对象 ws = wb.active # 获取当前正在操作的表对象 # 往表中写入标题行,以列表形式写入! ws.append([ '电影名' , '年份' , '地区' , '剧情类型' , '导演' , '主演' , '评分' , '评论人数' , '简介' ]) src = 'https://movie.douban.com/top250' gethtml(src) wb.save( 'test2.xlsx' ) # 存入所有信息后,保存为filename.xlsx |
代码中已有不少注释,这里说下爬取过程中遇到的小问题。
1.soup的contents方法,返回的是某标签下的子节点列表,但刚开始总是取不到想要的值,输出其长度后,有些傻眼..tm什么情况?有这么多的子节点吗?较真的我又去数了几遍,最后发现,它竟然连"换行"都算作是子节点!莫名地有点方...不知各位有没有遇到过。
如图,我按列表下标标记,0,2,4,6,8是换行,但也被算作子节点...
2.还是contents方法,代码中的 '#得到电影所有名称' 处的代码 n.contents[1]获取的除了a标签外,还有其下的span标签,这是为何?它们算一个整体?
3.对如下图的电影信息处理时,出现了几处错误,原因有以下几点:
(1)部分电影没有主演信息...
(2)主演信息为这样'主演: ',就一个主演字样,无内容
(3)部分电影没有简介
(4)当主演信息中没有'...'时,获取主演信息受阻
解决方案:(1)(2)都是主演问题,判断是否存在即可。(我以捕获异常处理)
(3)是简介问题,我无法给出具体哪部电影没有简介,但给了该电影所在的页面链接,可访问核查。(貌似有点笨)
(4)获取受阻是因为后面没有精确定位点,最后以re.split('[1-2]+')方法解决,匹配年份第一位作为分片点
本次分享就到这儿了,最后,照旧放几张结果图吧。
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持开心学习网。
原文链接:https://blog.csdn.net/Dick633/article/details/79933772
- python 数据库实现学生管理系统(python+mysql实现教务管理系统)
- python实现linux服务(Python实现Linux监控的方法)
- python循环语句嵌套使用(Python分支语句与循环语句应用实例分析)
- 零基础学计算机二级python(计算机二级python学习教程1 教大家如何学习python)
- python迭代列表解析(Python可迭代对象操作示例)
- python学生管理系统的思路(python实现学员管理系统)
- python分析excel基础数据生成报表(Python实现定制自动化业务流量报表周报功能XlsxWriter模块)
- python怎么操作mysql(详解Python的数据库操作pymysql)
- python中什么是迭代器(一篇文章彻底搞懂Python中可迭代Iterable、迭代器Iterator与生成器Generator的概)
- python 多进程的启动和停止(Python3.5多进程原理与用法实例分析)
- python字符串之基本操作小练习(Python数据类型之String字符串实例详解)
- python中列表remove的用法汇总(对python_discover方法遍历所有执行的用例详解)
- python企业微信录信息(python获取微信企业号打卡数据并生成windows计划任务)
- python的基本函数及用法(Python3.6.x中内置函数总结及讲解)
- python中比较同一字典value(在Python 字典中一键对应多个值的实例)
- python编程将一个三位数反序输出(python实现整数的二进制循环移位)
- 追连续剧,品古今联4 明代三杨,联妙诗佳(追连续剧品古今联4)
- 三杨 共辅四朝帝王,构建明帝国内阁行政圈(三杨共辅四朝帝王)
- 红色文化进国企(红色文化进国企)
- 车友的选择| 轮毂该如何选(车友的选择轮毂该如何选)
- 秦海璐炫耀和王新军热恋蜜事,不料对方吐槽她吃饱后肚子撅老高(秦海璐炫耀和王新军热恋蜜事)
- 秦海璐一袭旗袍惹人倾心,将高级与淡雅展现的游刃有余(秦海璐一袭旗袍惹人倾心)
热门推荐
- docker部署spring boot(Spring Boot 打包上传Docker 仓库的详细步骤)
- html5中的语义化标签有哪些(详解HTML5常用的语义化标签)
- mvc中@RenderSection()
- 云服务器ecs更换可用区(在阿里云管理控制台重置ECS实例的密码并重启服务器后无法访问该服务器)
- win7如何搭建php环境(阿里云Win2016安装Apache和PHP环境图文教程)
- mysql查询慢有哪些原因(MySQL 查询速度慢的原因)
- react的setstate第二个参数(示例详解react中useState的用法)
- 安装apache服务器配置(Apache 配置详解最好的APACHE配置教程)
- css伪元素是属性吗(CSS :befor :after 伪元素的巧妙用法)
- 电脑屏幕截图保存在哪
排行榜
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9