python中encode中文自定义编码(详解Python解决抓取内容乱码问题decode和encode解码)
python中encode中文自定义编码
详解Python解决抓取内容乱码问题decode和encode解码一、乱码问题描述
经常在爬虫或者一些操作的时候,经常会出现中文乱码等问题,如下
原因是源网页编码和爬取下来后的编码格式不一致
二、利用encode与decode解决乱码问题
字符串在python内部的表示是unicode编码,在做编码转换时,通常需要以unicode作为中间编码,即先将其他编码的字符串解码(decode)成unicode,再从unicode编码(encode)成另一种编码。
decode的作用是将其他编码的字符串转换成unicode编码,如str1.decode(‘gb2312'),表示将gb2312编码的字符串str1转换成unicode编码。
encode的作用是将unicode编码转换成其他编码的字符串,如str2.encode(‘utf-8'),表示将unicode编码的字符串str2转换成utf-8编码。
decode中写的就是想抓取的网页的编码,encode即自己想设置的编码
代码如下
|
#!/usr/bin/env python # -*- coding:utf-8 -*- # author: xulinjie time:2017/10/22 import urllib2 request = urllib2.request(r 'http://nhxy.zjxu.edu.cn/' ) res = urllib2.urlopen(request).read() res = res.decode( 'gb2312' ).encode( 'utf-8' ) / / 解决乱码 wfile = open (r './1.html' ,r 'wb' ) wfile.write(res) wfile.close() print res |
或者
|
#!/usr/bin/env python # -*- coding:utf-8 -*- # author: xulinjie time:2017/10/22 import urllib2 request = urllib2.request(r 'http://nhxy.zjxu.edu.cn/' ) res = urllib2.urlopen(request).read() res = res.decode( 'gb2312' ) res = res.encode( 'utf-8' ) wfile = open (r './1.html' ,r 'wb' ) wfile.write(res) wfile.close() print res |
但是还要注意:
如果一个字符串已经是unicode了,再进行解码则将出错,因此通常要对其编码方式是否为unicode进行判断
isinstance(s, unicode)#用来判断是否为unicode
用非unicode编码形式的str来encode会报错
所以最终可靠代码:
|
#!/usr/bin/env python # -*- coding:utf-8 -*- # author: xulinjie time:2017/10/22 import urllib2 request = urllib2.request(r 'http://nhxy.zjxu.edu.cn/' ) res = urllib2.urlopen(request).read() if isinstance (res, unicode ): res = res.encode( 'utf-8' ) else : res = res.decode( 'gb2312' ).encode( 'utf-8' ) wfile = open (r './1.html' ,r 'wb' ) wfile.write(res) wfile.close() print res |
三、如何找到需要抓取的目标网页的编码格式
1、查看网页源代码
如果源代码中没有charset编码格式显示可以用下面的方法
2、检查元素,查看response headers
以上所述是小编给大家介绍的python解决抓取内容乱码问题(decode和encode解码)详解整合,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对开心学习网网站的支持!
原文链接:https://blog.csdn.net/w_linux/article/details/78370218
- python元组汇总(Python数据类型之Tuple元组实例详解)
- python 并发传输文件(python单线程文件传输的实例C/S)
- python selenium用法详解(python selenium执行所有测试用例并生成报告的方法)
- python按顺序遍历字典(Python字典遍历操作实例小结)
- python3.8基本操作(Python3.5文件修改操作实例分析)
- python为什么使用logging(python中logging模块的一些简单用法的使用)
- python中列表操作五种常用方法(Python使用paramiko操作linux的方法讲解)
- python html文字分段(Python对HTML转义字符进行反转义的实现方法)
- pythonlogging模块教学(详解Python logging调用Logger.info方法的处理过程)
- python导出数据到mysql(python定时按日期备份MySQL数据并压缩)
- python 爬虫招聘(Python3获取拉勾网招聘信息的方法实例)
- python 多进程的启动和停止(Python3.5多进程原理与用法实例分析)
- 能自动点赞的小程序(python实现QQ空间自动点赞功能)
- python3json序列化(Python3.5 Json与pickle实现数据序列化与反序列化操作示例)
- python电脑自动发送邮件(python学习--使用QQ邮箱发送邮件代码实例)
- python里list操作大全(Python列表List知识点总结)
- 红色文化进国企(红色文化进国企)
- 车友的选择| 轮毂该如何选(车友的选择轮毂该如何选)
- 秦海璐炫耀和王新军热恋蜜事,不料对方吐槽她吃饱后肚子撅老高(秦海璐炫耀和王新军热恋蜜事)
- 秦海璐一袭旗袍惹人倾心,将高级与淡雅展现的游刃有余(秦海璐一袭旗袍惹人倾心)
- 门外之见 海蛎子味 的表演,能走多远(门外之见海蛎子味)
- 三部冷门谍战剧,第一部2014年拍摄,至今还未播出(三部冷门谍战剧)
热门推荐
- laravel数据库关联查找(laravel 操作数据库常用函数的返回值方法)
- ASP.NET生成二维码
- python eval函数原理(浅谈Python中eval的强大与危害)
- docker安装mysql后无法连接(Docker 安装 MySQL 并实现远程连接教程)
- SQL Server的恢复模式
- html转ppt(HTML里显示pdf、word、xls、ppt的方法示例)
- mysql面试题及答案100题(几个MySQL高频面试题的解答)
- mysql中date_format日期格式化
- pythonkeys怎么用(浅谈python的深浅拷贝以及fromkeys的用法)
- 为什么css中float:right后右对齐换行
排行榜
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9