python爬虫模块教程(Python爬虫之UserAgent的使用实例)
类别:脚本大全 浏览量:1794
时间:2022-01-26 01:02:03 python爬虫模块教程
Python爬虫之UserAgent的使用实例问题: 在Python爬虫的过程中经常要模拟UserAgent, 因此自动生成UserAgent十分有用, 最近看到一个Python库(fake-useragent),可以随机生成各种UserAgent, 在这里记录一下, 留给自己爬虫使用。
安装 pip install fake-useragent
使用案例
基本使用
|
from fake_useragent import UserAgent ua = UserAgent() ua.ie # Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US); ua.msie # Mozilla/5.0 (compatible; MSIE 10.0; Macintosh; Intel Mac OS X 10_7_3; Trident/6.0)' ua[ 'Internet Explorer' ] # Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0; GTB7.4; InfoPath.2; SV1; .NET CLR 3.3.69573; WOW64; en-US) ua.opera # Opera/9.80 (X11; Linux i686; U; ru) Presto/2.8.131 Version/11.11 ua.chrome # Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.2 (KHTML, like Gecko) Chrome/22.0.1216.0 Safari/537.2' ua.google # Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_4) AppleWebKit/537.13 (KHTML, like Gecko) Chrome/24.0.1290.1 Safari/537.13 ua[ 'google chrome' ] # Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11 ua.firefox # Mozilla/5.0 (Windows NT 6.2; Win64; x64; rv:16.0.1) Gecko/20121011 Firefox/16.0.1 ua.ff # Mozilla/5.0 (X11; Ubuntu; Linux i686; rv:15.0) Gecko/20100101 Firefox/15.0.1 ua.safari # Mozilla/5.0 (iPad; CPU OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5355d Safari/8536.25 # and the best one, random via real world browser usage statistic ua.random |
注意:
fake-useragent 将收集到的数据缓存到temp文件夹, 例如 /tmp, 更新数据:
|
from fake_useragent import UserAgent ua = UserAgent() ua.update() |
有时候会因为网络或者其他问题,出现异常(fake_useragent.errors.FakeUserAgentError: Maximum amount of retries reached
), 可以禁用服务器缓存(从这里踩了一个坑, 没仔细看文档的锅):
|
from fake_useragent import UserAgent ua = UserAgent(use_cache_server = False ) |
可以自己添加本地数据文件(v0.1.4+)
|
import fake_useragent # I am STRONGLY!!! recommend to use version suffix location = '/home/user/fake_useragent%s.json' % fake_useragent.VERSION ua = fake_useragent.UserAgent(path = location) ua.random |
其他功能用到的也不是很多,详细见文档吧。
总结
以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对开心学习网的支持。如果你想了解更多相关内容请查看下面相关链接
原文链接:https://blog.csdn.net/anonymous_qsh/article/details/79349068
您可能感兴趣
- python装饰器使用说明(详解Python装饰器)
- python数据分析删除重复值(Python3实现从排序数组中删除重复项算法分析)
- python3.8爬虫需要的包(python爬取基于m3u8协议的ts文件并合并)
- python怎么安装queue(python队列Queue的详解)
- python里字典常用方法(Python使用字典的嵌套功能详解)
- python图像变换教程(详解python-图像处理映射变换)
- python爬虫经典步骤(详解python爬虫系列之初识爬虫)
- python format的用法(Python中format格式输出全解)
- python将网站图片本地存储(详解Python下载图片并保存本地的两种方式)
- pythonmatplotlib画图流程(python3使用matplotlib绘制条形图)
- python处理excel基础教程第3讲(Python Excel处理库openpyxl使用详解)
- python中怎么查看函数的用法(Python中函数的基本定义与调用及内置函数详解)
- Python实现FTP弱口令扫描器的方法示例(Python实现FTP弱口令扫描器的方法示例)
- python 循环遍历新方法(python for 循环获取index索引的方法)
- 图解python轻松快速掌握(10招!看骨灰级Pythoner玩转Python的方法)
- python中的reload(搞清楚 Python traceback的具体使用方法)
- 按这几方面养护佛肚竹盆景,保证枝叶繁茂,造型优美(按这几方面养护佛肚竹盆景)
- 冰岛旅游攻略(冰岛旅游攻略及花费八日游)
- 寒假旅游攻略(成都寒假旅游攻略)
- 菲律宾旅游攻略(菲律宾旅游攻略地图)
- 清华大学难考吗(清华大学考研录取分数线)
- 观花盆栽佛肚竹盆景制作及养护(观花盆栽佛肚竹盆景制作及养护)
热门推荐
- angular模块的组成(详解Angular结构型指令模块和样式)
- php中把字符串分开的函数(PHP字符串中抽取子串操作实例分析)
- navicat注册和激活码(Navicat12.1系列破解激活教程亲测有效)
- 微信推送功能大全(微信推送功能实现方式图文详解)
- 所有聚合函数mysql教程(Mysql 聚合函数嵌套使用操作)
- 基于docker的平台搭建(基于docker搭建selenium分布式环境)
- python实现的数据结构(Python嵌套式数据结构实例浅析)
- django 后台管理office文件(django admin后台添加导出excel功能示例代码)
- 怎么用python分析足球(使用Python进行体育竞技分析预测球队成绩)
- linuxsamba怎么连接(Linux Samba服务器超详细安装配置附问题解决)
排行榜
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9