python爬虫怎么设置代理ip(python爬虫简单的添加代理进行访问的实现代码)
类别:脚本大全 浏览量:458
时间:2021-10-22 07:41:36 python爬虫怎么设置代理ip
python爬虫简单的添加代理进行访问的实现代码在使用python对网页进行多次快速爬取的时候,访问次数过于频繁,服务器不会考虑user-agent的信息,会直接把你视为爬虫,从而过滤掉,拒绝你的访问,在这种时候就需要设置代理,我们可以给proxies属性设置一个代理的ip地址,代码如下:
|
import requests from lxml import etree url = "https://www.ip.cn" headers = { "user-agent" : "mozilla/5.0 (windows nt 10.0; win64; x64) applewebkit/537.36 (khtml, like gecko) chrome/70.0.3538.102 safari/537.36 opr/57.0.3098.116" , } pro = { # 'https': 'https://118.122.92.252:37901', #四川省成都市 电信 'https' : 'https://27.17.45.90:43411' , #湖北省武汉市 电信 } try : response = requests.get(url, headers = headers, proxies = pro) html_str = response.content.decode() # print(html_str) html = etree.html(html_str) message = html.xpath( "//li[@class='well']//p/text()" ) ip = html.xpath( "//li[@class='well']//p/code/text()" ) eng = html.xpath( "//li[@class='well']/p/text()" ) print (message[ 0 ] + ip[ 0 ]) print (message[ 1 ] + ip[ 1 ]) print (eng[ 2 ]) except requests.exceptions.proxyerror as e: print ( "当前代理异常" ) except : print ( "当前请求异常" ) |
在上面的代码中,调用requests库,对一个ip地址查询网页进行访问,随后使用lxml库的xpath对网页进行分析提取,返回用户访问此网页时自己的ip地址,如果代理设置成功,则会返回你的信息和ip地址,如下:
如果代理失败则会返回异常,在代码中使用了捕获异常,则会返回设置的提示信息,"当前代理异常",如果不是代理的错误则是"当前请求异常"
ps:免费的代理不是很稳定,在确认代码无误后,如果仍然返回异常,可尝试更换代理ip...
总结
以上所述是小编给大家介绍的python爬虫简单的添加代理进行访问的实现代码,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对开心学习网网站的支持!
原文链接:https://www.jianshu.com/p/41feb65c7d2a
您可能感兴趣
- python进行回归分析(Python多项式回归的实现方法)
- python零基础入门五小时(从0开始的Python学习016异常)
- python类中的数据封装(基于python生成器封装的协程类)
- python实现将txt转化为excel(python实现Excel文件转换为TXT文件)
- python改变字体颜色指令(使用Python自动化破解自定义字体混淆信息的方法实例)
- 用python如何写tkinter(浅谈python3.6的tkinter运行问题)
- python多进程创建细节(Python实现多进程的四种方式)
- python解析csv文件存到数据库(python读取csv和txt数据转换成向量的实例)
- python socket 设置通信协议(详解python中TCP协议中的粘包问题)
- python封装函数讲解(Python中super函数用法实例分析)
- python创建文件夹(python批量创建指定名称的文件夹)
- python字典的key(Python使用dict.fromkeys快速生成一个字典示例)
- python中怎么查看函数的用法(Python中函数的基本定义与调用及内置函数详解)
- python爬虫音乐代码(详解python selenium 爬取网易云音乐歌单名)
- python3.7标准库官方手册(Python3.7 dataclass使用指南小结)
- python中字典的值怎么应用(对python中字典keys,values,items的使用详解)
- 省委书记出席的交流会,十位县委书记同场发言,代表公文材料的高水平(省委书记出席的交流会)
- 《刘老根3》热播,去世15年的她却再次被 伤害(去世15年的她却再次被)
- 十二星座爱情支配欲指数(十二星座爱情支配欲指数)
- 虐待儿童是发泄支配欲的愚蠢行为(虐待儿童是发泄支配欲的愚蠢行为)
- 你或许不知道你隐藏的支配欲望(你或许不知道你隐藏的支配欲望)
- 把宽体丰田86卖了,换成7.5代高尔夫GTI玩起姿态与性能并存的改装(把宽体丰田86卖了)
热门推荐
- mysql怎么做教材信息管理系统(python+mysql实现学生信息查询系统)
- myisam和innodb的区别
- elementui多个组件怎么使用(ElementUI在实际项目使用步骤详解)
- linux如何搭建ftp服务器(Linux下搭建ftp服务器)
- python为什么要用多进程(对Python的多进程锁的使用方法详解)
- 宝塔面板如何搭建内网网站(宝塔面板搭建云服务器优化教程)
- mysql 多表连接查询(MySQL多表查询的具体实例)
- 如何解决AJAX 的缓存
- sqlserver2016使用教程(SQL Server 2016 Alwayson新增功能图文详解)
- 小程序开发者代码工具(解析从小程序开发者工具源码看原理实现)
排行榜
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9