nginx服务器怎么屏蔽爬虫(nginx 防盗链防爬虫配置详解)
nginx服务器怎么屏蔽爬虫
nginx 防盗链防爬虫配置详解新建配置配置文件 (例如进入到nginx安装目录下的conf目录,创建: agent_deny.conf)
禁止Scrapy等工具的抓取 if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) { return 403; }
禁止指定UA及UA为空的访问
#forbidden Scrapy if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) { return 403; } #forbidden UA if ($http_user_agent ~ "Bytespider|FeedDemon|JikeSpider|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|YisouSpider|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms|^$" ) { return 403; } #forbidden not GET|HEAD|POST method access if ($request_method !~ ^(GET|HEAD|POST)$) { return 403; }
然后,在网站相关配置中的 server段插入如下代码: include agent_deny.conf;
重启nginx:
/data/nginx/sbin/nginx -s reload
测试 使用curl -A 模拟抓取即可,比如:
curl -I -A 'YYSpider' <<www.xxx.con>>
结果
[root@11 conf]# curl -I -A 'YYSpider' www.xxx.cn
HTTP/1.1 403 Forbidden
Server: nginx/1.12.0
Date: Wed, 24 Apr 2019 11:35:21 GMT
Content-Type: text/html
Content-Length: 169
Connection: keep-alive
模拟UA为空的抓取:
curl -I -A' ' <<www.xxx.cn>>
结果
[root@11 conf]# curl -I -A' ' www.xxx.cn
HTTP/1.1 403 Forbidden
Server: nginx/1.12.0
Date: Wed, 24 Apr 2019 11:36:06 GMT
Content-Type: text/html
Content-Length: 169
Connection: keep-alive
模拟百度蜘蛛的抓取:
curl -I -A 'Baiduspider' <<<www.xxx.cn>>>
[root@11 conf]# curl -I -A 'Baiduspider' www.xxx.cn
HTTP/1.1 200 OK
Server: nginx/1.12.0
Date: Wed, 24 Apr 2019 11:36:47 GMT
Content-Type: text/html
Content-Length: 612
Last-Modified: Fri, 12 Apr 2019 13:49:36 GMT
Connection: keep-alive
ETag: "5cb09770-264"
Accept-Ranges: bytes
UA类型
FeedDemon 内容采集 BOT/0.1 (BOT for JCE) sql注入 CrawlDaddy sql注入 Java 内容采集 Jullo 内容采集 Feedly 内容采集 UniversalFeedParser 内容采集 ApacheBench cc攻击器 Swiftbot 无用爬虫 YandexBot 无用爬虫 AhrefsBot 无用爬虫 YisouSpider 无用爬虫(已被UC神马搜索收购,此蜘蛛可以放开!) jikeSpider 无用爬虫 MJ12bot 无用爬虫 ZmEu phpmyadmin 漏洞扫描 WinHttp 采集cc攻击 EasouSpider 无用爬虫 HttpClient tcp攻击 Microsoft URL Control 扫描 YYSpider 无用爬虫 jaunty wordpress爆破扫描器 oBot 无用爬虫 Python-urllib 内容采集 Indy Library 扫描 FlightDeckReports Bot 无用爬虫 Linguee Bot 无用爬虫
nginx 防盗链配置
背景:防止第三方引用链接访问我们的图片,消耗服务器资源和网络流量,我们可以在服务器上做防盗链限制。
实现防盗链的方式有两种:refer方式和签名方式。
refer方式实现防盗链
工作模块:ngx_http_referer_module。
作用变量:$invalid_referer,全局变量。
配置域:server, location
配置:
server { listen 80; server_name www.imcati.com refer-test.imcati.com; root /usr/share/nginx/html; location ~*\.(gif|jpg|jpeg|png|bmp|swf)$ { valid_referers none blocked www.imcati.com; if ($invalid_referer) { return 403; } } }
- valid_referers: 指定资源访问是通过以下几种方式为合法,即白名单。 vaild_referers 有效的引用连接,如下,否则就进入$invaild_refere,返回403 forbiden。
- none:允许缺失的头部访问。
- blocked:允许referer没有对应值的请求。
- server_names:若referer站点域名与server_name中本机配的域名一样允许访问。
到此这篇关于nginx 防盗链防爬虫配置详解的文章就介绍到这了,更多相关nginx 防盗链防爬虫配置内容请搜索开心学习网以前的文章或继续浏览下面的相关文章希望大家以后多多支持开心学习网!
- dockernginx怎么设置容器(docker nginx + https 子域名配置详细教程)
- 宝塔面板phpMyAdmin错误教程(宝塔面板phpMyAdmin报错502 Bad Gateway nginx解决方法)
- centos7 离线安装nginx(centos8安装nginx1.9.1的详细过程)
- nginx如何配置多个域名访问(Nginx同一个域名配置多个项目的实现方法)
- nginx指令大全(Nginx常用技巧使用实例汇总)
- nginx反向代理spring boot(Nginx+SpringBoot实现负载均衡的示例)
- nginxpython编写模块(Python开发之Nginx+uWSGI+virtualenv多项目部署教程)
- 做网站是使用nginx还是apache(web服务器软件Apache与Nginx的对比分析)
- nginx前后端跨域(Nginx解决前端访问资源跨域问题的方法详解)
- nginx负载均衡5种方法(Nginx如何配置负载均衡)
- nginxhttp转https原理(nginx如何将http访问的网站改成https访问)
- nginx keepalived配置(Nginx+Keepalived实现Web服务器高可用)
- 如何采集nginx的日志(Filebeat 采集 Nginx 日志的方法)
- 如何设置nginx使用ip访问(nginx基于域名,端口,不同IP的虚拟主机设置的实现)
- nginx虚拟主机配置推荐(nginx配置虚拟主机的详细步骤)
- nginx做转发配置weight啥意思(Nginx中break与last的区别详析)
- 演员陈创,火于 哮天犬 ,颠峰于 福贵 ,现状却令人唏嘘(演员陈创火于哮天犬)
- 幼小衔接-20以内看图读数 写数 数的组成练习题(幼小衔接-20以内看图读数)
- 你只要花上20天记单词,英语成绩就能从57提到100(你只要花上20天记单词)
- 夕云天际飞,亢龙化太极(夕云天际飞亢龙化太极)
- 爱情可以当饭吃吗(怎么回复)
- 高考数学题(高考数学题基础题占多少分)
热门推荐
- apache https配置(Apache httpd 安装module mod_expires、mod_deflate的方法)
- iis警告事件怎么处理(IIS服务器常见错误解析及排错指南、错误代码大全)
- 设置mysql字符集语句(MySQL修改字符集的实战教程)
- vue子视图里再加routerview(vue router-view的嵌套显示实现)
- python mysql配置(详解python校验SQL脚本命名规则)
- jQuery toggleClass
- php 上传临时文件扩展名(浅析PHP 中move_uploaded_file 上传中文文件名失败)
- mysql常用数据模型(MySQL数据库基于sysbench实现OLTP基准测试)
- sql server导入数据csv文件(大容量csv快速内导入sqlserver的解决方法推荐)
- tomcat 多线程并发cpu(Tomcat使用线程池处理远程并发请求的方法)
排行榜
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9