阿里云虚拟主机带公网地址吗(阿里云虚拟主机被搜索引擎爬虫访问耗费大量流量解决方法)
阿里云虚拟主机带公网地址吗
阿里云虚拟主机被搜索引擎爬虫访问耗费大量流量解决方法问题场景:
客户使用虚拟主机,网站被搜索引擎爬虫访问耗费大量流量和带宽,如何处理。
解决方法:
可以通过在站点根目录下创建 Robots.txt,Robots.txt 文件是网站的一个文件,搜索引擎蜘蛛抓取网站首先就是抓取这个文件,根据里面的内容来决定对网站文件访问的范围。它能够保护我们的一些文件不暴露在搜索引擎之下,从而有效的控制蜘蛛的爬取路径。
注:Robot.txt协议不是强制协议,部分搜索引擎或者伪装成搜索引擎的爬虫不会遵守该协议,对于不遵守该协议的情况,以下方法无效。
1. 首先,先了解一下目前搜索引擎和其对应的 User-Agent,如下:
搜索引擎 User-Agent
AltaVista Scooter
baidu Baiduspider
Infoseek Infoseek
Hotbot Slurp
AOL Search Slurp
Excite ArchitextSpider
Google Googlebot
Goto Slurp
Lycos Lycos
MSN Slurp
Netscape Googlebot
NorthernLight Gulliver
WebCrawler ArchitextSpider
Iwon Slurp
Fast Fast
DirectHit Grabber
Yahoo Web Pages Googlebot
LooksmartWebPages Slurp
2. Robots.tx t样例代码:
例1. 禁止所有搜索引擎访问网站的任何部分
User-agent:
Disallow: /
例2. 允许所有的搜索引擎访问网站的任何部分
User-agent:
Disallow:
例3. 仅禁止Baiduspider访问您的网站
User-agent: Baiduspider
Disallow: /
例4. 仅允许Baiduspider访问您的网站
User-agent: Baiduspider
Disallow:
例5. 禁止spider访问特定目录
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /data/
注意事项:
三个目录要分别写。
请注意最后要带斜杠。
带斜杠与不带斜杠的区别。
例6. 允许访问特定目录中的部分url
实现a目录下只有b.htm允许访问
User-agent: *
Allow: /a/b.htm
Disallow: /a/
- 阿里云ecs怎么配置环境(阿里云ECS实例中运行网站常见状态码的报错分析)
- 购买了阿里云服务器之后怎么使用(阿里云服务器怎么买?阿里云服务器购买流程)
- 阿里云服务器ecs环境配置(阿里云ECS服务器的购买、配置升级和续费教程)
- 阿里云到期ecs迁移至本地(阿里云ecs 硬盘在线扩容详细教程)
- 阿里云ecs部门怎么样(阿里云ecs是什么意思?)
- 阿里云linux服务器怎么进(阿里云Linux主机安装WDCP管理面板包含lamp+lnmp+lanmp环境)
- 阿里云服务器可以连接几个面板(阿里云云服务器宝塔面板的安装图文教程详解)
- 如何去阿里云解析域名(利用Python+阿里云实现DDNS动态域名解析的方法)
- 云服务器如何搭建iis(阿里云云服务器Windows 2008下IIS添加网站绑定域名图文教程)
- 阿里云rds需要读写分离吗(为什么使用阿里云RDS?使用RDS有什么好处?)
- 阿里云跟腾讯云的对比(阿里云、腾讯云的恩怨情仇)
- 阿里云服务器如何选(企业如何选择阿里云服务器配置?)
- 阿里云服务器购买时考虑的因素(购买阿里云服务器后的基本安全配置)
- docker配置阿里云镜像(Docker镜像的制作,上传,拉取和部署操作利用阿里云)
- 阿里云centos7java服务器搭建(阿里云 ubuntu16.04搭建IPSec服务)
- 阿里云网站cdn加速(阿里云CDN刷新链接接口实践)
- 融入小人物的喜怒哀乐,黄渤饰演的角色为什么让人观看时欲罢不能(融入小人物的喜怒哀乐)
- 《极限挑战》深访都市夜归人,夜间打工者体验,黄磊录完憔悴了(极限挑战深访都市夜归人)
- Google 推出了一个游戏生成器,让不会编程的你也能自己设计游戏(推出了一个游戏生成器)
- 二胎家庭老大爱闹情绪,用这招很有效(二胎家庭老大爱闹情绪)
- 一个30岁男人外遇失败的全过程(一个30岁男人外遇失败的全过程)
- 《无敌破坏王2》 不聊彩蛋,聊聊我从动画里看到的现实那些事儿(无敌破坏王2不聊彩蛋)
热门推荐
- python发送微信消息脚本(python实现微信每日一句自动发送给喜欢的人)
- phpstudy使用教程最新版(phpstudy安装使用图文教程)
- ip承载网和数通区别(网络线路科普之CN2,GIA,CIA,BGP以及IPLC都是什么意思)
- docker镜像保存教程(docker镜像导入导出备份迁移的操作)
- nginx反向代理spring boot(Nginx+SpringBoot实现负载均衡的示例)
- css如何让图片居中
- php如何复制数组(php5对象复制、clone、浅复制与深复制实例详解)
- docker安装nginx如何配置(docker部署nginx并且挂载文件夹和文件操作)
- dockerswarm网络架构(docker swarm外部验证负载均衡时不生效的解决方案)
- nginx是怎样负载均衡的(Nginx四层负载均衡的配置指南)
排行榜
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9