网站首页 技术学习 SEO优化 正文
百度蜘蛛叫Baiduspider不是baidubot
今天又遇到有同学问我关于ROBOTS该如何去写的问题,这里整理下给大家,其实也都是来源于网路上,注意百度的蜘蛛叫做Baiduspider而不是baidubot,谷歌的叫做googlebot。
1、禁止所有搜索引擎访问网站的任何部分
User-agent:*
Disallow:/
2、允许所有的robot访问(或者也可以建一个空文件"/robots.txt")
User-agent:*
Allow:/
另一种写法是
User-agent:*
Disallow:
3、仅禁止Baiduspider访问您的网站
User-agent:Baiduspider
Disallow:/
4、仅允许Baiduspider访问您的网站
User-agent:Baiduspider
Allow:/
5、禁止spider访问特定目录
在这个例子中,该网站有三个目录对搜索引擎的访问做了限制,即robot不会访问这三个目录。需要注意的是对每一个目录必须
分开声明,而不能写成"Disallow:/cgi-bin//tmp/"。
User-agent:*
Disallow:/cgi-bin/
Disallow:/tmp/
Disallow:/~joe/
6、允许访问特定目录中的部分url
User-agent:*
Allow:/cgi-bin/see
Allow:/tmp/hi
Allow:/~joe/look
7、使用"*"限制访问url
禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
User-agent:*
Disallow:/cgi-bin/*.htm
8、使用"$"限制访问url
仅允许访问以".htm"为后缀的URL。
User-agent:*
Allow:/.htm$
9、禁止访问网站中所有的动态页面
User-agent:*
Disallow:/*?*
10、禁止Baiduspider抓取网站上所有图片
仅允许抓取网页,禁止抓取任何图片。
User-agent:Baiduspider
Disallow:/*.jpg$
Disallow:/*.jpeg$
Disallow:/*.gif$
Disallow:/*.png$
Disallow:/*.bmp$
11、仅允许Baiduspider抓取网页和gif格式图片
允许抓取网页和gif格式图片,不允许抓取其他格式图片
User-agent:Baiduspider
Allow:.gif$
Disallow:/.jpg$
Disallow:/.jpeg$
Disallow:/.png$
Disallow:/.bmp$
12、仅禁止Baiduspider抓取jpg格式图片
User-agent:Baiduspider
Disallow:/.jpg$
- 上一篇: 酷壳网:搜索引擎优化如何分析网站日志
- 下一篇: 百度快照的含义,百度快照是什么意思
猜你喜欢
- 2021-09-11 如何打造中老年网站方便使用的网站?
- 2020-06-14 月热古丽·买买提:seo关键字密度法则
- 2019-12-14 提升seo排名的基础点是什么?
- 2019-12-14 seo排名和文章更新有什么关联?
- 2019-12-14 seo排名和哪些内容相关?
- 2019-11-30 天地网买卖通:百度搜索应该注意的五个问题是什么?
- 2019-11-30 吕加平事件:为什么搜索引擎优化排名应该是偶然性的?
- 2019-11-30 安德烈莎-乌拉赫:如何通过搜索引擎优化关键字获得不同的客户?
- 2019-11-30 阿瑟隆在哪: Seo优化如何快速学会分析竞争对手?
- 2019-11-30 长空户外:如何面对搜索引擎优化设置方法?
- 51363℃拼多多官方回复100元无门槛BUG优惠券 称已向法院报案
- 38369℃设计你的专属签名 一笔签名设计安卓版
- 35040℃CF国庆神枪节活动 开启宝箱领取永久和期限道具 还有高倍经验
- 33462℃下载百度袋鼠即可100%领取1天-1年爱奇艺VIP会员奖励
- 35119℃快手获腾讯等3.5亿美元融资 马化腾表示它有温度
- 32964℃热血传奇新服开启手游app抽奖送3~100元微信红包奖励
- 31512℃王者荣耀s7亚瑟玩法详解 王者荣耀亚瑟怎么玩
- 29719℃梦幻诛仙新年新惊喜登录送1元微信红包 每日限量
- 04-184月18日每天60秒新闻资讯读懂世界
- 04-174月17日每天60秒新闻资讯读懂世界
- 04-164月16日每天60秒新闻资讯读懂世界
- 04-154月15日每天60秒新闻资讯读懂世界
- 04-144月14日每天60秒新闻资讯读懂世界
- 04-134月13日每天60秒新闻资讯读懂世界
- 04-124月12日每天60秒新闻资讯读懂世界
- 04-114月11日每天60秒新闻资讯读懂世界
- 51363℃拼多多官方回复100元无门槛BUG优惠券 称已向法院报案
- 38369℃设计你的专属签名 一笔签名设计安卓版
- 35040℃CF国庆神枪节活动 开启宝箱领取永久和期限道具 还有高倍经验
- 33462℃下载百度袋鼠即可100%领取1天-1年爱奇艺VIP会员奖励
- 35119℃快手获腾讯等3.5亿美元融资 马化腾表示它有温度
- 32964℃热血传奇新服开启手游app抽奖送3~100元微信红包奖励
- 31512℃王者荣耀s7亚瑟玩法详解 王者荣耀亚瑟怎么玩
- 29719℃梦幻诛仙新年新惊喜登录送1元微信红包 每日限量
- 大家都在看
- 热门文章
- 最新文章