福建快3最大遗漏数据
您现在的位置:[首页]电商平台 > 详解robots的写法

详解robots的写法

发布日期:2014-01-22 阅读次数:1168

今天朋友让小编给分析网站,看了之后不管是站内,还是站外都没什么问题,但是连首页都没有收录,这个站点将近两个月了。这个朋友也真沉的住气,最后发现他的robots写的不规范,导致屏蔽了全站,出现这个错误让人很忧伤,一个小小的错误导致收录和排名的推迟。今天合肥建站公司小编说说不得不学的robots写法。

为什么要写robots

robots是网站与搜索引擎蜘蛛通信的唯一接口,可以控制蜘蛛爬行的页面,告诉蜘蛛你网站中的哪些内容是可以爬行的。在优化方面的作用,是因为控制了蜘蛛的爬行,从而使得权重更集?#23567;?#24182;且有可以规避掉对后台页面的爬?#23567;?#22914;果网站没有禁止蜘蛛爬行的路径,小编seo建议可以设置为空,这是与搜索引擎签订的协议,根目录里还是有个robots文件的好。

robots写法

1、建立robots文件
建立 robots.txt 是存放在站点根目录下的一个纯文本文件,让搜索蜘蛛读取的txt文件,文件名必须是小写的“robots.txt”。

2、语法
User-agent:搜索引擎的蜘蛛名
Disallow:禁止搜的内容
Allow:允许搜的内容

3、实例
首先介绍 Disallow: 禁止抓取
User-agent: *  (*表示所有的搜索引擎)
Disallow: /abc.html  这是屏蔽一条完整的路径
Disallow: /abc/     这是屏蔽一个文件夹(包括屏蔽了域名后面是abc的所?#26032;?#24452;)
Disallow: /abc     这是屏蔽包含某一字段的路径
Disallow: /abc*      这是屏蔽abc后面所有的路径
Disallow: /*abc*     屏蔽abc所有的路径
Disallow: /?*     屏蔽域名后面以?号开头的所有动态路径
Disallow: /*?*   屏蔽所?#20889;?#21495;的动态路径
Disallow: /*php$ $是指定结束符号,屏蔽所有以php结束的路径

下面介绍Allow允许抓取

Allow是建立在Disallow出现的,是说屏蔽了某个文件,但是想让搜索引擎抓取屏蔽这个文件里面的某个东西,举个例子,Disallow: /*abc*屏蔽了所有的带有abc的路径,如果我们想让搜索引擎抓取/abc.123.html那就得这么写:
User-agent: *
Disallow: /*abc*
Allow: /abc.123.html
Allow是相对Disallow出现的,Allow的出现,后面不能什么都不写,?#28909;紓?BR>User-agent: *  (*表示所有的搜索引擎)
Disallow: /abc.html
Disallow: /abc/
Disallow: /abc*
Allow: /
这么写的话,意思是前面Disallow的屏蔽都失效。

小编总结:

robots在不同的搜索引擎里判断的标?#23478;?#26159;不一样,有一次小编seo博客的robots是这么写的,Disallow:     /abc/,:和/中间好几个空格,也是一时疏忽,导致屏蔽掉了360搜索引擎,收录量直线下降。还有那个朋友的站点,robots中的:/中间没有空格(必须是有空格的),导致屏蔽了所有搜索引擎的抓取,所有他的站点没有被收录。这些种种的教训,告诉了我们robots一定要写规范。

标签:robots
司瓦图胡经理
技术客服,免费咨询
技术客服司瓦图胡经理
司瓦图网络自2007年正式注册成立,目前提供各类平台系统定制,包括电商平台开发,微信小程序定制开发,微?#29260;?#21488;定制开发,企业官网制作以及400电话开通等服务!

全国服务热线4000-522-555周一至周六8:30-18:00

地址:合?#36866;?#25919;务区天珑广场5号?#20934;?#20889;字楼1007-1008室

老张个人微信

老张原创分享

Copyright © 2018 版权所有:合肥司瓦图网络科?#21152;?#38480;责任公司 ALL Rights Reserved  
皖ICP备07007410号
司瓦图老张头像
司瓦图老张
老张自05年进入互联网行业,一直?#37038;?#20114;联网平台开发行业,服务项目主要有:平台定制开发,电商平台开发,微信商城,微信小程序等。
司瓦图老张微信
福建快3最大遗漏数据 15选5258荐胆 e彩乐在线手机版注册 四川时时玩法介绍 四肖八码中特 球琛网 电子游戏帝国 吉林十一选五走势图图表 72071今晚开奖结果 帮别人买重庆时时犯法吗 吉利平肖平肖平码高手论坛