福建快3最大遗漏数据
您现在的位置:[首页]电商平台 > 浅谈robots.txt机器人协议的使用小技巧

浅谈robots.txt机器人协议的使用小技巧

发布日期:2014-01-13 阅读次数:1052

刚写了一篇文回忆了新站长们优化过程中容易犯下的小错误,中间提到了robots.txt机器人协议,合肥网站设计小编不禁就想跟大家讨论一下robots.txt机器人协议的使用技巧。网站优化是个长期的工作,同时也是一个互动的工作,闭门造车的站长不会是一个好站长,所以希望大家能多多交流。不足之处,请斧正。

  废话不多说,咱们开始进入正题。robots.txt机器人协议大家都知道是为了规范蜘蛛爬行而设定的,大家?#35805;?#20250;在其中常规性的禁止蜘蛛爬行data、tmp这些目录,也会禁止其爬行会员、订单、库存等等模块。但除了这些常规用法之外,robots.txt机器人协议对我们优化工作其实,还有很多小技巧可以配合使用,让我们的网站优化工作更好进?#23567;?/FONT>

  一、通过禁止爬行动态页或某些页面,减少重复收录

  首先就是很多人都知道的禁止蜘蛛爬行动态页,减少整个网站的重复收录问题。?#20040;?#23601;是利于整个网站内容页面的权重集中,不容易因为重复收录导致内容页面权重分散等等。这是这个技巧对与常规网站的?#35805;?#24847;义,但是对于商城站、资讯站、问答站等大型网站,这种规范意义却是十分大的。

  1、商城、B2B等大型网站条件过滤页

  在商城、B2B等大型网站中,常常会涉及到条件过滤的问题,即通过删选产品的规格、品牌等会出现大量相似页面。假如这个问题不能?#34892;?#35299;决就会造成网站大量相似内容被重复收录等等,?#35805;?#32780;言这种问题可以通过运用应针对行的进行一些URL屏蔽工作,或者考虑采用ajax形式。但效果而言,没有直接使用robots.txt机器人协议效果好,推荐还是在URL静态化规则做好的基础上通过robots.txt禁止抓取动态页面来进?#20889;?#29702;。

  2、资讯站评论页面

  资讯站页面评论跟条件过滤页相似,也需要通过robots.txt配合URL规则设置屏蔽掉动态页面,防止重复收录等问题。

  3、其他类似情况

  在B2B、招聘、威客网站当中也会有类似的问题,这些情况都可以使用robots.txt来?#34892;?#30340;规范蜘蛛爬行,从而规避重复收录等等。

  二、诱导蜘蛛爬行重要页面,提高蜘蛛爬行效率

  这个小技巧主要是配合网站地图和聚合页标签使用,为的是给这些重要页面提供更多入口方便蜘蛛爬?#23567;?#32593;站地图、聚合页标签伪装的列表页等等是蜘蛛爬行最为快捷方便的地方,通过robots.txt协议中Allow命令的使用,让蜘蛛优先爬行这些页面,自然收录情况也就更好。

  三、调整网站权重分配

  通过robots.txt协议可以?#34892;?#30340;调整网站的整体权重,配合nofflow标签等使用将权重导向网站的重点栏目或者重点页面,达到合理分配整站权重的作用。

  四、擦边球做法

  在提高网站相关度的一种首发中,就是利用robots.txt协议。其在根目录中防?#20040;?#37327;的TXT文档,在TXT文档中嵌入大批量的关键词,?#32531;?#36890;过robots.txt诱导蜘蛛去爬行这些目录。当然这里不是?#20040;?#23478;也这么做,毕竟黑帽手段不长久,咱们说的是安全的小技巧。

  这里不知道有没有站长的网站?#36824;?#39532;过,特别是被寄生虫肆虐过的站长更是很悲愤吧。不过咱们换个思路看,寄生虫这种方法,也未尝不是我们做网页收录的一个好办法。即通过设计一些页面模版,?#32531;?#36890;过程序批?#21487;?#25104;大量页面,将这些页面按照规则放置到对应的新目录中,通过robots.txt诱导蜘蛛爬行,收录效果也很不错。当然,这种手段做的话,页面模版必须做的很优秀才可以,不然将会很大的影响用户体验,希望站长们注意。

标签:robots
司瓦图胡经理
技术客服,免费咨询
技术客服司瓦图胡经理
司瓦图网络自2007年正式注册成立,目前提供各类平台系统定制,包括电商平台开发,微信小程序定制开发,微?#29260;?#21488;定制开发,企业官网制作以及400电话开通等服务!
Copyright © 2018 版权所有:合肥司瓦图网络科技有限责任公司 ALL Rights Reserved  
皖ICP备07007410号
司瓦图老张头像
司瓦图老张
老张自05年进入互联网行业,一直?#37038;?#20114;联网平台开发行业,服务项目主要有:平台定制开发,电商平台开发,微信商城,微信小程序等。
司瓦图老张微信
福建快3最大遗漏数据 天津快乐10分开奖官网 2018捕鱼赢现金可提现 三公最大的牌是什么 去日本拍gv赚钱 快三有大小单双玩法吗 2017熊猫直播怎么赚钱 优彩彩票是诈骗平台吗 双色球第一大奖 三公怎么玩详细介绍 飞禽走兽技巧大揭秘