福建快3最大遗漏数据
您现在的位置:[首页]电商平台 > 如何限制蜘蛛的抓取流量来提升seo效果

如何限制蜘蛛的抓取流量来提升seo效果

发布日期:2014-01-11 阅读次数:966

网站假如采用的是虚拟空间,那么都会有一定的流量限制,如果大部分的流量都被蜘蛛所占据,那?#27425;?#20204;就需要额外花费一些钱去购买流量了。那么假如一个网站很多流量都是蜘蛛抓取所浪费的,有哪些技巧和方法可以限制而不影响SEO效果呢?合肥建站公司小编认为,我们可以采用以下几种方式:

  1,?#39029;?#34394;假蜘蛛进行IP屏蔽。通过网站日志分析,我们可以知道其实很多所谓的百度spider或谷歌spider其实都是假的,我们可以通过解析出这些虚假蜘蛛的IP进行屏蔽,这样不仅可以节省流量也可以减少网站被采集的风险。具体操作中需要反查出IP是不是真蜘蛛,操作方法为:点击左下角的开始-运行-CMD-输入命令nslookup ip 回车就可以看到结果了。如果是真的搜索蜘蛛?#21152;?#19968;个蜘蛛标记,而假的蜘蛛却没有标记。

  2,屏蔽无效的蜘蛛或对seo效果小的搜索蜘蛛。比如我们知道谷歌蜘蛛是抓取量非常大,但是对于很多行业来说谷歌的流量很低,seo效果并?#32531;茫?#22240;此可以进行屏蔽谷歌蜘蛛的抓取而节省大量的流量,例如?#35272;?#35828;网站就屏蔽了谷歌蜘蛛的抓取。除了谷歌之外,还有一些蜘蛛比如的盘古搜索、bing蜘蛛等,这些流量都非常低的,或者几乎没有太大作用的蜘蛛其实都可以屏蔽掉。

  3,用robots限制无效页面或重复页面的抓取。有一些页面可能以前存在但是现在没有了,或者是存在动态与静态的URL一起存在,由于存在反向链接或数据库内有这样的链接,蜘蛛仍旧会不时进行抓取,我们可以?#39029;?#36820;回404页面的URL,把这些URL都给屏蔽掉,这样既提高了抓取屏?#25105;布?#23569;了流量浪费。

  4,限制页面的抓取内容来提高抓取效率与抓取速度,减少抓取流量。对于任何一个页面来说,?#21152;?#24456;多无效的噪音区,比如一个网站的登录、注册部分、最下面的版权信息和一些帮助性的链接导航等,或一些模板上存在一些无法被蜘蛛识别的展示模块等,这些我们都可以采用加Noffollow标签或ajax、JS等方法进行限制或屏蔽抓取,减少抓取量。

  5,外部调用或cdn加速来提高蜘蛛的抓取,减少服务器的响应和流量浪费。目前的网站大多采用大量的图片、视频等多媒体来展示,而这些图片缺需要较多的下载流量,如果我们把图片采用外部调用的方式,那么就可以节省大量的蜘蛛抓取流量。目前比较好的方法有把图片放在其他的服务器或上传到一些网盘上都可以。

  6,利用站长工具限制或提高蜘蛛的抓取,或者限制蜘蛛抓取的时间。目前百度站长平台和谷歌站长平台?#21152;?#31449;长抓取的工具,可以用来限制蜘蛛抓取的时间和抓取量,我们可以根据需要进行合理调配,达到最佳的效果。

  以上就是小编总结的如何提高蜘蛛抓取效?#30465;?#38477;低抓取量的一些方法,当然在实?#25163;?#25105;们也可以根据自身实际需求来解决,比如可以对一些抓取量过大的栏目在sitemap设置?#31995;?#30340;抓取频?#30465;?#23545;一些重要的内容如果收录?#32531;?#30340;话也可以增加外链或内链来提高抓取等,方法是死的,我们可以根据具体的续期去进行合理化的设置,来达到更少的抓取而更高的抓取效?#30465;?/FONT>

标签:流量
司瓦图胡经理
技术客服,免费咨询
技术客服司瓦图胡经理
司瓦图网络自2007年正式注册成立,目前提供各类平台系统定制,包括电商平台开发,微信小程序定制开发,微?#29260;?#21488;定制开发,企业官网制作以及400电话开通等服务!
Copyright © 2018 版权所有:合肥司瓦图网络科?#21152;?#38480;责任公司 ALL Rights Reserved  
皖ICP备07007410号
司瓦图老张头像
司瓦图老张
老张自05年进入互联网行业,一直?#37038;?#20114;联网平台开发行业,服务项目主要有:平台定制开发,电商平台开发,微信商城,微信小程序?#21462;?/div>
司瓦图老张微信
福建快3最大遗漏数据 股票行情手机 中国建设银行股票分析论文 股票融资技巧ˉ杨方配资开户 23上证指数 股票涨跌原因分析 股票涨跌影响总资产 今日股票推荐公司 股票分析师群 股票行情今天查询 大盘指数上证指数图