福建快3最大遗漏数据
您现在的位置:[首页]电商平台 > 百度蜘蛛为什么会抓取网站不存在的路径?

百度蜘蛛为什么会抓取网站不存在的路径?

发布日期:2014-01-20 阅读次数:1344
做seo我们需要经常性的去看我们网站的服务器日志,也就是iis日志,因为我们需要很好的掌握蜘蛛爬取了我们网站的什么地方,哪个页面。但是有些朋友有的时候在进行例行检查的时候,却发现蜘蛛爬取了一些我们网站并不存在的页面,今天合肥建站公司小编就讲解下为什么百度蜘蛛会爬取我们网站没有的页面。
1、蜘蛛是怎么发现我们网站的链接的
我们都知道,蜘蛛是沿着链接?#35272;?#29228;去的,他会自动提取网站中所有的链接,保存入库,?#32531;?#36827;?#20449;?#21462;,这也就是为什么我们觉得网站的收录少了或者刚发布的文章没有被收录,我们就会说“引蜘蛛”了,其实引蜘蛛就是发外链了,当这条链接呗蜘蛛发?#31181;?#21518;,他就会进?#20449;?#21462;,?#32531;?#36890;过一系列复杂的算法之后,决定是否放出该页面的收录。
2、为什么会爬到不存在的页面
?#35805;?#24773;况下,有这么几个问题
a、被对手恶意刷外链,也就是说竞争对手恶意的给你发了很多的不存在的页面链接,当蜘蛛发?#31181;?#21518;就会来爬取
b、以前做的外链,后来由于网站改版而某些链?#29992;?#26377;及时的去除,蜘蛛定期回访的时候爬取了这条链接
c、此种仅限老域名,之前的网站结构和我们现在的网站结构不一致,也类似于b中的说法
d、robots文件没有对蜘蛛进行限制
e、程序的原因,导致搜索引擎蜘蛛掉入黑洞
f、url提交或者ping给百度地址?#24418;?BR>蜘蛛爬取不存在的页面,?#35805;?#24773;况下都是由于这些问题导致的,其中最主要的原因就是外链部分,所以我们要经常性的去检查下我们网站的外链情况。
下面提供解决办法:
这些方面综合来讲,?#35805;?#25105;们只需要这么做,基本就能够减少这种情况的发生,如果是链接导致的,那么就去百度站长平台使用外链拒绝工具拒绝掉,并提交网站的死链接,同时使用robots屏蔽蜘蛛抓取这些内容;如果是程序问题,就修复程序。
标签:百度蜘蛛
司瓦图胡经理
技术客服,免费咨询
技术客服司瓦图胡经理
司瓦图网络自2007年正式注册成立,目前提供各类平台系统定制,包括电商平台开发,微信小程序定制开发,微?#29260;?#21488;定制开发,企业官网制作以及400电话开通等服务!

全国服务热线4000-522-555周一至周六8:30-18:00

地址:合?#36866;?#25919;务区天珑广场5号?#20934;?#20889;字楼1007-1008室

老张个人微信

老张原创分享

Copyright © 2018 版权所有:合肥司瓦图网络科?#21152;?#38480;责任公司 ALL Rights Reserved  
皖ICP备07007410号
司瓦图老张头像
司瓦图老张
老张自05年进入互联网行业,一直?#37038;?#20114;联网平台开发行业,服务项目主要有:平台定制开发,电商平台开发,微信商城,微信小程序?#21462;?/div>
司瓦图老张微信
福建快3最大遗漏数据 北京单场中奖查询 湖北快三 足彩14场二等奖 足球指数雪缘园 四川快乐12遗漏任5遗漏 快三下载手机版下载 太阳集团娛乐城所有网址 上海市快三200期 上期平码号 上海时时十一选五开奖结果