18720358503 在线客服 人才招聘 返回顶部
企业动态 技术分享 行业动态

Robots.txt一个必须留意的关键点

2020-12-30分享 "> ">

Robots.txt一个必须留意的关键点


小视频,自媒体平台,达种族草一站服务

今日总算把困惑我一个半月的难题处理了,可是也由于那么难题使一个网站被被降权惩罚了,主重要字排行被K。因此今日我写成来期待能给有一样难题的网站站长们一个解释,少走一些弯道。一个网站从二月份发布,从三月份刚开始就每日坚持不懈原創+原创文章6-9篇。2个月的坚持不懈获得了非常好的收益,百度权重挺高,公布文章内容一般三十分钟内百度收录,而且可以得到一个非常好的排行,有时候从一一篇文章就可以产生好几百的IP。

可是好景不久,在4月末的情况下突然发觉百度搜索刚开始免收录我写的文章内容了,同时Google也终止百度收录,我觉得到不是就是我在robots.txt严禁了文件目录的爬取,可是查询了robots.txt并沒有严禁爬取,出現那样的难题要我很是惊讶。观查了几日一直全是这一难题,一直不断到五月13号,我根据Google网站后台管理职工具试验室中的 像googlebot一样爬取 发觉,文章内容文件目录提醒接到robots.txt回绝,可是我确实沒有严禁过这一文件目录。

一直找不着缘故,在百度搜索也没搜索到有关材料,问了好多个人,她们觉得将会是网络服务器缘故,由于搜索引擎蜘蛛爬取太过经常,因而占有很多网络服务器資源,因此室内空间商严禁了搜索引擎蜘蛛爬取我的哪个文件目录,但室内空间商一口否定。因为我因而换了个室内空间,转到一个vps服务器,而且应用一个预留网站域名开展调节,用爬取专用工具检测时提醒爬取取得成功,难题确实沒有出現。因此我将我的主网站域名分析上来,可是令我惊讶的是仍然提醒接到robots.txt限定。

那样就清除了室内空间商的难题,在昨日夜里我细心观查了一下robots.txt与Google管理方法职工具,发觉我的robots.txt里确实严禁了/taobao/文件目录,而我的文章内容文件目录为/taobaozixun/。我想到到是不是是由于在文章内容文件目录中有/taobao字眼的关联,在Google爬取管理权限检测中,果真发觉这一难题:

检测結果

网站地址 Googlebot Googlebot-Mobile

阻拦浏览第 21 行:Disallow: /taobao

检验为文件目录;实际文档将会有不一样限定

果真我的想到沒有错,因此我要去没了对/taobao/文件目录的限定,第二天再度检测难题也总算处理了。这一难题困惑了我一个半月,同时在百度搜索大升级的情况下一直没法爬取,同时拆换了一次网络服务器,造成网站重要字排行被K,权重值降低,但是权重值会在我修复升级以后渐渐地上去,这也要我学得一个专业知识。同时期待能对大伙儿有一定的协助!


"> ">
在线咨询