你不知道的robots文件那些事 胜诉在美国 电视剧_真相_一尘网_www.l-pal.com
一尘网 - 真相 - 正文

你不知道的robots文件那些事

2019-09-17 14:00A5创业网

  各种互联网项目,新手可操作,几乎都是0门槛

robots.txt文件,是每一个引擎蜘蛛到你的网站之后要寻找和访问的第一个文件,robots.txt是你对引擎制定的一个如 何索引你的网站的规则。通过该文件,引擎就可以知道在你的网站中哪些文件是可以被索引的,哪些文件是被拒绝索引的。我们就可以很方便地控制引擎索引网站内容了。 在很多网站中,站长们都忽略了使用robots.txt文件。

因为很多站长都认为,自己的网站没有什么秘密可言,而且自己也不太会使用robots.txt的语法,因此一旦写错了会带来更多的麻烦,还不如不用。 其实这样的做法是不对的。如果蜘蛛在某个网站上访问了一个不存在的URL,那么就会记录下一条404信息(网页不存在),而robots.txt作为蜘蛛访问网站的第一个文件,一旦引擎找不到这个文件,也会在它的索引服务器上记录下一条404信息。如果这样的404信息过多,那么引擎蜘蛛就会认为该网站价值较低,从而降低对该网站的“印象分”,这就是我们经常会听到的“降低权重”。

“权重”是一个影响网站在引擎排名中非常重要的因素,如果网站的权重高,那么引擎蜘蛛也会频繁地访问该网站,而且网站排名也好。如果权重低,那么引擎蜘蛛对于网站的访问次数也相应的要少,同时网站排名较差。而网站的权重是由很多条件所积累的,404信息就是很重要的一条,因此不得不重视。 虽然在百度的帮助文件中,有这样的一句话“请注意,仅当您的网站包含不希望被引擎收录的内容时,才需要使用robots.txt文件。如果您希望引擎收录网站上的所有内容,请 勿建立robots.txt文件”。

实际上百度只是担心由于网站管理员不懂得robots.txt语法,导致引擎蜘蛛无法正常抓取网站,才这样写的。建立robots.txt文件还是必需的,哪怕这个robots.txt文件是一个空白的文本文档都可以。因为我们的网站毕竟不是仅仅会被百度收录,同时也会被其他引擎收录,上传一个空白的robots.txt文件,至少不会导致一条404信息的产生。

本文来源:裕顺网络www.ahyushun.com如有转载请注明出处

编辑:陈红

版权与免责声明:

凡未注明"稿件来源"的内容均为转载稿,本网转载出于传递更多信息的目的;如转载稿涉及版权问题,请作者联系我们,同时对于用户评论等信息,本网并不意味着赞同其观点或证实其内容的真实性;


本文地址:http://www.l-pal.com/news/2019/09/17/655372.html

转载本站原创文章请注明来源:一尘网

点击排行
焦点

看上去很火的短视频,对创业者却是个无底洞

  美国杂志《名利场》曾经针对“青少年喜爱的明星”做过一次调 ...详情

Win10系统的便签(便利贴)在哪?

Win10系统更新成2016年周年 版,版本编号1607,。 ...详情

19999元!“小米”自行车来了 史上最贵

啄木网-青岛IT(www.zomiu.com):19999元 ...详情

2月流失20万玩家 绝地求生真的要凉了吗?

《绝地求生》自发布以来可以说是一路飙升,玩家数量每月都有很明 ...详情

万字干货总结:最全的运营数据指标解读

用户获取是运营的起始,用户获取接近线性思维,或者说是一个固定 ...详情

CopyRight © 2019 www.l-pal.com, All Rights Reserved 一尘网 版权所有

使用一尘网前必读 | 关于我们 | 免责声明 | 隐私政策 | 版权声明 | 联系我们