有时候我们建站前期忘记写robots.txt文件了，很多我们不想让搜索引擎收录的内容却被收录了，这个时候会发现好像过了很长时间我们不想让收录的页面还是处于被收录的状态，到底robots生效要多久呢？
百度lee曾在公开场合说过：不同的站点略有不同，但通常在几天内陆续生效。
其实我们可以假想下robots生效的过程：
1.蜘蛛发现robots文件修改并将信息传回
2.分析修改前后的robots文件
3.删除不允许被收录的索引数据
这个过程中肯能还会存在其他的一些步骤，然而由于每个网站蜘蛛爬的频率和网站的权重不同（网站的重要性）而导致蜘蛛发现robots更改的时间延时或者被处理的优先性不同，最终导致的结果就是robots的生效时间不同。
通过以上分析我们可以得出robots的生效时间并不是一定的，如果你的robots更改后很久都没有生效的话，可以去这里投诉：tousu.baidu.com
本文来自投稿，不代表重蔚自留地立场，如若转载，请注明出处https://www.cwhello.com/34735.html
如有侵犯您的合法权益请发邮件951076433@qq.com联系删除
创建符合市场要求的产品是每家公司都在努力的东西，但只有少数公司能够做到这一点。这就是市场氛围。在市场运作过程中，企业需要让产品满足市场，跟随市场环境，与时俱进，提升用户体验，以用户为核心，提高口碑的…
如果您要做的词是高指数的关键词的话，那么就要做好长期奋斗的准备，从网站建设到信息的发布，都要有一定的水平和质量，首先 建站就千万不要选择模板建站，尽量是技术员自己写的，最好就是div写的，因为最近我发现…
如果你在网上搜索SEO优化公司，可以看到很多公司做SEO优化业务。如何确定一个SEO优化公司可不可靠，我们认为有三个因素可以参考，并做详细的分析，你可以选择网站SEO公司之前，你可以参考。对于很多网络SEO优化公司…
网站的排名高不高在于SEO优化的怎么样?许多做SEO的人一般都知道SEO的哪些方面需要注意，从哪里开始，但很少有人有一套标准化的SEO流程，经常考虑做什么，重要的网站操作，下面就和小编一起来看看、、、 一、搜索引…
百度的排名对网站的要求越来越高，那么如何做好seo优化，让自己在这个竞争激烈的市场中拥有一席之地呢?大家要找到精准的方法，有方向的进行优化，才能达到事半功倍的效果。 第一、网站的结构优化 在seo优化中，网站…
有的优化人员擅长降低CPA。他们擅长将数据进行整理，通过汇总数据，运用成本与转化构成二维四象限的图表，通过分类进行优化。 对于低成本的渠道和关键词进行放量;对于高成本的渠道和关键词进行收量。这样的优化方式…
如果企业网站若想获得更多自然流量，藉助搜索引擎的力量是必然，其中SEO优化就是不错的选择。具体怎样做?对此，小编将分析「如何利用SEO优化让网站排名位居首位」，对这个话题感兴趣的朋友不妨往下看吧! SEO优化对…
对于任何一个SEO而言，我们的目的实际上都只有一个，那就是尽量出现在搜索结果中的TOP10，当然，我们知道，影响网站排名的因素众多，其中：页面相关性与特定搜索关键词是否高度相匹配显得格外重要。 否则，即使你拥…
在线咨询：
邮件：951076433@qq.com工作时间：周一至周五，9:30-18:30，节假日休息
