有时候我们建站前期忘记写robots.txt文件了，很多我们不想让搜索引擎收录的内容却被收录了，这个时候会发现好像过了很长时间我们不想让收录的页面还是处于被收录的状态，到底robots生效要多久呢？
百度lee曾在公开场合说过：不同的站点略有不同，但通常在几天内陆续生效。
其实我们可以假想下robots生效的过程：
1.蜘蛛发现robots文件修改并将信息传回
2.分析修改前后的robots文件
3.删除不允许被收录的索引数据
这个过程中肯能还会存在其他的一些步骤，然而由于每个网站蜘蛛爬的频率和网站的权重不同（网站的重要性）而导致蜘蛛发现robots更改的时间延时或者被处理的优先性不同，最终导致的结果就是robots的生效时间不同。
通过以上分析我们可以得出robots的生效时间并不是一定的，如果你的robots更改后很久都没有生效的话，可以去这里投诉：tousu.baidu.com
本文来自投稿，不代表重蔚自留地立场，如若转载，请注明出处https://www.cwhello.com/34735.html
如有侵犯您的合法权益请发邮件951076433@qq.com联系删除
在大多数seo从业者的认识中，搜索引擎对一个网站的质量和权重判断来自网站的文章数和外部链数量，但实际上权重是根据搜索引擎200多个综合因素计算出来的结果。文章数和外部链数只是这200多个判定标准中的9个。搜索…
网站的设计和布局可能很有吸引力，但如果它不是SEO友好的，它就无法在搜索引擎结果页面中获得更高的排名。 搜索引擎无法像我们和访客那样解释内容; 对于搜索引擎而言，网页看起来可能与您看起来不一样。 因此，在开始考虑网站的设计和布局之前，请牢记以下准则。
一般对于企业站来说，因为网站较小，便于管理，但是因为小，所以跟一些大型网站在进行某些关键词抢词的过程中，劣势比较明显，从整体上来看，虽然企业站“麻雀虽小，五脏俱全”，那么企业站应该如何去进行SEO优化…
SEO优化靠谱吗? 1、网上按天收费的SEO优化服务的可靠性是有所参差不齐的。下面是一些需要注意的点：价格过低的SEO服务很可能是骗局，或者只是简单的机器化操作，不会带来实质的优化效果。 2、做好网站SEO优化，网站…
1、 清除收录或清除整个站 一个网站的搜索是否友好与它的收藏水平密切相关。收录量的提高反映了网站内容得到了搜索领头羊的认可，网站内容对用户具有一定的阅读价值。但是，收录量也是我们经常遇到的一个问题，虽然…
对于SEO工作而言，我们知道一个网站做SEO的基础诉求就是让用户和搜索引擎更好的理解网站内容，虽然随着搜索引擎算法技术的迭代，目前SEO面临更大的挑战与竞争，但基于搜…
很多站长在网站建设之初没有考虑SEO，所以在选择程序、空间和域名时比较随意，只有在网站上线后才开始进行SEO优化。但是，如果他们能在网站建设之初就从SEO的角度出发，如果他们对域名、空间和程序有要求的话，会更…
在2022年末网站站外优化中外链优化的效果已经没有当年那么强势了，但是虽然如果它还是具有一些收录的带动性和排名的提升性，毕竟网站是否收录，需要看百度蜘蛛抓取的一个情况，而外链能够引导一些蜘蛛的到来，今天…
在线咨询：
邮件：951076433@qq.com工作时间：周一至周五，9:30-18:30，节假日休息
