有时候我们建站前期忘记写robots.txt文件了，很多我们不想让搜索引擎收录的内容却被收录了，这个时候会发现好像过了很长时间我们不想让收录的页面还是处于被收录的状态，到底robots生效要多久呢？
百度lee曾在公开场合说过：不同的站点略有不同，但通常在几天内陆续生效。
其实我们可以假想下robots生效的过程：
1.蜘蛛发现robots文件修改并将信息传回
2.分析修改前后的robots文件
3.删除不允许被收录的索引数据
这个过程中肯能还会存在其他的一些步骤，然而由于每个网站蜘蛛爬的频率和网站的权重不同（网站的重要性）而导致蜘蛛发现robots更改的时间延时或者被处理的优先性不同，最终导致的结果就是robots的生效时间不同。
通过以上分析我们可以得出robots的生效时间并不是一定的，如果你的robots更改后很久都没有生效的话，可以去这里投诉：tousu.baidu.com
本文来自投稿，不代表重蔚自留地立场，如若转载，请注明出处https://www.cwhello.com/34735.html
如有侵犯您的合法权益请发邮件951076433@qq.com联系删除
对于一些想做网站优化的企业，十有八九都分不清楚整站优化和关键词优化的差别，对于他们来讲，他们的目的只有一个：把网站关键词排名上去，有大量的人出口外贸外贸询盘，倘若这类有效访问可以 变换，那麼就更为…
从需求结果分析，任何网站都需要SEO操作。没有网站不想获得流量。网站建设和搜索引擎优化是一致的。在不同的群体建设网站后，由于各种原因，他们会采取不同的方式对网站进行搜索引擎优化，或者外包网站搜索引擎优化…
搜索引擎优化概述 什么是搜索引擎优化？ SEO 是一个过程，它有一组规则，您可以将其应用于您的网站，以便搜索引擎可以毫无问题地访问、抓取和索引您的内容。 您对 SEO 的总体目标是在内容和可用性方面创建更好的网…
现在很多网站在做了SEO后，网站流量是提高了，但是访客的停留时间、浏览页数和转化率一直都还是很低，这是为什么呢？为什么访客留不住呢？原因是我们页面的质量下降了，不能够吸引住访客。那么，我们该如何改进…
我们都知道，企业搭建网站，想要在搜索引擎上取得好排名，SEO优化必不可少。而SEO优化中，关键词的整体布置极为重要。除在首页TDK需要放置外，我们还需让关键词合理的存在于页面的各个位置。那么如何控制关键词的密…
在网络时代，几乎所有的企业都会通过网络推广来获取利润。然而，你知道什么是网络推广吗？网络推广是以企业产品或服务为核心内容，建立网站，然后通过各种免费或收费渠道向网民展示网站的一种推广方式。今天，小编…
很多人认为搜索引擎优化（SEO）是一项技术性的工作，而不是市场营销，市场营销应该发挥主导作用。得出这个结论的人基本上对SEO有一个错误的理解，这只是狭义的SEO。广泛的SEO意识将大数据和云计算的知识结合起来，…
如何做好高质量SEO外链，是每一位SEO工作者的终极目标，也是众多推广人员的心头之病，百度作为搜索引擎老大，只有让它喜爱，宠爱，才能有所收获，那么今天小编作为一名SEOer，在各大站长论坛也混了很长时间，看过很…
在线咨询：
邮件：951076433@qq.com工作时间：周一至周五，9:30-18:30，节假日休息
