有时候我们建站前期忘记写robots.txt文件了，很多我们不想让搜索引擎收录的内容却被收录了，这个时候会发现好像过了很长时间我们不想让收录的页面还是处于被收录的状态，到底robots生效要多久呢？
百度lee曾在公开场合说过：不同的站点略有不同，但通常在几天内陆续生效。
其实我们可以假想下robots生效的过程：
1.蜘蛛发现robots文件修改并将信息传回
2.分析修改前后的robots文件
3.删除不允许被收录的索引数据
这个过程中肯能还会存在其他的一些步骤，然而由于每个网站蜘蛛爬的频率和网站的权重不同（网站的重要性）而导致蜘蛛发现robots更改的时间延时或者被处理的优先性不同，最终导致的结果就是robots的生效时间不同。
通过以上分析我们可以得出robots的生效时间并不是一定的，如果你的robots更改后很久都没有生效的话，可以去这里投诉：tousu.baidu.com
本文来自投稿，不代表科技代码立场，如若转载，请注明出处https://www.cwhello.com/34735.html
如有侵犯您的合法权益请发邮件951076433@qq.com联系删除
现在越来越多的朋友加入了网站优化推广的队伍，对于网站优化可以说很低的门槛，什么人都可以做，什么人都可以去学。然而有很多的新手在做这条路时难免会出现一些错误。我们分享一下个人的几个经验，希望可以减少...
很多企业都会发出这样的声音，经营同一个产品，由于用户网络搜索到的永远只有同行，造成大量订单却被同行抢走。想通过SEO优化提升网站排名，最终还是以失败告终，首页永远只有同行的身影。 因此，为了给企业们打...
SEO是一件需要耐心和细心的工作，当然除了学习书本上的内容以外，我们也要在实践中不断的积累经验，因为不管从哪个角度来说宝贵的经验都是一笔重要的财富，那么在刚刚接触SEO的时候我们需要注意些什么呢，哪些是S...
一个网站为什么需要被百度收录，一个网站被搜索引擎收录的价值又是什么呢?这个问题可能很多做seo网站优化的从业人员都很明白，但是也有很多即将要做的朋友对此就比较模糊不清了。其实道理很简单，当我们新建了一...
对于SEO工作，我们知道做SEO网站的基本要求是让用户和搜索引擎更好地了解网站内容。虽然随着搜索引擎算法技术的不断迭代，SEO目前面临着更大的挑战和竞争，但是基于搜索营销的SEO在目前仍然非常重要。那么，企业...
随着人们对网站推广的关注，特别是那些接触到SEO的人，他们更渴望通过网站优化获得利润。在咨询SEOER时，我们通常会在网站建设之初为其准备一套解决方案。这个计划不是告诉管理层如何做，而是告诉网站建设的前端...
关于网页设计中代码的标签，对于SEO优化有什么影响？我们应该怎么正确使用SEO优化标签呢？小编就来给大家科普SEO标签的用途。 title标签的SEO优化 title标签是网页的标题，会在网站标题栏上显示，这个要怎样设置...
在线咨询：
邮件：951076433@qq.com工作时间：周一至周五，9:30-18:30，节假日休息
