有时候我们建站前期忘记写robots.txt文件了，很多我们不想让搜索引擎收录的内容却被收录了，这个时候会发现好像过了很长时间我们不想让收录的页面还是处于被收录的状态，到底robots生效要多久呢？
百度lee曾在公开场合说过：不同的站点略有不同，但通常在几天内陆续生效。
其实我们可以假想下robots生效的过程：
1.蜘蛛发现robots文件修改并将信息传回
2.分析修改前后的robots文件
3.删除不允许被收录的索引数据
这个过程中肯能还会存在其他的一些步骤，然而由于每个网站蜘蛛爬的频率和网站的权重不同（网站的重要性）而导致蜘蛛发现robots更改的时间延时或者被处理的优先性不同，最终导致的结果就是robots的生效时间不同。
通过以上分析我们可以得出robots的生效时间并不是一定的，如果你的robots更改后很久都没有生效的话，可以去这里投诉：tousu.baidu.com
本文来自投稿，不代表重蔚自留地立场，如若转载，请注明出处：https://www.cwhello.com/34735.html
可能从直观上很多人会以为指数高的关键词就肯定能为网站带来高流量，然而这种说法是不准确的。在我还没有做网站之前，原本我起先也是这么差错的以为的，直到我自身做网站后才真正了解到很多事情并不是咱们联想中那样...
（1）能找到目标网页 必须有外部链接指向网站首页，这样搜索引擎才能发现我们的网站并进行抓取，然后蜘蛛沿首页内部链接抓取更深层内容页，能很轻松的对网站内容进行遍历抓取。 （2）能抓取...
搜索引擎优化概述 什么是搜索引擎优化？ SEO 是一个过程，它有一组规则，您可以将其应用于您的网站，以便搜索引擎可以毫无问题地访问、抓取和索引您的内容。 您对 SEO 的总体目标是在内容和可用性方面创建更好的网站...
怎么样才干进步百度权重？依照查找引擎优化的查找习气做，一起哈尔滨SEO要做到以下九项百度查找引擎要求：1.确保网站每一个标题的唯一性也是网站优化者有必要重视的，只要唯一性才干给你的网站带来权重。2.为了能加...
做SEO时什么情况下需要修改网站标题？当咱们进行SEO优化时，偶尔咱们需求修正网站题目，那么在什么状况下你需求修正题目?怎么修正它将更有利于寻觅引擎优化操纵?下面是北京seo优化公司组织的一些关联内容。 1.网站题...
经过本东西能够批量查询指定网站的友情链接在百度的录入、百度快照、PR以及对方是否链接本站，能够识破骗链接。1.反向链接：指对方网站上有指向当时查询页面的链接。2.穿插链接阐明：比如你有网站A投进他人的链接，...
很多了解互联网的公司都知道，网站搜索引擎优化是一种相对来说比较传统的营销方式，优化是一种具有一定运营周期的网络营销模式，跟他网络营销方式不同，在短期内可能不会有什么效果。很多不理解优化的企业应该都这样...
