有时候我们建站前期忘记写robots.txt文件了，很多我们不想让搜索引擎收录的内容却被收录了，这个时候会发现好像过了很长时间我们不想让收录的页面还是处于被收录的状态，到底robots生效要多久呢？
百度lee曾在公开场合说过：不同的站点略有不同，但通常在几天内陆续生效。
其实我们可以假想下robots生效的过程：
1.蜘蛛发现robots文件修改并将信息传回
2.分析修改前后的robots文件
3.删除不允许被收录的索引数据
这个过程中肯能还会存在其他的一些步骤，然而由于每个网站蜘蛛爬的频率和网站的权重不同（网站的重要性）而导致蜘蛛发现robots更改的时间延时或者被处理的优先性不同，最终导致的结果就是robots的生效时间不同。
通过以上分析我们可以得出robots的生效时间并不是一定的，如果你的robots更改后很久都没有生效的话，可以去这里投诉：tousu.baidu.com
本文来自投稿，不代表重蔚自留地立场，如若转载，请注明出处https://www.cwhello.com/34735.html
如有侵犯您的合法权益请发邮件951076433@qq.com联系删除
代码有很多种，比方说html代码、JS代码和php代码等等，基本上是由美国佬发明创造出来的一些产物，而这些美国人的母语就是英语。所以你们在网络上看到的代码全都是英文和一些奇形怪状的字体，很难找得到汉字。 这所…
一、百度seo关键词选择技巧 百度seo优化，关键词选择非常重要的，万丈高楼的地基，如果关键词选择不当，一切的后期工作都是徒劳的，所以尤其要注意关键词的选择策略，然后就是在标题中、描述中、权重标签等的布局了…
在最初的两年里，有这样一个互联网+的概念，全称进入了互联网时代，在一年一度的乌镇互联网峰会上，各种各样的大人物聚集在这里，讨论互联网的发展和趋势，随着人工智能技术的发展。让这个概念上升得更快。作为IT互…
做SEO，不仅只面对的是搜索引擎，很多人只关注网站在搜索引擎中的表现，这显然没错，但是同时很多人亦忘记了有了用户之后如何实现转化这样一个问题。那么网站究竟怎样获得用户的认可呢？ 网站要有自…
首要咱们先来剖析一下竞价，竞价主要是经过付费取得快速排名，起到广告效应，经过关键词出价的凹凸取得不一样的展示作用。长处：1、见效快、充值后设置关键词价格后马上就能够进入百度排名前十，方位能够自己操控。…
当我们在2021年谈论SEO时，还有很多事情需要深入研究。 那么，什么SEO策略和策略将起作用并帮助您在SERP中占主导地位，并在2021年获得更多收入？ 根据专家的说法，以下是2021年您需要了解的十大趋势。 趋势1：关注…
在前端开发中如何做好seo优化 简化代码结构，更利于搜索引擎分析抓取有用内容：页面尽量采用DIV+CSS，当然，表格展现模式用table还是比div方便很多的；所有js、css采用外联方式，图片采用css精灵，减少请求次数。 …
上千个移动互联网网站，为什么有的网站排名首位，有的却找不到几十个页面。这是因为网络公司采用SEO优化手段，这意味着通过有效手段将网站优化到更高的位置，可以增加曝光的概率。 然而，随着移动互联网的发展，任…
在线咨询：
邮件：951076433@qq.com工作时间：周一至周五，9:30-18:30，节假日休息
