有时候我们建站前期忘记写robots.txt文件了，很多我们不想让搜索引擎收录的内容却被收录了，这个时候会发现好像过了很长时间我们不想让收录的页面还是处于被收录的状态，到底robots生效要多久呢？
百度lee曾在公开场合说过：不同的站点略有不同，但通常在几天内陆续生效。
其实我们可以假想下robots生效的过程：
1.蜘蛛发现robots文件修改并将信息传回
2.分析修改前后的robots文件
3.删除不允许被收录的索引数据
这个过程中肯能还会存在其他的一些步骤，然而由于每个网站蜘蛛爬的频率和网站的权重不同（网站的重要性）而导致蜘蛛发现robots更改的时间延时或者被处理的优先性不同，最终导致的结果就是robots的生效时间不同。
通过以上分析我们可以得出robots的生效时间并不是一定的，如果你的robots更改后很久都没有生效的话，可以去这里投诉：tousu.baidu.com
本文来自投稿，不代表重蔚自留地立场，如若转载，请注明出处https://www.cwhello.com/34735.html
如有侵犯您的合法权益请发邮件951076433@qq.com联系删除
百度蜘蛛不抓取网站的原因是什么？seo优化是诈骗搜寻引擎的法则来升高网站排名的方法，SEO包括站外和站内两方面。做搜寻引擎优化的重点目标是让百度蜘蛛来抓取而后收录。 今日咱们针对百度蜘蛛不来抓取网站的问题解…
关于 seo 与用户行为的话题，其实在几年前大家还会坐下来一起探讨，但是目前却越来越少了，不仅仅是这种话题，围绕 SEO 的讨论也越来越少了，很多话题其实超出了 SEO 本身。那么用户行为会影响SEO排名么?首先，问大…
网站的运营建设总与SEO优化息息相关。无论是资讯网站、网店商城，还是企业建站，建站后随之要面临的，既是SEO优化。随着自媒体的诞生，也越来越多自媒体人愿意将自己的文章投稿给各大网站平台，这不仅能提高网站的…
在不断地对北京网站优化的过程中，小编发现如果网站的信用度越高，收录就会越好，而网站的信用度是用户体验为主，优化师对新搜索引擎算话的体验之的判定。那么如何提高网站的信用度呢?接下来就让小编来给您提几点建…
我个人提供SEO服务的经历中最常被问到的问题有两个。 第一个是，做SEO能保证关键词排名和流量吗? 回答是，不能。不管网上什么地方什么人说能保证，我都是坚持回答不能，哪怕咨询的人一脸鄙视转身就走。因为我真的不…
我们都知道我们的网站很漂亮，功能性强，实用性强，但没人知道这也是一个头疼的问题，那么如何让别人快速搜索我们的网站呢？这就要求我们推广自己的网站。接下来，小编分享如何快速、免费地推广我们的网站。 1、搜…
关键词没有排名一切皆无。 企业网站SEO关键词优化到位一切皆有，怎么做好企业网站的关键词排名是困扰大部分SEO从业者的问题。 搜索引擎是一套程序，会按照程序的设定来判断一个网站的排序结果，从这个角度来讲，任…
果然有搜索的地方就有排名，然后就会有广告。最近微信上线了“微信搜索结果广告”，广告支持品牌词、品类词、通用词等多种搜索词的售卖。微信搜索应用部负责人周颢披露，微信搜一搜月活搜索用户已经超过7亿。 其实半…
在线咨询：
邮件：951076433@qq.com工作时间：周一至周五，9:30-18:30，节假日休息
