在网站建设过程中我们会有一部分内容不希望被搜索引擎抓取到或者不希望其在互联网中出现，那么要怎么办呢？我要怎么跟搜索引擎说你不要抓取我的xx内容呢？这时候robots就派上用场了。
Robots.txt是存放于网站根目录下用于规定搜索引擎对网站内容抓取范围的文本文件，就这么一句话可以解释robots.txt是什么，但是我们需要注意的几点：
1.robots.txt必须存放在网站的根目录下。
2.其命名必须为robots.txt
3.Robots.txt是搜索引擎访问网站的第一个页面
4.Robots.txt中必须指明user-agent
以上是关于什么是robots的说明，如果你想了解robots要多久生效，可以查看：http://seo.aizhan.com/qa/92.html
本文来自投稿，不代表重蔚自留地立场，如若转载，请注明出处https://www.cwhello.com/34694.html
如有侵犯您的合法权益请发邮件951076433@qq.com联系删除
网站制作完成後，你是否有对网站做一些SEO优化设定?无论你是让其他公司帮你制作网站，还是自己开发网站，都需要明白一点：品牌拥有网站只不过是个开始而已，网站缺少SEO优化设定，很可能会让你的网站白做了。 今天…
很多企业不明白为什么要做SEO（SEO），SEO的作用是什么？优化猩seo优化公司认为是利用搜索引擎的规则来提高网站在相关搜索引擎中的自然排名。百度的搜索结果分为两项：商业推广和自然搜索，分别由两个完全独立的部…
当今关于H5网站制造而言不论是页面的SEO优化，仍然雅观特效都要比本来的html网站要好，所以你要仍然不懂不去学习h5的话，真的即是落后了。不过不要紧，今日就由H5网站制造来为众人解说一下h5网站关于网站的SEO优化…
无论企业网站的大小已经成为一个基本的标志，但很多人不明白网站为什么还需要优化啊？有这样的东西没关系，但你不知道，如果你把这个网站做得好，别人在搜索引擎上找不到。徒劳无功有什么区别？如果你的公司还没有…
我做网站的时间比较晚，2016年到现在已经三年了。因为是自己兼职做，所以一直是断断续续，没有什么大的成绩。做过论坛，文章站，资源站，能尝试的都尝试了一下。也是通过做网站开始做网络营销的，学了很多东西，也…
俗话说好的开始是成功的一半，做seo也是这样，选择一个好的域名对seo也会有很大的帮助，不过我们在选择域名的时候要注意下面几点，以免选择不恰当的域名进而影响网站的发展。 （简单四步打造搜索引擎喜爱的网站…
在网站SEO优化技术的操作当中分为了站内优化和站外优化，而对于站外优化而言主要是通过外链形式以及站外长尾关键词布局策略来完成，很多朋友都知道外链发布的效果以及难度都可以让很多的站长放弃了关于外链的操作，…
关键词优化是网站SEO优化的重要组成部分。用户主要使用关键字在网络上搜索所需内容，因此这是用户进入网站的主要方式。当用户不知道某个品牌或产品时，他们通常会点击搜索引擎找到一个由流行创意撰写的页面进行登录…
在线咨询：
邮件：951076433@qq.com工作时间：周一至周五，9:30-18:30，节假日休息
