当蜘蛛访问一个网站时，它会首先检查网站目录中是否有一个名为robots.txt的纯文本文件。该文件用于指定蜘蛛在您的网站中的爬行范围。比如Parsons.com的robots.txt文件。
1.robots txt是干什么用的？
机器人txt写作详解及注意事项
一个网站有很多文件，包括后台流程报表，前端模板文件，图片等等。这些商品中有一部分是我们并不渴望被百度蜘蛛抢到的。我们做什么呢搜索过程会考虑到这一点。在抓取网站布局之前，蜘蛛会先调用网站根目录下的robots txt文件。如果这个文件存在，会根据robots txt的限定类别抓取。如果不存在，它会觉得自己能把它们都抢过来。
二、机器人txt在seo中的作用
上一篇文章\\ & # 8221；杜娘忽略了机器人txt文件的存在\\ & # 8221；我们可以看到，百度在一个页面中抓取的两个URL，会对网页的权重进行分割。假设我们写robots txt，这种情况是可以停止的。Robottxt在seo中发挥作用，即使屏障不需要抓取布局，也能获得蜘蛛抓取有用布局的机会。因为屏障不需要抓取布局，所以可以对布局进行称重。最后可以把网站的地图放进去，方便蜘蛛抓取网页。
3.robots txt可以屏蔽哪些文件？
模板文件、样式表文件以及网页后台的一些文件，即使搜索引擎抓取也没有任何作用。反而是浪费网站资源。这些文件可以作为屏障，以防网页中的某些特定页面似乎与我们联系，以及公司中一些不需要发布的照片。这些可以根据实际情况屏蔽。
机器人基本设置:
用户代理:*
不允许:/data/
不允许:/dede/
不允许:/images/
不允许:/include/
不允许:/plus/
不允许:/特殊/
不允许:/templates/
不允许:/上传/
网站地图:http://www.wenxinsw.cn/sitemap.xml
本文来自投稿，不代表科技代码立场，如若转载，请注明出处https://www.cwhello.com/89234.html
如有侵犯您的合法权益请发邮件951076433@qq.com联系删除
