你有没有发现，在百度搜索结果中，有时候并没有个别网页的汇总显示？作为一名网站管理员，你是否经常发现网站的部分内容没有收录？百度的新& ldquo搜索机器人设置提示& rdquo可以回答你的问题。
Robots.txt文件是一个网站根目录下的纯文本文件。它是蜘蛛在索引网站时读取的第一个文件。用于指定蜘蛛在网站上的爬行范围。当网站中有不需要蜘蛛抓取的内容时，可以使用robots.txt文件进行屏蔽，以免增加网站蜘蛛的抓取难度。
为了让建站者更容易知道网站页面出现的上述问题是否是由于设置robots文件导致的，百度最近上线了& ldquo搜索robots.txt文件提示& rdquo。当一个网站使用robots.txt文件禁止百度收录该网站的部分或全部内容时，百度会在搜索结果中给出robots.txt的提示，以便站长及时了解该网站在搜索结果中没有摘要显示的原因，同时点击& ldquo在搜索结果中。了解更多& rdquo，查看网站详细的robots信息，确认是否因为robots.txt设置错误导致封禁
比如淘宝的robot.txt文件设置为禁止百度蜘蛛抓取，网站任何地方都不允许抓取。现在我们在百度搜索& ldquo淘宝& rdquo之后，您会看到一个类似这样的搜索页面:
图中的红框表示& ldquo搜索robots.txt文件提示& rdquo相信你能回忆起，之前的淘宝搜索结果，在红框区域是没有任何介绍的。点击红色框的右边& ldquo了解更多& rdquo之后你可以在这个网站上看到百度站长平台的测试结果:
但是，& ldquo百度搜索页面机器人设置技巧& rdquo目前这个工具只显示蜘蛛在全站被屏蔽的情况。对于网站部分页面禁止蜘蛛搜索的情况，通过百度搜索页面无法得知。你想要的网站的具体robot.txt设置信息可以进入百度站长平台& ldquo机器人& rdquo询价。
本文来自投稿，不代表重蔚自留地立场，如若转载，请注明出处https://www.cwhello.com/87606.html
如有侵犯您的合法权益请发邮件951076433@qq.com联系删除
