教你如何正确识别百度蜘蛛需要做好这两点。

  很多SEO从业人员在刚刚接触这个行业的时候,经常会问——百度蜘蛛是什么?我们可以理解为百度蜘蛛就是用来抓取网站链接的IP,小编经常会听到百度蜘蛛来的太频繁,服务器要被抓爆了,如果你无法识别百度蜘蛛,你怎么知道是百度蜘蛛抓爆的呢?也有出现百度蜘蛛都不来了的情况,还有很多站点想得到百度蜘蛛的IP段,想把IP加入白名单,但无法识别百度IP。

  那如何正确识别百度蜘蛛呢?只需做这两点,就能正确识别百度蜘蛛

  一、查看UA,如果UA都不对,可以直接判断非百度搜索的蜘蛛,目前对外公布过的UA是:

  移动UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46
(KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible;
Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

  PC UA:Mozilla/5.0 (compatible; Baiduspider/2.0;
+http://www.baidu.com/search/spider.html)

  新增渲染UA:

  移动UA:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X)
AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1
(compatible; Baiduspider-render/2.0;
+http://www.baidu.com/search/spider.html)

  PC UA:Mozilla/5.0 (compatible; Baiduspider-render/2.0;
+http://www.baidu.com/search/spider.html)

  二、反查IP

  站长可以通过DNS反查IP的方式判断某只spider是否来自百度搜索引擎。根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:

  (1)、在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以
*.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

  (2)、在windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip来
判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip,
来判断是否来自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,非
*.baidu.com 或 *.baidu.jp 即为冒充。

  (3)、 在mac os平台下,您可以使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入dig
xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以
*.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

本文来自投稿,不代表重蔚自留地立场,如若转载,请注明出处https://www.cwhello.com/161669.html

如有侵犯您的合法权益请发邮件951076433@qq.com联系删除

(0)
优化家优化家订阅用户
上一篇 2022年12月2日 13:23
下一篇 2022年12月2日 13:23

相关推荐

  • 蜘蛛池与站群的应用总结

    蜘蛛池拥有可以实现网站的快速排名效果,也会被一些 SEOer 应用,以及出现网上直接出售蜘蛛池或者购买的商业行为,其实就个人看来,蜘蛛池就是垃圾站群的别名罢了,依靠源源不断的生成内容和内链方式,用海量的数据…

    2022年5月24日
    0428
  • 网站建设之初就需正视的问题。

    网站建设之初很多问题就一定要思考好,如果方向没有找好的话,对网站的后续发展是很不利的,下面就来谈谈网站建设之初需要正视的一些问题。 一、上网站的空间必然要不变 说到这个可能有点老生常谈的意思,可是今天…

    2022年10月28日
    011
  • 我来分享SEO优化——如何避免蜘蛛陷阱。

    身为seo优化人员的我们,每天起早贪黑的发外链,写原创就是为了网站排名收录能上去,而我们在做站外优化的同时也要注意网站内部的问题,就如小编接下来要说的,如何避免蜘蛛陷阱。网站优化有哪些蜘蛛陷阱?我们又该…

    2023年6月19日
    01
  • 小编分享百度蜘蛛的爬取原理是什么。

    通俗的说,蜘蛛程序就跟高级动物人一样(打开网站—抓取页面—放入数据库—符合标准—建立索引—分类)。按照网站质量度展示给用户,其中不符合的标准的直接就丢弃。只不过它是一个智能机器人,且蜘蛛程序需要对我们网站的…

    2023年6月21日
    02
  • 分享蜘蛛爬取的频率可以通过什么方法提高。

    蜘蛛的爬取频率对于网站的收录以及排名来说,有着至关重要的作用,他是这两方面不可或缺的一个重要因素,所以我们想要把网站优化工作做到位,研究蜘蛛的爬取是很有必要的,所以今天小编就为大家介绍一下这方面的内…

    2023年6月21日
    00
  • 小编教你百度SEO蜘蛛又是如何识别一个网站的优劣的呢。

    SEO判断这个网站对我们有帮助,把我们网站问题处理好,那就是优质网站,百度蜘蛛也会有一套系统来识别网站优劣对,我们来了解百度SEO蜘蛛又是如何识别一个网站的优劣的呢?一、高质量内容。我想“原创”这个词语估计已…

    2023年3月10日
    01
  • 我来分享SEO优化中百度蜘蛛的抓取规则。

    做SEO优化的小伙伴对百度搜索引擎和蜘蛛是情有独钟啊,因为目前百度是国内PC端和移动端搜索引擎的老大,当然是希望百度蜘蛛能够更多的抓取网站,只有抓取的页面多了,才有可能获得更好的收录、排名和流量。下面我们…

    2022年12月4日
    00
  • 公司营销网站怎样搞好关键字优化排名。

    营销网站是1个推广工具,拥有非常好的做关键字优化的基本,市面很多公司干了营销网站,可是同站关键字优化做的确是太差的,以至于一些企业检索知名品牌词都没见到,这就是说典型性忽视同站关键字优化的必要性,比如…

    2022年10月28日
    072

联系我们

QQ:951076433

在线咨询:点击这里给我发消息邮件:951076433@qq.com工作时间:周一至周五,9:30-18:30,节假日休息