怎样利用百度蜘蛛referer找到报错页面入口

怎样利用百度蜘蛛referer找到报错页面入口?众人应当都晓得百度依然全站https并撤销referer主要词显现了,那么“百度蜘蛛referer“又是什么?有什么妙用吗?艺龙SEO负责人刘明发现经过百度蜘蛛referer不妨迅速定位部分站内url的报错(4xx或许5xx)缘故。随后社区版主飞鹰正义也对文章做了补充更正,现举荐给诸位同窗们。

SEO服务

什么是百度蜘蛛的referer

百度蜘蛛的referer,是指当百度蜘蛛抓取某一个URL的时辰,在HTTP头中带的Referer字段。请关注,这个定义和百度近声明去除Referer中主要词数据没有任何关系。此次讲的是spider提议的HTTP请求,百度而去除的是用户提议的。假如百度蜘蛛抓取百度首页的logo,会提议如此的请求

上面Referer字段很明白的表示了他是从www.baidu.com这个页面上发现并抓取了www.baidu.com/img/bd_logo1.png。而众人在服务器拜访日志中也应当能看到相应的记载。目前发现唯有当百度抓取一个网页的同时,又抓取了网页中的:img、js和css才会带上referer字段。这部分卓殊的抓取量,应当不会占用百度分派的抓取配额,属于“买1送1”。

关于站长的意义

假如你发现有一批URL(仅限于img,js,css)报错(4xx或许5xx),可是一直找不到进口在哪,也即是说你不清楚百度蜘蛛是从哪处发现这些差错URL的。这个字段不妨协助你迅速定位。

举个例子

譬如咱们的SEO日志分析体系中不妨看到,符合底下这种URL Pattern的路径天天有6万到10万的抓取而且所有报404。

从发现问题至今过了1个月,查遍悉数网站我也没找到进口。今日偶然仔细查了一下日志,想起了百度蜘蛛的referer,赶快就可以定位问题了。这些404的URL来自于一套没人爱护也没人关注的页面(往往是如此)。收录流量都不错。由于近公司图片体系更新,图片的URL所有更改了,但这套页面并没有跟随更新。

SEO服务

假如站点没有记载referer怎么办

iis请在这里勾选“cs(Referer)”

apache请参考:

apache log配置“Combined Log Format”章节

apache log配置的链接

Nginx请参考:

nginx log配置

nginx log配置的链接

本文来自投稿,不代表重蔚自留地立场,如若转载,请注明出处https://www.cwhello.com/39255.html

如有侵犯您的合法权益请发邮件951076433@qq.com联系删除

(0)
优化家优化家订阅用户
上一篇 2022年5月31日 21:20
下一篇 2022年5月31日 21:21

相关推荐

  • Alexa排名是什么。

    整个互联网现在一共存在1亿多个网站,平均来讲每10个网民中,有一个人拥有网站。但,网站和网站是有很大区别的,不能说你有网站,我也有网站,咱们就水平相当。阿里巴巴网站和SEO十万个为什么网站,显然水平不相当…

    2022年3月12日
    0368
  • SEO新手需要掌握哪些基本SEO技巧?

    对于很对的 SEO 新手们来讲,SEO 还是比较有挑战性的,那么泪雪还是简单写写,新手 SEOer 需要掌握的基本SEO 技巧如下: 导航请确保你的网站导航都是以 html 的形式链接。所有页面之间应该有广泛的互联,如果无法实…

    2022年5月29日
    0180
  • 什么是源码源码的分类有哪些。

      一、什么是源码    计算机里面运行的所有东西都是由源码编写出来的。源码就像语言、文字,我们每个人都学过语言,但是并不是每个人都能写出诺贝尔文学奖那样级别的小说。但是世界上有一个人就非常的厉害…

    2022年3月12日
    01.0K
  • 浅谈sitemap格式。

      xml格式    在制作sitemap之前,请您先了解完整单个xml数据格式如下:    第一位置:XML文件需以utf-8编码    第二位置:必填标签,语法标准    第三位置:URL链接地址,长度不得超…

    2022年3月12日
    0271
  • 如何优化网站关键词排名?

    网站关键词排名是一个缓慢的过程,需要长期积累,并不是一朝一夕就能优化上去,这个不像竞价推广一样,只要出钱立马就有排名。关键词优化一定要按照搜索引擎优化规则,做好相应的优化技巧应用,与搜索引擎之前建立…

    2022年5月30日
    0252
  • 搜索引擎优化的工作原理你都知道多少呢?

    网站建设好之后,最重要的也就是要进行网站的SEO优化。那搜索引擎优化的主要任务之一,就是进步网站的搜索引擎友好性,因而,搜索引擎的每个环节都与搜索引擎存在必定的联络,研讨搜索引擎优化实际上是对搜索引擎作…

    2022年5月31日
    0295
  • 增加外链的一些注意事项。

      内容为王,外链为皇。对于一个网站来说,外链的重要性不言而喻,如果内容是肉体,那外链就是灵魂。那么,我们该如何增加外链呢?增加外链的一些注意事项有哪些?    一、外链一定要相关    随着…

    2022年3月12日
    0161
  • [网站安全]一个网站没有备案会有哪些风险?

    说起网站备案,相信所有seo优化人员都不会陌生,网站备案是国内网站上线的前提,但是由于网站办案的确是非常的繁琐,所以多数做seo的朋友都喜欢购买境外的服务器,跳过备案,让网站在境外上线,但是很多做seo的朋友…

    2022年6月3日
    0382

联系我们

QQ:951076433

在线咨询:点击这里给我发消息邮件:951076433@qq.com工作时间:周一至周五,9:30-18:30,节假日休息