怎样在Apache中用shell脚本提交网站404死链

怎样在Apache中用shell脚本提交网站404死链?百度站长平台提供的死链提交器材,可将网站存在的死链(条约死链、404页面)进行提交,可迅速删除死链,协助网站SEO优化。在提交死链的文件中逐一手动填写死链的话太困难,工作中咱们提倡复杂自动化,所以本文咱们一起交流分享Apache服务中经过shell脚本清理网站死链,便于咱们提交。

SEO优化

1.配置Apache记载搜寻引擎

Apache是目前网站建设为主流的web服务,可是apache的日志文件承认是不记载百度、google等各大搜寻引擎的爬取程序的,所以首先需求咱们配置Apache的配置文件。

找到Apache的配置文件httpd.conf,在配置文件中找到底下两行:

CustomLog "logs/access_log" common #CustomLog "logs/access_log" combined

承认选用的是common,这里咱们只需求将common这一行前方加#说明注解掉,而后将combined这一行前的#去掉能够。而后保存重启Apache服务。

注:假如你的服务器上增加了多个站点,每个站点有独自的配置文件,则咱们只需求在相应站点的配置文件中配置CustomLog项能够,例如:

vim /usr/local/apache/conf/vhost/www.chanzhi.org.conf ServerAdmin [email protected] DocumentRoot "/data/wwwroot/www.chanzhi.org" ServerName www.chanzhi.org ServerAlias chanzhi.org ErrorLog "/data/wwwlogs/www.chanzhi.org_error_apache.log" CustomLog "/data/wwwlogs/www.chanzhi.org_apache.log" combined SetOutputFilter DEFLATE Options FollowSymLinks ExecCGI Require all granted AllowOverride All Order allow,deny Allow from all DirectoryIndex index.html index.php

底下是配置前后的网站日志记载格式:

配置前:

配置后:

SEO优化

2.编写shell脚本

咱们经过shell脚本获得网站日志中指定爬虫的抓取记载,而后汇总到一个文件中,便于晚期运用。代码如下,譬如保存为deathlink.sh

#!/bin/bash#初始化变量#定义蜘蛛UA信息(承认是百度蜘蛛)UA='+http://www.baidu.com/search/spider.html' #前一天的日期(apache日志)DATE=`date +%Y%m%d -d "1 day ago"` #定义日志路径logfile=/data/wwwlogs/www.chanzhi.org_apache.log-${DATE}.log #定义死链文件储存路径deathfile=/data/wwwroot/www.chanzhi.org/deathlink.txt #定义网站拜访位置website=http://www.chanzhi.org #分析日志并保存死链数据for url in `awk -v str="${UA}" '$9=="404" && $15~str {print $7}' ${logfile}`do grep -q "$url" ${deathfile} || echo ${website}${url} <<${deathfile}done

众人在运用该脚本时,根据自身服务器状况调节下路径和字段能够,而后实行脚本,:

bash deathlink.sh

3.提交死链

实行上面脚本时辰,就会在指定目次下生成包括全部获得的404页面链接的文件,每个连接占一行。例如:

后在站长平台提交死链页面中,填写自身的死链文件位置能够,例如:

百度在审核经过之后,会将依然收录的失效链接删除,以防止失效页面链接对网站形成不良的影响。

本文来自投稿,不代表重蔚自留地立场,如若转载,请注明出处https://www.cwhello.com/39103.html

如有侵犯您的合法权益请发邮件951076433@qq.com联系删除

(0)
优化家优化家订阅用户
上一篇 2022年5月30日 21:05
下一篇 2022年5月30日 21:05

相关推荐

  • 网站可用性原则。

      为了提高网站的可用性,请遵守以下几个原则:    可学习性    用户在上网购买东西或者阅读的过程中与日常商店中的顾客并没有区别。我们可以把他们当成是顾客来对待,那你的网页在搜索结果里面的…

    2022年3月12日
    0166
  • 详细解说QQ空间推广自己的网站。

      QQ空间现在已超一亿用户了,身边的人,几乎每个人现在都有QQ,而QQ空间一有什么更新的,QQ面板上就显示出来有多少个好友更新的消息,一天下来总会有不少人去点击那个空间小图标浏览里边的内容,于是QQ空间这个…

    2022年3月12日
    0261
  • 【厦门seo】网站关键词快速排名优化

    1,网站标题关键词剖析首要,百度查找:“厦门查找引擎优化”找到厦门查找引擎优化的相关词:厦门SEO优化,厦门网站优化,厦门SEO参谋,厦门SEO招聘,厦门SEO确诊,厦门关键词优化等。从相关词中组成一个一至三个关键词…

    2022年6月1日
    0361
  • 如何确定网站的首选域。

      从seo的角度来说,如果不确定网站的首选域的话往往会出现不带www域名的有排名,带www的没排名,如果确定了首选域则不会出现这样的情况,那么如何确定网站的首选域呢?(以下举例均以带www的作为首选域)  …

    2022年3月12日
    0344
  • 农产品采用哪种方式来进行搜索引擎优化呢?

    许多的农产品已经开始重视做企业官网了,在做官网的时候,SEOer可能也会发现,因为许多的一些农产品企业缺乏网站运营的经验,所以即使上了一个网站,也很难有一个好的效果,对于农产品的企业来说,在做seo优化的过…

    2022年5月30日
    0303
  • site网站首页不在首位是什么鬼

    site网站首页不在首位是什么鬼?site网站首页不在首位就代表降权了吗,我信任这个问题应当困惑了很多站长。各种论坛、贴吧、群,某某大神地讯问。“网站site不在首位,多数是网站降权的一个呈现”,这个…

    2022年5月31日
    0306
  • 哪种首页设计风格是用户所喜欢的?

    现代社会是充满风格的社会,衣服具有风格,个人具有风格,网站也具有风格。好的风格可以给自己的网站加分,就像是有了首页设计风格的网页就十分获得广大访客的喜爱,今天就让我们一睹这种首页设计风格的风采。 (一…

    2022年5月28日
    0331
  • 如何提升百度抓取频率?百度蜘蛛爬取的工作原理

    百度用于抓取网页的程序叫做Baiduspider - 百度蜘蛛,我们查看网站被百度抓取的情况主要是分析,网站日志里百度蜘蛛Baiduspider的活跃性:抓取频率,返回的HTTP状态码。 查看日志的方式: 通过FTP,在网站根目录找…

    2022年6月2日
    0287

联系我们

QQ:951076433

在线咨询:点击这里给我发消息邮件:951076433@qq.com工作时间:周一至周五,9:30-18:30,节假日休息