脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 网站技巧 → 服务器 → Linux → apache 通过shell脚本提交网站404 死链

Apache下通过shell脚本提交网站404死链的方法

 更新时间：2017年09月28日 15:30:43   投稿：mrr  
这篇文章主要介绍了Apache下通过shell脚本提交网站404死链,需要的朋友可以参考下

网站运营人员对于死链这个概念一定不陌生，网站的一些数据删除或页面改版等都容易制造死链，影响用户体验不说，过多的死链还会影响到网站的整体权重或排名。

百度站长平台提供的死链提交工具,可将网站存在的死链(协议死链、404页面)进行提交,可快速删除死链,帮助网站SEO优化。在提交死链的文件中逐个手动填写死链的话太麻烦，工作中我们提倡复杂自动化，所以本文我们一起交流分享Apache服务中通过shell脚本整理网站死链，便于我们提交。

、

1.配置Apache记录搜索引擎

Apache是目前网站建设最为主流的web服务，但是apache的日志文件默认是不记录百度、谷歌等各大搜索引擎的爬取程序的，所以首先需要我们设置Apache的配置文件。

找到Apache的配置文件httpd.conf，在配置文件中找到下面两行：

CustomLog "logs/access_log" common
 #CustomLog "logs/access_log" combined

默认采用的是common，这里我们只需要将common这一行前面加#注释掉,然后将combined这一行前的#去掉即可。然后保存重启Apache服务。

注：如果你的服务器上添加了多个站点，每个站点有单独的配置文件，则我们只需要在相应站点的配置文件中设置CustomLog项即可，例如：

vim /usr/local/apache/conf/vhost/www.chanzhi.org.conf
 ServerAdmin [email protected] DocumentRoot "/data/wwwroot/www.chanzhi.org"
 ServerName www.chanzhi.org
 ServerAlias chanzhi.org
 ErrorLog "/data/wwwlogs/www.chanzhi.org_error_apache.log"
 CustomLog "/data/wwwlogs/www.chanzhi.org_apache.log" combined
 SetOutputFilter DEFLATE
 Options FollowSymLinks ExecCGI
 Require all granted
 AllowOverride All
 Order allow,deny
 Allow from all
 DirectoryIndex index.html index.php

下面是配置前后的网站日志记录格式：

配置前：

配置后：

2.编写shell脚本

我们通过shell脚本获取网站日志中指定爬虫的抓取记录，然后汇总到一个文件中，便于后期使用。代码如下，比如保存为deathlink.sh

#!/bin/bash
#初始化变量
#定义蜘蛛UA信息（默认是百度蜘蛛）
UA='+http://www.baidu.com/search/spider.html'
#前一天的日期（apache日志）
DATE=`date +%Y%m%d -d "1 day ago"`
#定义日志路径
logfile=/data/wwwlogs/www.chanzhi.org_apache.log-${DATE}.log
#定义死链文件存放路径
deathfile=/data/wwwroot/www.chanzhi.org/deathlink.txt
#定义网站访问地址
website=http://www.chanzhi.org
#分析日志并保存死链数据
for url in `awk -v str="${UA}" '$9=="404" && $15~str {print $7}' ${logfile}`
do
 grep -q "$url" ${deathfile} || echo ${website}${url} >>${deathfile}
done

大家在使用该脚本时，根据自己服务器情况调整下路径和字段即可，然后执行脚本,：

bash deathlink.sh

3.提交死链

执行上面脚本时候，就会在指定目录下生成包含所有获取的404页面链接的文件，每个连接占一行。例如：

最后在站长平台提交死链页面中，填写自己的死链文件地址即可，例如：

百度在审核通过之后，会将已经收录的失效链接删除，以避免失效页面链接对网站造成不良的影响。

总结

以上所述是小编给大家介绍的Apache下通过shell脚本提交网站404死链的方法，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持！

您可能感兴趣的文章:

相关文章

  • centos服务器下nginx图片防盗链设置方法

    centos服务器下nginx图片防盗链设置方法

    本篇文章主要介绍了centos服务器下nginx防盗链设置方法，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
    2017-03-03
  • 在CentOS搭建Git服务器的详细步骤

    在CentOS搭建Git服务器的详细步骤

    本篇文章主要介绍了在CentOS搭建Git服务器的详细步骤，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
    2017-11-11
  • 详解如何在Ubuntu 20.04上安装Xrdp服务器(远程桌面)

    详解如何在Ubuntu 20.04上安装Xrdp服务器(远程桌面)

    这篇文章主要介绍了详解如何在Ubuntu 20.04上安装Xrdp服务器(远程桌面),文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2020-07-07
  • 如何搭建自己CDN服务器(LuManager)

    如何搭建自己CDN服务器(LuManager)

    这篇文章主要介绍了如何搭建自己CDN服务器(LuManager),需要的朋友可以参考下
    2016-04-04
  • Apache上部署Django步骤详细介绍

    Apache上部署Django步骤详细介绍

    这篇文章主要介绍了Apache上部署Django步骤详细介绍的相关资料,需要的朋友可以参考下
    2017-02-02
  • Linux文件系统之inode与软硬链接详解

    Linux文件系统之inode与软硬链接详解

    这篇文章讨论的话题是没有被打开的文件,文件等于文件内容加文件属性,没打开的文件一定是存储在磁盘上的,文件内容以数据块的形式进行存储,文件属性以 inode 的形式进行存储,文中通过图文给大家介绍的非常详细,需要的朋友可以参考下
    2024-03-03
  • 关于将Web项目部署到阿里云服务器(5个步骤搞定)

    关于将Web项目部署到阿里云服务器(5个步骤搞定)

    这篇文章主要介绍了关于将Web项目部署到阿里云服务器(5个步骤搞定)，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2020-07-07
  • Linux之CentOS7下如何关闭SELINUX

    Linux之CentOS7下如何关闭SELINUX

    这篇文章主要介绍了Linux之CentOS7下如何关闭SELINUX问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2024-02-02
  • CentOS 6.4安装配置LAMP服务器(Apache+PHP5+MySQL)

    CentOS 6.4安装配置LAMP服务器(Apache+PHP5+MySQL)

    这篇文章主要介绍了CentOS 6.4安装配置LAMP服务器(Apache+PHP5+MySQL)的方法，需要的朋友可以参考下
    2013-06-06
  • Linux下Oracle如何导入导出dmp文件详解

    Linux下Oracle如何导入导出dmp文件详解

    这篇文章主要给大家介绍了关于在Linux下Oracle如何导入导出dmp文件的相关资料，文中通过示例代码介绍的非常详细，对大家具有一定的参考学习价值，需要的朋友们下面来一起看看吧。
    2017-07-07

最新评论