使用shell脚本找出网站的空页面和404错误页面
更新时间：2014年11月28日 17:13:40 投稿：junjie
这篇文章主要介绍了使用shell脚本找出网站的空页面和404错误页面,本文使用一句话实现,需要的朋友可以参考下
早之前记的一个笔记了，之前只是记录了两句代码，放出来的话也是一个低质量的页面，于是设置为了仅自己可见，今晚抽空补充一下。
记得当的情景应该是提交sitemap时百度老提示有错误的URL，导致sitemap不能正常被抓取，于是在想办法解决这个问题，所以才有下面这些笔记：用shell批量找出网站空页面和404错误页面。
废话不多说，直接上shell代码：
复制代码 代码如下:
time cat sitemap.txt|while read line;do curl -l $line -m 5 --connect-timeout 5 -o /dev/null -s -w "$line "%{http_code}" "%{size_download}"\n";done
前面加了一个time是为了看看代码执行所花的时间
%{http_code}意思是返回HTTP状态码，通过这个状态码我们就能知道该链接是正常的200链接，还是404错误链接；
%{size_download}意思是返回当前页面的大小，如果值太小的话，说明这些页面很有可能是低质量的空页面，得想办法剔除掉。
相关文章
这篇文章主要介绍了写出健壮Bash Shell脚本的一些技巧总结,本文总结了set -u、set -e、竟态条件、信号描述等内容,需要的朋友可以参考下2014-10-10
大家可能会遇到这种情况，需要批量修改主机名和同步hosts文件到多台主机，例如新购置了一批云服务器等，可能主机名称上并不能满足你的命名规则或规范，但如果一台台去更改可能就太慢又无聊，所以shell脚本绝对是你的最佳选择。下面看看Shell批量更改主机名的方法。2016-12-12
在linux中，大家也许会经常看到 < 、<< 、<<< 、>、>> 这几个小于号、大于号，那么他们分别代表什么意思呢？下面小编通过本文给大家介绍下linux 命令中的大于号、小于号的作用，感兴趣的朋友一起看看吧2023-01-01
这篇文章主要介绍了shell脚本实现监控shell脚本的执行流程及变量的值本文使用shell完成对执行过程中条件语句中的变量的变化的监控和整个程序的执行流程的观察功能,需要的朋友可以参考下2015-03-03
这篇文章主要为大家详细介绍了Linux Shell制作录制回放功能脚本，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2017-12-12
今天小编就为大家分享一篇关于shell命令实现当前目录下多个文件合并为一个文件的方法，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧2019-02-02
这篇文章主要介绍了Linux shell的实现原理,文中通过代码示例和图文介绍的非常详细,对大家探究Linux shell的实现原理有一定的帮助,需要的朋友可以参考下2024-02-02
这篇文章主要介绍了shell中如何批量注释和取消注释，帮助大家更好的理解和学习shell脚本，感兴趣的朋友可以了解下2020-08-08
这篇文章主要介绍了Bash脚本内置的调试方法技巧,本文介绍了调试技巧和几个调试技巧,比如输出行号的方法、只调试某段程序的方法,需要的朋友可以参考下2015-04-04
一天一个shell命令 linux文本操作系列-tac,rev命令详解
这篇文章主要介绍了一天一个shell命令 linux文本操作系列-tac,rev命令详解,需要的朋友可以参考下2016-06-06
最新评论