apache使用.htaccess文件实现屏蔽wget下载网站内容

更新时间：2014年07月31日 08:38:01 投稿：hebedich

wget是一个从网络上自动下载文件的自由工具，支持通过HTTP、HTTPS、FTP三个最常见的TCP/IP协议下载，并可以使用HTTP代理。wget名称的由来是“World Wide Web”与“get”的结合。

经发现，虽然wget遵循 robots.txt 规则，但是那个还是可以绕过去，现在把我自己使用的屏蔽方法分享给大家：

1. 屏蔽下载任何文件

.htaccess

SetEnvIfNoCase User-Agent "^wget" bad_bot
<Limit GET POST>
  Order Allow,Deny
  Allow from all
  Deny from env=bad_bot
</Limit>

2. 屏蔽下载部分文件

.htaccess

SetEnvIfNoCase User-Agent "^Wget" bad_bot
SetEnvIfNoCase User-Agent "^Wget/1.5.3" bad_bot
SetEnvIfNoCase User-Agent "^Wget/1.6" bad_bot
<Files ~ "\.(html|pdf|mp3|zip|rar|exe|gif|jpe?g|png|php|jsp) $">
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</files>

您可能感兴趣的文章:

Linux系统下利用C程序输出某进程的内存占用信息
这篇文章主要给大家介绍了关于在Linux系统下利用C程序输出某进程的内存占用信息的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友下面来一起看看吧。
2017-12-12
Linux让程序在后台运行的四种方法
这篇文章主要介绍了Linux让程序在后台运行的四种方法和使用推荐,通过代码示例讲解的非常详细,对大家的学习或工作有一定的帮助,需要的朋友可以参考下
2024-03-03
详解linux系统下pid的取值范围
这篇文章主要介绍了详解linux系统下pid的取值范围的相关资料,需要的朋友可以参考下
2018-07-07
在Linux中使用tcpdump命令捕获与分析数据包详解
tcpdump 是linux系统中提供的一个命令行工具,可以将网络中传送的数据包完全截获下来,提供网络数据分析。下面这篇文章主要给大家介绍了关于如何在Linux中使用tcpdump命令捕获与分析数据包的相关资料，需要的朋友可以参考下
2018-09-09
使用Linux要改掉几个的命令习惯
现在越来越多的人用linux系统，本文分享的这些习惯也许会令你事半功倍，找到其中的乐趣。刚开始使用Linux时你也许会感到不习惯，许多高手也都有这样的经历。毕竟，曾经他们也都是新手。好的习惯可以提高工作效率以及命令的运行效率，下面来一起看看吧。
2016-11-11
Apache遇到的问题 APR not found问题的解决方法
checking for APR... no configure: error: APR not found . Please read the documentation
2013-07-07
Apache和Tomcat服务器间的区别、联系、整合详细介绍
这篇文章主要介绍了Apache和Tomcat服务器间的区别、联系、整合详细介绍,本文重在介绍,没有安装、配置等教程,需要的朋友可以参考下
2014-07-07
linux系统命令笔记整理
这篇文章主要介绍了linux系统命令,整理总结了linux系统常用的安装、卸载、编辑器使用等相关操作命令与使用注意事项,需要的朋友可以参考下
2020-03-03
linux下怎样用命令启动docker服务
这篇文章主要介绍了linux下怎样用命令启动docker服务问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
2023-04-04
ubuntu 16.04 LTS 安装mongodb 3.2.8教程
本篇文章主要介绍了ubuntu 16.04 LTS 安装mongodb 3.2.8教程，具有一定的参考价值，有需要的可以了解一下。
2017-04-04

apache使用.htaccess文件实现屏蔽wget下载网站内容

相关文章

最新评论

大家感兴趣的内容

最近更新的内容

常用在线小工具