自己写的php curl库实现整站克隆功能
更新时间：2015年02月12日 10:36:49 投稿：junjie
这篇文章主要介绍了自己写的php curl库实现整站克隆功能,本文给出工具库源码下载和使用示例,需要的朋友可以参考下
有时候经常会用到一些在线手册，比如国内或国外的，有些是访问速度慢，有些是作者直接吧网站关闭了，有些是服务器总是宕机，所以还是全盘克隆到自己服务器比较爽。
库特点：
给定一初始连接，初始链接以下的层级所有文件会拷贝到本地。
多次克隆可以配置是否覆盖。
可以配置是否下载图片。
所有链接替换为相对链接，所以可以随便rewrite。
绝对不会出现文件覆盖等问题。
最NB的特点是，没有比这更NB的库了。
SVN：http://svn.phpdr.net/repos/ares/php/library/trunk/lib/CurlMulti/MyCurl/Clone.php
脚本之家下载：http://xiazai.jb51.net/201502/other/CurlMulti.rar
克隆结果展示(这个克隆操作几秒钟就完成了)：
克隆源网站：http://www.laruence.com/manual/
克隆结果：http://manual.phpdr.net/yaf/
Demo代码：
复制代码 代码如下:
<?php
class Controller_Spider extends MyYaf_Controller_Base{
function init(){
parent::init();
if(!$this->getRequest()->isCli()){
Ares_Http::error403();
}
include 'CurlMulti/CurlMulti.php';
include 'CurlMulti/MyCurl.php';
include 'phpQuery.php';
}
}
复制代码 代码如下:
<?php
class YafdocController extends Controller_Spider {
function init() {
parent::init ();
include 'CurlMulti/MyCurl/Clone.php';
}
function indexAction() {
$url = 'http://www.laruence.com/manual';
$dir = Yaf_Application::app ()->getAppDirectory () . '/data/manual';
$cacheDir = $this->getBaseDir () . '/cache/curl';
if (! is_dir ( $cacheDir )) {
mkdir ( $cacheDir );
}
$curl = new CurlMulti ();
$curl->maxThread = 10;
$curl->cache ['enable'] = true;
$curl->cache ['enableDownload'] = true;
$curl->cache ['dir'] = $cacheDir;
$curl->cache ['compress'] = true;
$clone = new MyCurl_Clone ( $curl, $url, $dir );
$clone->overwrite = true;
$clone->start ();
return false;
}
}
相关文章
本篇文章介绍了，在PHP中字符串的编码问题的详细分析，需要的朋友参考下2013-04-04
这篇文章主要介绍了smarty循环嵌套用法,结合实例形式分析了Smarty模板嵌套循环的实现技巧与相关注意事项,需要的朋友可以参考下2016-07-07
PHP获取类中常量，属性，及方法列表的方法2009-04-04
今天小编就为大家分享一篇使用laravel和ECharts实现折线图效果的例子，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-10-10
本篇文章由脚本之家小编给大家分享的php操作redis实例,代码非常简单,适合程序员开发使用,感兴趣的朋友跟着小编一起学习吧2015-09-09
这篇文章主要介绍了PHP封装请求类,结合实例形式分析了基于Yii框架的curl封装请求处理的相关实现技巧,需要的朋友可以参考下2019-10-10
这篇文章主要介绍了Yii2组件之多图上传插件FileInput的详细使用教程的相关资料,非常不错，具有参考借鉴价值，需要的朋友可以参考下2016-06-06
PHPUnit是一个用PHP编程语言开发的开源软件，是一个单元测试框架。PHPUnit由Sebastian Bergmann创建，源于Kent Beck的SUnit，是xUnit家族的框架之一。本文将介绍PHPUnit的安装方法以及一则使用示例。2014-10-10
下面小编就为大家分享一篇php合并数组并保留键值的实现方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-03-03
这篇文章主要介绍了Yii基于CActiveForm的Ajax数据验证用法,结合实例形式分析了Yii视图自定义Form表单的ajax提交及控制器处理实现方法,需要的朋友可以参考下2016-07-07
最新评论