php实现递归抓取网页类实例
更新时间：2015年04月03日 12:20:50 作者：pythoner
这篇文章主要介绍了php实现递归抓取网页类,实例分析了php递归操作及网页抓取的技巧,非常具有实用价值,需要的朋友可以参考下
本文实例讲述了php实现递归抓取网页类的方法。分享给大家供大家参考。具体如下：
<?php
class crawler{
private $_depth=5;
private $_urls=array();
function extract_links($url)
{
if(!$this->_started){
$this->_started=1;
$curr_depth=0;
}else{
$curr_depth++;
}
if($curr_depth<$this->_depth)
{
$data=file_get_contents($url);
if(preg_match_all('/((?:http|https)://(?:www.)*(?:[a-zA-Z0-9_-]{1,15}.+[a-zA-Z0-9_]{1,}){1,}(?:[a-zA-Z0-9_/.-?&:%,!;]*))/',$data,$urls12))
{
foreach($urls12[0] as $k=>$v){
$check=get_headers($v,1);
if(strstr($v,$url) && $check[0]=='HTTP/1.1 200 OK' && !array_search($v,$this->_urls) && $curr_depth<$this->_depth){
$this->_urls[]=$v;
$this->extract_links($v);
}
}
}
}
return $this->_urls;
}
}
?>
希望本文所述对大家的php程序设计有所帮助。
相关文章
你应该知道的PHP+MySQL分页那点事，这篇文章主要为大家详细介绍了PHP+MySQL分页技术，为大家提供了完整php分页实例，感兴趣的小伙伴们可以参考一下2016-08-08
类似于dreamhost这类主机服务商，是显示fopen的使用的。使用php的curl可以实现支持FTP、FTPS、HTTP HTPPS SCP SFTP TFTP TELNET DICT FILE和LDAP。2008-08-08
几篇关于无限分类算法的文章...2007-02-02
许多成熟的数据库都支持预处理语句（Prepared Statements)的概念。可以使用多种方式实现预处理，下面通过这篇文章来给大家详细的介绍下关于php_pdo预处理语句，文中通过实例代码介绍的很详细，有需要的朋友们可以参考借鉴，下面来一起看看吧。2016-11-11
PHP实现分布式memcache设置web集群session同步的方法
这篇文章主要介绍了PHP实现分布式memcache设置web集群session同步的方法,结合实例形式分析了php设置与使用memcache实现web集群session同步的相关操作技巧与注意事项,需要的朋友可以参考下2018-04-04
在使用php的过程中，我们需要使用单引号和双引号，所以需要转义一下2008-07-07
这篇文章主要给大家汇总介绍了PHP封装的字符串加密解密函数以及使用方法，非常的简单实用，有需要的小伙伴可以参考下2015-12-12
php获取一个月第一天与最后一天直接上代码，其实是个很简单的东东2010-05-05
这篇文章主要为大家介绍了php多版本管理工具phpbrew使用教程详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪2024-01-01
这篇文章主要介绍了PHP实现自动识别原编码并对字符串进行编码转换的方法,涉及php针对编码的识别、转换及数组的遍历等相关操作技巧,需要的朋友可以参考下2016-07-07
最新评论