基于curl数据采集之正则处理函数get_matches的使用

 更新时间:2013年04月28日 17:20:28   作者:  
本篇文章介绍了,基于curl数据采集之正则处理函数get_matches的使用。需要的朋友参考下

根据前两篇的博文:

基于curl数据采集之单页面采集函数get_html的使用

基于curl数据采集之单页面并行采集函数get_htmls的使用

已经可以得到了我们需要的html文件,现在需要处理得到的文件获取到我们需要的采集的数据。

对于html文档的解析,没有像XML那样的解析类,因为HTML文档有很多不成对的标签,很不严格。这个时候就需要采用其他的一些辅助类了,simplehtmldom是一个类似于JQuery方式操作HTML文档的解析类。可以很方便的得到想要的数据,可惜速度慢。这里不是我们这里讨论的重点,我主要使用正则来匹配我所需要的采集的数据,可以很快速的得到我需要采集的信息。

考虑到get_html可以判断返回的数据,但是get_htmls没有办法判断,为了方便调式和调用写了如下两个函数:

复制代码 代码如下:

function get_matches($pattern,$html,$err_msg,$multi=false,$flags=0,$offset=0){
     if(!$multi){
         if(!preg_match($pattern,$html,$matches,$flags,$offset)){
             echo $err_msg."! 错误信息: ".get_preg_err_msg()."\n";
             return false;
         }
     }else{
         if(!preg_match_all($pattern,$html,$matches,$flags,$offset)){
             echo $err_msg."! 错误信息: ".get_preg_err_msg()."\n";
             return false;
         }
     }
     return $matches;
 }
 function get_preg_err_msg(){
     $error_code = preg_last_error();
     switch($error_code){
         case PREG_NO_ERROR :
             $err_msg = 'PREG_NO_ERROR';
             break;
         case PREG_INTERNAL_ERROR:
             $err_msg = 'PREG_INTERNAL_ERROR';
             break;
         case PREG_BACKTRACK_LIMIT_ERROR:
             $err_msg = 'PREG_BACKTRACK_LIMIT_ERROR';
             break;
         case PREG_RECURSION_LIMIT_ERROR:
             $err_msg = 'PREG_RECURSION_LIMIT_ERROR';
             break;
         case PREG_BAD_UTF8_ERROR:
             $err_msg = 'PREG_BAD_UTF8_ERROR';
             break;
         case PREG_BAD_UTF8_OFFSET_ERROR:
             $err_msg = 'PREG_BAD_UTF8_OFFSET_ERROR';
             break;
         default:
             return '未知错误!';
     }
     return $err_msg.': '.$error_code;
 }

可以这样调用:
复制代码 代码如下:

$url = 'http://www.baidu.com';
 $html = get_html($url);
 $matches = get_matches('!<a[^<]+</a>!',$html,'没有找到链接',true);
 if($matches){
     var_dump($matches);
 }

或者这样调用:
复制代码 代码如下:

$urls = array('http://www.baidu.com','http://www.hao123.com');
 $htmls = get_htmls($urls);
 foreach($htmls as $html){
     $matches = get_matches('!<a[^<]+</a>!',$html,'没有找到链接',true);
     if($matches){
         var_dump($matches);
     }
 }

就可以得到所需的信息,无论单页面采集还是多页面采集,最终PHP还是只能处理一个页面,由于使用get_matches了,可以对返回的值进行判断真假,得到正确的数据,由于使用正则的时候遇到了超过正则回溯的问题,增加get_preg_err_msg来提示正则信息。

由于采集数据的时候,经常是采集列表页,根据列表页得到的内容页链接再采集内容页,或者更多的层次,那么循环嵌套会很多,对于代码的控制会感觉力不从心。那我们是否可以把采集列表页的代码和采集内容页的代码,或者更多的层次的采集代码分离开,甚至循环都简化呢?

相关文章

  • php多文件打包下载的实例代码

    php多文件打包下载的实例代码

    本篇文章主要介绍了php多文件打包下载的实例代码,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2017-07-07
  • PHP+AJAX实现投票功能的方法

    PHP+AJAX实现投票功能的方法

    这篇文章主要介绍了PHP+AJAX实现投票功能的方法,以完整实例形式分析了php结合Ajax实现投票功能的相关技巧,具有一定参考借鉴价值,需要的朋友可以参考下
    2015-09-09
  • PHP 正则表达式常用函数

    PHP 正则表达式常用函数

    前篇文章,我们复习了php的一些常用的正则表达式,本文,我们来重点介绍下php正则表达式的常用函数,两者相结合才可以完美使用哦!!
    2014-08-08
  • PHP+Ajax实现上传文件进度条动态显示进度功能

    PHP+Ajax实现上传文件进度条动态显示进度功能

    这篇文章主要介绍了PHP+Ajax实现上传文件进度条动态显示进度功能,通过ajax实现主界面,php处理上传文件,具体实例代码大家跟随脚本之家小编一起看看吧
    2018-06-06
  • PHP生成随机密码4种方法及性能对比

    PHP生成随机密码4种方法及性能对比

    这篇文章主要介绍了PHP生成随机密码4种方法及性能对比,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-12-12
  • thinkphp,onethink和thinkox中验证码不显示的解决方法分析

    thinkphp,onethink和thinkox中验证码不显示的解决方法分析

    这篇文章主要介绍了thinkphp,onethink和thinkox中验证码不显示的解决方法,简单分析了thinkPHP验证码不显示的原因与相应的解决方法,具有一定参考借鉴价值,需要的朋友可以参考下
    2016-06-06
  • 实例讲解PHP验证邮箱是否合格

    实例讲解PHP验证邮箱是否合格

    在本篇文章里我们给大家分享了关于PHP验证邮箱是否合格的相关实例内容,有兴趣的朋友们学习下。
    2019-01-01
  • php之redis短线重连案例讲解

    php之redis短线重连案例讲解

    这篇文章主要介绍了php之redis短线重连案例讲解,本篇文章通过简要的案例,讲解了该项技术的了解与使用,以下就是详细内容,需要的朋友可以参考下
    2021-08-08
  • php微信公众号开发(2)百度BAE搭建和数据库使用

    php微信公众号开发(2)百度BAE搭建和数据库使用

    这篇文章主要介绍了php微信公众号开发第二课,百度BAE搭建和数据库使用,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2016-12-12
  • 详解PHP PDO简单教程

    详解PHP PDO简单教程

    这篇文章主要介绍了详解PHP PDO简单教程,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2019-05-05

最新评论