脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 网络编程 → PHP编程 → php实例 → ThinkPHP5框架使用QueryList爬取并存入mysql数据库

基于ThinkPHP5框架使用QueryList爬取并存入mysql数据库操作示例

 更新时间：2019年05月25日 12:03:49   作者：qq_37138818  
这篇文章主要介绍了基于ThinkPHP5框架使用QueryList爬取并存入mysql数据库操作,结合实例形式分析了thinkPHP5框架整合QueryList爬取数据存入mysql相关操作技巧及注意事项,需要的朋友可以参考下

本文实例讲述了基于ThinkPHP5框架使用QueryList爬取并存入mysql数据库操作。分享给大家供大家参考，具体如下：

QueryList4教程 地址：

https://doc.querylist.cc/site/index/doc/45

在ThinkPHP5代码根目录执行composer命令安装QueryList:

composer require jaeger/querylist

如果出现 以下错误

Loading composer repositories with package information
Updating dependencies (including require-dev)
    Authentication required (packagist.phpcomposer.com):
      Username:

出现这样的 情况

使用

composer config -g repo.packagist composer https://packagist.laravel-china.org

下面演示在Index控制器中使用QueryList:

use QL\QueryList;
public function qulist(){
  $data = QueryList::get('http://maoyan.com/board/4')
  // 设置采集规则
  ->rules([
    // 爬取图片地址
    "src"=>array(".board-wrapper dd img.board-img","data-src"),
    // 爬取电影名
    "name"=>array(".board-wrapper dd .movie-item-info .name","html"),
    // 爬取电影主演信息
    "star"=>array(".board-wrapper dd .movie-item-info .star","html"),
    // 爬取上映时间
    "releasetime"=>array(".board-wrapper dd .movie-item-info .releasetime","html"),
  ])
  ->query()->getData();
  $excel_array=$data->all();
  var_dump($excel_array);exit;
}

如果没有错的 则

如果想继续抓取下一页的数据 要根据规律来去

这里我继续抓取20页 但是没有那么多就抓取了10页的数据

public function qulist(){
    for($i=0;$i<20;$i++){
      $page=$i*10;
      $data = QueryList::get('http://maoyan.com/board/4?offset='.$page)
        // 设置采集规则
        ->rules([
          // 爬取图片地址
          "src"=>array(".board-wrapper dd img.board-img","data-src"),
          // 爬取电影名
          "name"=>array(".board-wrapper dd .movie-item-info .name","html"),
          // 爬取电影主演信息
          "star"=>array(".board-wrapper dd .movie-item-info .star","html"),
          // 爬取上映时间
          "releasetime"=>array(".board-wrapper dd .movie-item-info .releasetime","html"),
        ])
        ->query()->getData();
      $excel_array=$data->all();
      var_dump($excel_array);exit;
    }
}

将数据插入到数据库 详细步骤

更多关于thinkPHP相关内容感兴趣的读者可查看本站专题：《ThinkPHP入门教程》、《thinkPHP模板操作技巧总结》、《ThinkPHP常用方法总结》、《codeigniter入门教程》、《CI(CodeIgniter)框架进阶教程》、《Zend FrameWork框架入门教程》及《PHP模板技术总结》。

希望本文所述对大家基于ThinkPHP框架的PHP程序设计有所帮助。

您可能感兴趣的文章:

相关文章

  • 用 Composer构建自己的 PHP 框架之基础准备

    用 Composer构建自己的 PHP 框架之基础准备

    这篇文章主要介绍了用 Composer构建自己的 PHP 框架的基础准备工作，其实就是各种基础知识，想自己搭建php框架的童鞋可要看仔细了
    2014-10-10
  • php判断是否为json格式的方法

    php判断是否为json格式的方法

    这篇文章主要介绍了php判断是否为json格式的方法,需要的朋友可以参考下
    2014-03-03
  • 详解PHP导入导出CSV文件

    详解PHP导入导出CSV文件

    项目开发中，很多时候要将外部CSV文件导入到数据库中或者将数据导出为CSV文件，那么具体该如何实现呢？本文将使用PHP并结合mysql，实现了CSV格式数据的导入和导出功能。
    2014-11-11
  • php 防止表单重复提交两种实现方法

    php 防止表单重复提交两种实现方法

    这篇文章主要介绍了php 防止表单重复提交两种实现方法的相关资料,这里两种实现方法一一做了详细介绍，需要的朋友可以参考下
    2016-11-11
  • thinkPHP数据查询常用方法总结【select,find,getField,query】

    thinkPHP数据查询常用方法总结【select,find,getField,query】

    这篇文章主要介绍了thinkPHP数据查询常用方法,结合实例形式总结分析了select,find,getField,query等方法进行数据库查询操作的具体操作步骤与相关实现技巧,需要的朋友可以参考下
    2017-03-03
  • Laravel中日期时间处理包Carbon的简单使用

    Laravel中日期时间处理包Carbon的简单使用

    处理日期和时间需要考虑很多事情，例如日期的格式、时区、闰年和天数各异的月份，自己处理太容易出错了，下面这篇文章主要给大家介绍了关于在Laravel中日期时间处理包Carbon的简单使用，需要的朋友可以参考下。
    2017-09-09
  • PHP父类调用子类方法的代码例子

    PHP父类调用子类方法的代码例子

    这篇文章主要介绍了PHP父类调用子类方法的代码例子,需要的朋友可以参考下
    2014-04-04
  • PHP中abstract(抽象)、final(最终)和static(静态)原理与用法详解

    PHP中abstract(抽象)、final(最终)和static(静态)原理与用法详解

    这篇文章主要介绍了PHP中abstract(抽象)、final(最终)和static(静态),结合实例形式分析了PHP中abstract(抽象)、final(最终)和static(静态)基本功能、原理、用法及相关操作注意事项,需要的朋友可以参考下
    2020-06-06
  • php 接口与前端数据交互实现示例代码

    php 接口与前端数据交互实现示例代码

    本篇文章主要介绍了php 接口与前端数据交互实现示例代码，主要使用的是php+bootstrap-table+js，具有一定的参考价值，有兴趣的可以了解一下
    2017-08-08
  • Laravel学习教程之广播模块详解

    Laravel学习教程之广播模块详解

    这篇文章主要给大家介绍了关于Laravel学习教程之广播模块的相关资料，广播是指发送方发送一条消息，订阅频道的各个接收方都能及时收到消息，文中通过示例代码介绍的非常详细，需要的朋友可以参考借鉴，下面来一起看看吧。
    2017-08-08

最新评论