java实现爬虫爬网站图片的实例代码

更新时间：2018年06月01日 14:18:43 作者：dingzfeng

这篇文章主要介绍了java实现爬虫爬网站图片的实例代码,需要的朋友可以参考下

第一步，实现 LinkQueue，对url进行过滤和存储的操作

import java.util.ArrayList; 
import java.util.Collections; 
import java.util.HashSet; 
import java.util.List; 
import java.util.Set; 
public class LinkQueue { 
  // 已访问的 url 集合 
  private static Set<String> visitedUrl = Collections.synchronizedSet(new HashSet<String>()); 
  // 未访问的url 
  private static List<String> unVisitedUrl = Collections.synchronizedList(new ArrayList<String>()); 
  // 未访问的URL出队列 
  public static String unVisitedUrlDeQueue() { 
    if (unVisitedUrl.size() > 0) { 
      String url = unVisitedUrl.remove(0); 
      visitedUrl.add(url); 
      return url; 
    } 
    return null; 
  } 
  // 新的url添加进来的时候进行验证，保证只是添加一次 
  public static void addUnvisitedUrl(String url) { 
    if (url != null && !url.trim().equals("") && !visitedUrl.contains(url) 
        && !unVisitedUrl.contains(url)) 
      unVisitedUrl.add(url); 
  } 
  // 判断未访问的URL队列中是否为空 
  public static boolean unVisitedUrlsEmpty() { 
    return unVisitedUrl.isEmpty(); 
  } 
}

第二步，收集每一个url下的链接进行过滤产生新的链接

import java.util.HashSet; 
import java.util.Set; 
import org.htmlparser.Node; 
import org.htmlparser.NodeFilter; 
import org.htmlparser.Parser; 
import org.htmlparser.filters.NodeClassFilter; 
import org.htmlparser.filters.OrFilter; 
import org.htmlparser.tags.LinkTag; 
import org.htmlparser.util.NodeList; 
import org.htmlparser.util.ParserException; 
/** 
 * 过滤http的url，获取可以符合规则的url 
 * @author Administrator 
 * 
 */ 
public class ParserHttpUrl { 
  // 获取一个网站上的链接,filter 用来过滤链接 
  public static Set<String> extracLinks(String url, LinkFilter filter) { 
    Set<String> links = new HashSet<String>(); 
    try { 
      Parser parser = new Parser(url); 
      // 过滤 <frame >标签的 filter，用来提取 frame 标签里的 src 属性所表示的链接 
      NodeFilter frameFilter = new NodeFilter() { 
        public boolean accept(Node node) { 
          if (node.getText().startsWith("frame src=")) { 
            return true; 
          } else { 
            return false; 
          } 
        } 
      }; 
      // OrFilter 来设置过滤 <a> 标签，和 <frame> 标签 
      OrFilter linkFilter = new OrFilter(new NodeClassFilter( 
          LinkTag.class), frameFilter); 
      // 得到所有经过过滤的标签 
      NodeList list = parser.extractAllNodesThatMatch(linkFilter); 
      for (int i = 0; i < list.size(); i++) { 
        Node tag = list.elementAt(i); 
        if (tag instanceof LinkTag)// <a> 标签 
        { 
          LinkTag link = (LinkTag) tag; 
          String linkUrl = link.getLink();// url 
          if (filter.accept(linkUrl)) 
            links.add(linkUrl); 
        } else// <frame> 标签 
        { 
          // 提取 frame 里 src 属性的链接如 <frame src="test.html"/> 
          String frame = tag.getText(); 
          int start = frame.indexOf("src="); 
          frame = frame.substring(start); 
          int end = frame.indexOf(" "); 
          if (end == -1) 
            end = frame.indexOf(">"); 
          String frameUrl = frame.substring(5, end - 1); 
          if (filter.accept(frameUrl)) 
            links.add(frameUrl); 
        } 
      } 
    } catch (ParserException e) { 
      e.printStackTrace(); 
    } 
    return links; 
  } 
}

第三步，实现图片下载功能

import java.io.File; 
import java.io.FileOutputStream; 
import java.io.InputStream; 
import java.net.URL; 
import java.net.URLConnection; 
import java.util.ArrayList; 
import java.util.List; 
import java.util.regex.Matcher; 
import java.util.regex.Pattern; 
/*** 
 * java抓取网络图片 
 * 
 * @author swinglife 
 * 
 */ 
public class DownLoadPic { 
  // 编码 
  private static final String ECODING = "UTF-8"; 
  // 获取img标签正则 
  private static final String IMGURL_REG = "<img.*src=(.*?)[^>]*?>"; 
  // 获取src路径的正则 
  private static final String IMGSRC_REG = "http:\"?(.*?)(\"|>|\\s+)"; 
  public static void downloadPic(String url) { 
    // 获得html文本内容 
    String HTML = null; 
    try { 
      HTML = DownLoadPic.getHTML(url); 
    } catch (Exception e) { 
      e.printStackTrace(); 
    } 
    if (null != HTML && !"".equals(HTML)) { 
      // 获取图片标签 
      List<String> imgUrl = DownLoadPic.getImageUrl(HTML); 
      // 获取图片src地址 
      List<String> imgSrc = DownLoadPic.getImageSrc(imgUrl); 
      // 下载图片 
      DownLoadPic.download(imgSrc); 
    } 
  } 
  /*** 
   * 获取HTML内容 
   * 
   * @param url 
   * @return 
   * @throws Exception 
   */ 
  private static String getHTML(String url) throws Exception { 
    URL uri = new URL(url); 
    URLConnection connection = uri.openConnection(); 
    InputStream in = connection.getInputStream(); 
    byte[] buf = new byte[1024]; 
    int length = 0; 
    StringBuffer sb = new StringBuffer(); 
    while ((length = in.read(buf, 0, buf.length)) > 0) { 
      sb.append(new String(buf, ECODING)); 
    } 
    in.close(); 
    return sb.toString(); 
  } 
  /*** 
   * 获取ImageUrl地址 
   * 
   * @param HTML 
   * @return 
   */ 
  private static List<String> getImageUrl(String HTML) { 
    Matcher matcher = Pattern.compile(IMGURL_REG).matcher(HTML); 
    List<String> listImgUrl = new ArrayList<String>(); 
    while (matcher.find()) { 
      listImgUrl.add(matcher.group()); 
    } 
    return listImgUrl; 
  } 
  /*** 
   * 获取ImageSrc地址 
   * 
   * @param listImageUrl 
   * @return 
   */ 
  private static List<String> getImageSrc(List<String> listImageUrl) { 
    List<String> listImgSrc = new ArrayList<String>(); 
    for (String image : listImageUrl) { 
      Matcher matcher = Pattern.compile(IMGSRC_REG).matcher(image); 
      while (matcher.find()) { 
        listImgSrc.add(matcher.group().substring(0, 
            matcher.group().length() - 1)); 
      } 
    } 
    return listImgSrc; 
  } 
  /*** 
   * 下载图片 
   * 
   * @param listImgSrc 
   */ 
  private static void download(List<String> listImgSrc) { 
    for (String url : listImgSrc) { 
      try { 
        String imageName = url.substring(url.lastIndexOf("/") + 1, 
            url.length()); 
        URL uri = new URL(url); 
        InputStream in = uri.openStream(); 
        FileOutputStream fo = new FileOutputStream(new File(imageName)); 
        byte[] buf = new byte[1024]; 
        int length = 0; 
        while ((length = in.read(buf, 0, buf.length)) != -1) { 
          fo.write(buf, 0, length); 
        } 
        in.close(); 
        fo.close(); 
      } catch (Exception e) { 
        e.printStackTrace(); 
      } 
    } 
  } 
}

实在Filter接口，定义过滤接口：

public interface Filter { 
  public boolean accept(String url); 
}

第四步，过滤规则的实现：

public class Crawler { 
  /** 
   * 抓取过程 
   * 
   * @return 
   * @param seeds 
   */ 
  public void crawling(String url) { // 定义过滤器 
    Filter filter = new Filter() { 
      public boolean accept(String url) { 
        //这里过滤规则随需要爬的网站的规则进行改变，推荐使用正则实现，本人是爬豆瓣网站 
        if(url.indexOf("douban.com/group/topic") != -1 || url.indexOf("douban.com/group/haixiuzu/discussion?start") != -1 ) 
          return true; 
        else 
          return false; 
      } 
    }; 
    // 初始化 URL 队列 
    LinkQueue.addUnvisitedUrl(url); 
    // 循环条件，待抓取的链接不空 
    while (!LinkQueue.unVisitedUrlsEmpty()) { 
      // 队头URL出队列 
      String visitUrl = (String) LinkQueue.unVisitedUrlDeQueue(); 
      if (visitUrl == null) 
        continue; 
      DownLoadPic.downloadPic(visitUrl); 
      // 提取出下载网页中的 URL 
      Set<String> links = ParserHttpUrl.extracLinks(visitUrl, filter); 
      // 新的未访问的 URL 入队 
      for (String link : links) { 
        LinkQueue.addUnvisitedUrl(link); 
      } 
    } 
  } 
  // main 方法入口 
  public static void main(String[] args) { 
    Crawler crawler = new Crawler(); 
    crawler.crawling("http://www.douban.com/group/haixiuzu/discussion?start=0"); 
  } 
}

总结

以上所述是小编给大家介绍的java实现爬虫爬网站图片的实例代码，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持！

您可能感兴趣的文章:

详解Java的线程的优先级以及死锁
这篇文章主要介绍了详解Java的线程的优先级以及死锁,线程是Java编程学习中的重要知识,需要的朋友可以参考下
2015-09-09
java使用wait和notify实现线程通信
这篇文章主要为大家详细介绍了java如何使用wait和notify实现线程之间通信,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下
2023-10-10
Java方法重载和方法重写的区别到底在哪?
今天给大家带来的是关于Java的相关知识,文章围绕着Java方法重载和方法重写的区别到底在哪展开,文中有非常详细的解释,需要的朋友可以参考下
2021-06-06
使用javaweb项目对数据库增、删、改、查操作的实现方法
这篇文章主要给大家介绍了关于使用javaweb项目对数据库增、删、改、查操作的实现方法,avaWeb是指使用Java语言进行Web应用程序开发的技术,可以利用Java编写一些动态网页、交互式网页、企业级应用程序等,需要的朋友可以参考下
2023-07-07
使用Springboot处理跨域的方式
这篇文章主要介绍了使用Springboot处理跨域的方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
2024-09-09
Java设计模式之解释器模式_动力节点Java学院整理
解释器模式是一个比较少用的模式，本人之前也没有用过这个模式。下面我们就来一起看一下解释器模式
2017-08-08
JavaBean和SpringBean的区别及创建SpringBean方式
这篇文章主要介绍了JavaBean和SpringBean的区别及创建SpringBean方式，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
2021-10-10
Spring Boot中的微信支付全过程(小程序)
微信支付是企业级项目中经常使用到的功能，作为后端开发人员，完整地掌握该技术是十分有必要的。今天通过本文给大家介绍Spring Boot中的微信支付全过程，感兴趣的朋友一起看看吧
2022-05-05
Java + Selenium + OpenCV解决自动化测试中的滑块验证问题
OpenCV是一个基于Apache2.0许可（开源）发行的跨平台计算机视觉和机器学习软件库，可以运行在Linux、Windows、Android和Mac OS操作系统上，这篇文章主要介绍了Java + Selenium + OpenCV解决自动化测试中的滑块验证,需要的朋友可以参考下
2022-07-07
Java 入门图形用户界面设计之单选按钮
图形界面（简称GUI）是指采用图形方式显示的计算机操作用户界面。与早期计算机使用的命令行界面相比，图形界面对于用户来说在视觉上更易于接受，本篇精讲Java语言中关于图形用户界面的单选按钮
2022-02-02

java实现爬虫爬网站图片的实例代码

相关文章

最新评论

大家感兴趣的内容

最近更新的内容

常用在线小工具