Java实现的爬虫抓取图片并保存操作示例

 更新时间:2018年08月31日 09:47:10   作者:smilecjw  
这篇文章主要介绍了Java实现的爬虫抓取图片并保存操作,涉及Java针对页面URL访问、获取、字符串匹配、文件下载等相关操作技巧,需要的朋友可以参考下

本文实例讲述了Java实现的爬虫抓取图片并保存操作。分享给大家供大家参考,具体如下:

这是我参考了网上一些资料写的第一个java爬虫程序

本来是想获取煎蛋网无聊图的图片,但是网络返回码一直是503,所以换了网站

import java.io.BufferedReader;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.io.OutputStream;
import java.net.MalformedURLException;
import java.net.URL;
import java.net.URLConnection;
import java.util.ArrayList;
import java.util.List;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
/*
 * 网络爬虫取数据
 *
 * */
public class JianDan {
  public static String GetUrl(String inUrl){
    StringBuilder sb = new StringBuilder();
    try {
      URL url =new URL(inUrl);
      BufferedReader reader =new BufferedReader(new InputStreamReader(url.openStream()));
      String temp="";
      while((temp=reader.readLine())!=null){
        //System.out.println(temp);
        sb.append(temp);
      }
    } catch (MalformedURLException e) {
      // TODO 自动生成的 catch 块
      e.printStackTrace();
    } catch (IOException e) {
      // TODO 自动生成的 catch 块
      e.printStackTrace();
    }
    return sb.toString();
  }
  public static List<String> GetMatcher(String str,String url){
    List<String> result = new ArrayList<String>();
    Pattern p =Pattern.compile(url);//获取网页地址
    Matcher m =p.matcher(str);
    while(m.find()){
      //System.out.println(m.group(1));
      result.add(m.group(1));
    }
    return result;
  }
  public static void main(String args[]){
    String str=GetUrl("http://www.163.com");
    List<String> ouput =GetMatcher(str,"src=\"([\\w\\s./:]+?)\"");
    for(String temp:ouput){
      //System.out.println(ouput.get(0));
      System.out.println(temp);
    }
    String aurl=ouput.get(0);
     // 构造URL
    URL url;
    try {
      url = new URL(aurl);
       // 打开URL连接
      URLConnection con = (URLConnection)url.openConnection();
       // 得到URL的输入流
      InputStream input = con.getInputStream();
      // 设置数据缓冲
      byte[] bs = new byte[1024 * 2];
      // 读取到的数据长度
      int len;
      // 输出的文件流保存图片至本地
      OutputStream os = new FileOutputStream("a.png");
      while ((len = input.read(bs)) != -1) {
      os.write(bs, 0, len);
      }
      os.close();
      input.close();
    } catch (MalformedURLException e) {
      // TODO 自动生成的 catch 块
      e.printStackTrace();
    } catch (IOException e) {
      // TODO 自动生成的 catch 块
      e.printStackTrace();
    }
  }
}

运行输出:

更多关于java相关内容感兴趣的读者可查看本站专题:《Java网络编程技巧总结》、《Java Socket编程技巧总结》、《Java文件与目录操作技巧汇总》、《Java数据结构与算法教程》、《Java操作DOM节点技巧总结》和《Java缓存操作技巧汇总

希望本文所述对大家java程序设计有所帮助。

相关文章

  • Springboot集成magic-api的详细过程

    Springboot集成magic-api的详细过程

    这篇文章主要介绍了Springboot集成magic-api的相关知识,本文结合实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2023-06-06
  • SpringBoot容器的主要组件详解

    SpringBoot容器的主要组件详解

    这篇文章主要介绍了SpringBoot容器的主要组件详解,SpringBoot 是基于 Spring Framework 的一种快速开发框架,它可以帮助开发者快速地构建独立的、生产级别的、可部署的应用程序,需要的朋友可以参考下
    2023-09-09
  • Java中使用Jedis操作Redis的实现代码

    Java中使用Jedis操作Redis的实现代码

    本篇文章主要介绍了Java中使用Jedis操作Redis的实现代码。详细的介绍了Redis的安装和在java中的操作,具有一定的参考价值,有兴趣的可以了解一下
    2017-05-05
  • Java中Cookie和Session的那些事儿

    Java中Cookie和Session的那些事儿

    Cookie和Session都是为了保持用户的访问状态,一方面为了方便业务实现,另一方面为了简化服务端的程序设计。这篇文章主要介绍了java中cookie和session的知识,需要的朋友可以参考下
    2016-09-09
  • IDEA maven项目中刷新依赖的两种方法小结

    IDEA maven项目中刷新依赖的两种方法小结

    这篇文章主要介绍了IDEA maven项目中刷新依赖的两种方法小结,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2023-03-03
  • JAVA 数据结构链表操作循环链表

    JAVA 数据结构链表操作循环链表

    这篇文章主要介绍了JAVA 数据结构链表操作循环链表的相关资料,需要的朋友可以参考下
    2016-10-10
  • java微信公众号支付开发之现金红包

    java微信公众号支付开发之现金红包

    这篇文章主要为大家详细介绍了java微信公众号支付开发之现金红包,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-04-04
  • Java中indexOf()的用法小结

    Java中indexOf()的用法小结

    这篇文章主要介绍了Java中indexOf()的用法小结,indexOf()有四种方法,用来查找某个字符或字符串的位置,本文通过示例代码给大家介绍的非常详细,需要的朋友可以参考下
    2024-01-01
  • java 开发使用字符串和数字的性能分析

    java 开发使用字符串和数字的性能分析

    这篇文章主要介绍了java 开发使用字符串和数字的性能分析的相关资料,需要的朋友可以参考下
    2017-07-07
  • 一文详解Spring的Enablexxx注解使用实例

    一文详解Spring的Enablexxx注解使用实例

    这篇文章主要为大家介绍了一文详解Spring的Enablexxx注解使用实例,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2022-11-11

最新评论