零基础写Java知乎爬虫之将抓取的内容存储到本地

 更新时间:2014年11月07日 11:19:37   投稿:hebedich  
上一回我们说到了如何把知乎的某些内容爬取出来,那么这一回我们就说说怎么把这些内容存储到本地吧。

说到Java的本地存储,肯定使用IO流进行操作。
首先,我们需要一个创建文件的函数createNewFile:

复制代码 代码如下:

public static boolean createNewFile(String filePath) { 
        boolean isSuccess = true; 
        // 如有则将"\\"转为"/",没有则不产生任何变化 
        String filePathTurn = filePath.replaceAll("\\\\", "/"); 
        // 先过滤掉文件名 
        int index = filePathTurn.lastIndexOf("/"); 
        String dir = filePathTurn.substring(0, index); 
        // 再创建文件夹 
        File fileDir = new File(dir); 
        isSuccess = fileDir.mkdirs(); 
        // 创建文件 
        File file = new File(filePathTurn); 
        try { 
            isSuccess = file.createNewFile(); 
        } catch (IOException e) { 
            isSuccess = false; 
            e.printStackTrace(); 
        } 
        return isSuccess; 
    } 

然后,我们需要一个写入文件的函数:

复制代码 代码如下:

public static boolean writeIntoFile(String content, String filePath, 
            boolean isAppend) { 
        boolean isSuccess = true; 
        // 先过滤掉文件名 
        int index = filePath.lastIndexOf("/"); 
        String dir = filePath.substring(0, index); 
        // 创建除文件的路径 
        File fileDir = new File(dir); 
        fileDir.mkdirs(); 
        // 再创建路径下的文件 
        File file = null; 
        try { 
            file = new File(filePath); 
            file.createNewFile(); 
        } catch (IOException e) { 
            isSuccess = false; 
            e.printStackTrace(); 
        } 
        // 写入文件 
        FileWriter fileWriter = null; 
        try { 
            fileWriter = new FileWriter(file, isAppend); 
            fileWriter.write(content); 
            fileWriter.flush(); 
        } catch (IOException e) { 
            isSuccess = false; 
            e.printStackTrace(); 
        } finally { 
            try { 
                if (fileWriter != null) 
                    fileWriter.close(); 
            } catch (IOException e) { 
                e.printStackTrace(); 
            } 
        } 
 
        return isSuccess; 
    } 

我们把这两个函数封装到一个FileReaderWriter.java文件中以便后续使用。
接着我们回到知乎爬虫中。
我们需要给知乎的Zhihu封装类加个函数,用来格式化写入到本地时的排版。

复制代码 代码如下:

public String writeString() { 
        String result = ""; 
        result += "问题:" + question + "\r\n"; 
        result += "描述:" + questionDescription + "\r\n"; 
        result += "链接:" + zhihuUrl + "\r\n"; 
        for (int i = 0; i < answers.size(); i++) { 
            result += "回答" + i + ":" + answers.get(i) + "\r\n"; 
        } 
        result += "\r\n\r\n"; 
        return result; 

OK,这样就差不多了,接下来吧mian方法中的System.out.println改成

复制代码 代码如下:

// 写入本地 
        for (Zhihu zhihu : myZhihu) { 
            FileReaderWriter.writeIntoFile(zhihu.writeString(), 
                    "D:/知乎_编辑推荐.txt", true); 
        } 

运行,便可以看到本来在控制台看到的内容已经被写到了本地的txt文件里:

大体一看没什么问题,仔细看看发现问题:存在太多的html标签,主要是<b>和<br>。
我们可以在输出的时候对这些标记进行处理。
先把<br>换成io流里面的\r\n,再把所有的html标签都删除,这样看起来便会清晰很多。

复制代码 代码如下:

public String writeString() { 
    // 拼接写入本地的字符串 
    String result = ""; 
    result += "问题:" + question + "\r\n"; 
    result += "描述:" + questionDescription + "\r\n"; 
    result += "链接:" + zhihuUrl + "\r\n"; 
    for (int i = 0; i < answers.size(); i++) { 
        result += "回答" + i + ":" + answers.get(i) + "\r\n\r\n"; 
    } 
    result += "\r\n\r\n\r\n\r\n"; 
    // 将其中的html标签进行筛选 
    result = result.replaceAll("<br>", "\r\n"); 
    result = result.replaceAll("<.*?>", ""); 
    return result; 

这里的replaceAll函数可以使用正则,于是所有的<>标签在最后就都被删除了。

相关文章

  • springboot+mybatis-plus 两种方式打印sql语句的方法

    springboot+mybatis-plus 两种方式打印sql语句的方法

    这篇文章主要介绍了springboot+mybatis-plus 两种方式打印sql语句的方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-10-10
  • java数据结构与算法数组模拟队列示例详解

    java数据结构与算法数组模拟队列示例详解

    这篇文章主要为大家介绍了java数据结构与算法数组模拟队列示例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2022-06-06
  • 详解在Spring中如何自动创建代理

    详解在Spring中如何自动创建代理

    这篇文章主要介绍了详解在Spring中如何自动创建代理,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2018-07-07
  • 深入浅析TomCat Session管理分析

    深入浅析TomCat Session管理分析

    这篇文章主要介绍了深入浅析TomCat Session管理分析,需要的朋友可以参考下
    2015-11-11
  • 深入了解java8的foreach循环

    深入了解java8的foreach循环

    虽然java8出来很久了,但是之前用的一直也不多,最近正好学习了java8。下面给大家分享java8中的foreach循环,感兴趣的朋友一起看看吧
    2017-05-05
  • 解决dubbo启动报服务注册失败Failed to register dubbo

    解决dubbo启动报服务注册失败Failed to register dubbo

    这篇文章主要介绍了解决dubbo启动报服务注册失败Failed to register dubbo问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2023-12-12
  • Ubuntu快速安装jdk的教程

    Ubuntu快速安装jdk的教程

    这篇文章主要为大家详细介绍了Ubuntu快速安装jdk的教程,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2017-04-04
  • 使用logback实现按自己的需求打印日志到自定义的文件里

    使用logback实现按自己的需求打印日志到自定义的文件里

    这篇文章主要介绍了使用logback实现按自己的需求打印日志到自定义的文件里,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2021-08-08
  • java中拼接字符串的5种方法效率对比

    java中拼接字符串的5种方法效率对比

    这篇文章主要给大家介绍了关于java中拼接字符串的5种方法效率对比的相关资料,文中通过示例代码和图片介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧。
    2018-01-01
  • Java设计模式之原型模式详细解析

    Java设计模式之原型模式详细解析

    这篇文章主要介绍了Java设计模式之原型模式详细解析,原型模式就是用一个已经创建的实例作为原型,通过复制该原型对象来创建一个和原型对象相同的新对象,需要的朋友可以参考下
    2023-11-11

最新评论