脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 软件编程 → java → java读取大文件内存溢出

完美解决java读取大文件内存溢出的问题

 更新时间：2017年08月10日 08:32:12   投稿：jingxian  
下面小编就为大家带来一篇完美解决java读取大文件内存溢出的问题。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧

1. 传统方式：在内存中读取文件内容

读取文件行的标准方式是在内存中读取，Guava 和Apache Commons IO都提供了如下所示快速读取文件行的方法：

Files.readLines(new File(path), Charsets.UTF_8); 
FileUtils.readLines(new File(path));

实际上是使用BufferedReader或者其子类LineNumberReader来读取的。

传统方式的问题： 是文件的所有行都被存放在内存中，当文件足够大时很快就会导致程序抛出OutOfMemoryError 异常。

问题思考：我们通常不需要把文件的所有行一次性地放入内存中，相反，我们只需要遍历文件的每一行，然后做相应的处理，处理完之后把它扔掉。所以我们可 以通过行迭代方式来读取，而不是把所有行都放在内存中。

2. 大文件读取处理方式

不重复读取与不耗尽内存的情况下处理大文件：

（1）文件流方式：使用java.util.Scanner类扫描文件的内容，一行一行连续地读取

FileInputStream inputStream = null; 
Scanner sc = null; 
try { 
 inputStream = new FileInputStream(path); 
 sc = new Scanner(inputStream, UTF-8); 
 while (sc.hasNextLine()) {
  String line = sc.nextLine(); 
  // System.out.println(line); 
  } 
}catch(IOException e){
  logger.error(e);
}finally {
  if (inputStream != null) { 
  inputStream.close(); 
  } 
  if (sc != null) {
    sc.close();
   }
}

该方案将会遍历文件中的所有行，允许对每一行进行处理，而不保持对它的引用。总之没有把它们存放在内存中！

（2）Apache Commons IO流：使用Commons IO库实现，利用该库提供的自定义LineIterator

LineIterator it = FileUtils.lineIterator(theFile, UTF-8); 
try {
 while (it.hasNext()) {
 String line = it.nextLine(); 
 // do something with line 
  } 
} finally {
 LineIterator.closeQuietly(it);
}

 该方案由于整个文件不是全部存放在内存中，这也就导致相当保守的内存消耗。

以上这篇完美解决java读取大文件内存溢出的问题就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

相关文章

  • Java字符编码解码的实现详解

    Java字符编码解码的实现详解

    本篇文章介绍了，Java字符编码解码的实现详解。需要的朋友参考下
    2013-05-05
  • SpringMVC结合Jcrop实现图片裁剪

    SpringMVC结合Jcrop实现图片裁剪

    这篇文章主要介绍了SpringMVC结合Jcrop实现图片裁剪的相关资料，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2016-12-12
  • Spring JPA之find拓展方法示例详解

    Spring JPA之find拓展方法示例详解

    这篇文章主要为大家介绍了Spring JPA之find拓展方法示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
    2023-04-04
  • SpringMVC+MyBatis 事务管理（实例）

    SpringMVC+MyBatis 事务管理（实例）

    本文先分析编程式注解事务和基于注解的声明式事务。对SpringMVC+MyBatis 事务管理的相关知识感兴趣的朋友一起学习吧
    2017-08-08
  • Java中的拦截器、过滤器、监听器用法详解

    Java中的拦截器、过滤器、监听器用法详解

    这篇文章主要介绍了Java中的拦截器、过滤器、监听器用法,详细分析了Java拦截器、过滤器、监听器的功能、使用方法及相关注意事项,需要的朋友可以参考下
    2017-05-05
  • Java基础之代理原理与用法详解

    Java基础之代理原理与用法详解

    这篇文章主要介绍了Java基础之代理原理与用法,结合实例形式详细分析了java代理的概念、原理、用法及相关操作注意事项,需要的朋友可以参考下
    2020-02-02
  • maven仓库中心mirrors配置多个下载中心(执行最快的镜像)

    maven仓库中心mirrors配置多个下载中心(执行最快的镜像)

    这篇文章主要介绍了maven仓库中心mirrors配置多个下载中心(执行最快的镜像)，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2020-07-07
  • SpringBoot使用@PostConstruct注解导入配置方式

    SpringBoot使用@PostConstruct注解导入配置方式

    这篇文章主要介绍了SpringBoot使用@PostConstruct注解导入配置方式，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
    2021-11-11
  • Java SoftReference类案例详解

    Java SoftReference类案例详解

    这篇文章主要介绍了Java SoftReference类案例详解,本篇文章通过简要的案例,讲解了该项技术的了解与使用,以下就是详细内容,需要的朋友可以参考下
    2021-08-08
  • Mybatis插入数据后自增id获取方式

    Mybatis插入数据后自增id获取方式

    在MyBatis中,获取自增主键可以通过useGeneratedKeys属性或selectKey节点实现,useGeneratedKeys设置时,需设置keyProperty指定主键字段,数据库表也要相应设置,selectKey节点可在插入操作后,通过特定SQL查询获得主键
    2024-09-09

最新评论