Java通过导出超大Excel文件解决内存溢出问题

 更新时间:2021年09月26日 10:11:36   作者:冰子杍  
导出excel是咱Java开发的必备技能,下面这篇文章主要给大家介绍了关于Java通过导出超大Excel文件解决内存溢出问题的相关资料,文中通过示例代码介绍的非常详细,需要的朋友可以参考下

前言

将业务数据导出到Excel表中,导出任务数据量较大时,导出的项目就会内存溢出,本文通过Java操作Poi的SXSSFWorkbook类进行导出,解决内存溢出问题。

1.采用Poi中的SXSSFWorkbook

在实现excel导出时,在数据量过大的情况下,总是容易发生内存溢出的情况。可以使用POI提供的 SXSSFWorkbook 类来避免内存溢出。

2.maven中引入Poi

		<!-- poi start -->
		<dependency>
			<groupId>org.apache.poi</groupId>
			<artifactId>poi</artifactId>
			<version>4.1.2</version>
		</dependency>
		<dependency>
			<groupId>org.apache.poi</groupId>
			<artifactId>poi-ooxml</artifactId>
			<version>4.1.2</version>
		</dependency>
		<dependency>
			<groupId>org.apache.poi</groupId>
			<artifactId>poi-ooxml-schemas</artifactId>
			<version>4.1.2</version>
		</dependency>
		<!-- poi end -->

3.测试过程

先使用普通的写法测试(XSSFWorkbook),编写writeNormalExcelTest测试方法,写入的行数太多时,会报内存溢出(在设置-server -Xmx64m -Xms64m -Xmn32m的情况下)。

接着编写SXSSFWorkbook操作excel的测试,测试方法writeHugeExcelTest(同样在设置-server -Xmx64m -Xms64m -Xmn32m的情况下),结果证明无内存溢出,能完好的导出1000000行测试数据,整个Java类代码如下:

4.单元测试Java代码

package cn.gzsendi.exceltest;

import java.io.FileOutputStream;
import java.io.IOException;

import org.apache.poi.ss.usermodel.Cell;
import org.apache.poi.ss.usermodel.Row;
import org.apache.poi.ss.usermodel.Sheet;
import org.apache.poi.ss.usermodel.Workbook;
import org.apache.poi.xssf.streaming.SXSSFWorkbook;
import org.apache.poi.xssf.usermodel.XSSFWorkbook;
import org.junit.Test;

public class HugeExcelExportTest {
	
	private int totalRowNumber = 1000000; //写入的excel数据行数
	private int totalCellNumber = 40; //excel每行共40列
	
	//普通的写入excel的方法,会消耗内存,写入的行数太大时,会报内存溢出
	@Test
	public void writeNormalExcelTest(){
	
	   Workbook wb = null;
	   FileOutputStream out = null;
		
	   try {

		   long startTime = System.currentTimeMillis();
	        
	       wb = new XSSFWorkbook();
	       Sheet sheet = wb.createSheet("Sheet 1");
	        
	       //定义Row和Cell变量, Rows从0开始.
	       Row row;
	       Cell cell;
	        
	       for (int rowNumber = 0; rowNumber < totalRowNumber; rowNumber++) {
	    	   row = sheet.createRow(rowNumber);
	           for (int cellNumber = 0; cellNumber < totalCellNumber; cellNumber++) {
	        	   cell = row.createCell(cellNumber);
	               cell.setCellValue(Math.random()); //写入一个随机数
	           }
	            
	           //打印测试,
	           if(rowNumber % 10000 ==0) {
	        	   System.out.println(rowNumber);
	           }
	       }
	
	       //Write excel to a file
	       out = new FileOutputStream("d:\\temp\\normalExcel_" + totalRowNumber + ".xlsx");
	       wb.write(out);
	       long endTime = System.currentTimeMillis();
	        
	       System.out.println("process " + totalRowNumber + " spent time:" + (endTime - startTime) + " ms.");
	
	    } catch (Exception e) {
	    	
	       e.printStackTrace();
	        
	    } finally {
	    	
	    	
	    	try {
				if(out != null) out.close();
			} catch (IOException e) {
				e.printStackTrace();
			}
	    	
		    try {
		    	if(wb != null) wb.close();
			} catch (IOException e) {
				e.printStackTrace();
			}
	    	
	    }
		
	}
	
	//结合临时文件压缩等写入excel,默认超过100行就写到临时文件,不会报内存溢出
	@Test
	public void writeHugeExcelTest(){

        SXSSFWorkbook wb = null;
        FileOutputStream out = null;
        
        try {
        	
        	long startTime = System.currentTimeMillis();
        	
            wb = new SXSSFWorkbook();//默认100行,超100行将写入临时文件
            wb.setCompressTempFiles(false); //是否压缩临时文件,否则写入速度更快,但更占磁盘,但程序最后是会将临时文件删掉的
            Sheet sheet = wb.createSheet("Sheet 1");
            
            //定义Row和Cell变量, Rows从0开始.
	        Row row;
	        Cell cell;
	        
	        for (int rowNumber = 0; rowNumber < totalRowNumber; rowNumber++) {
	        	
	        	row = sheet.createRow(rowNumber);
	        	for (int cellNumber = 0; cellNumber < totalCellNumber; cellNumber++) {
	                cell = row.createCell(cellNumber);
	                cell.setCellValue(Math.random()); //写入一个随机数
	            }
	        	
	        	
	        	//打印测试,
	            if(rowNumber % 10000 ==0) {
	            	System.out.println(rowNumber);
	            }
	        	
	        }
            
	        //Write excel to a file
	        out = new FileOutputStream("d:\\temp\\hugeExcel_" + totalRowNumber + ".xlsx");
	        wb.write(out);

	        long endTime = System.currentTimeMillis();
	        
	        System.out.println("process " + totalRowNumber + " spent time:" + (endTime - startTime) + " ms.");
            
        } catch (Exception ex) {
        	
            ex.printStackTrace();
            
        } finally {
        	
            if (wb != null) {
            	wb.dispose();// 删除临时文件,很重要,否则磁盘可能会被写满
            }
            
            try {
				if(out != null) out.close();
			} catch (IOException e) {
				e.printStackTrace();
			}
	    	
		    try {
		    	if(wb != null) wb.close();
			} catch (IOException e) {
				e.printStackTrace();
			}
		    
        }
		
	}

}

5.结论

导出excel数据量大时,采用SXSSFWorkbook进行操作,数据达到一定数据将写数据到临时文件,不会一直占用内存,因此不会报内存溢出

到此这篇关于Java通过导出超大Excel文件解决内存溢出问题的文章就介绍到这了,更多相关Java导出超大Excel文件内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • SpringBoot超详细分析启动流程

    SpringBoot超详细分析启动流程

    今天小编就为大家分享一篇关于SpringBoot整个启动过程的分析,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧
    2022-07-07
  • JVM内存溢出和内存泄漏的区别及说明

    JVM内存溢出和内存泄漏的区别及说明

    这篇文章主要介绍了JVM内存溢出和内存泄漏的区别及说明,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2024-02-02
  • Mybatis批量删除数据操作方法

    Mybatis批量删除数据操作方法

    MyBatis的作用我想不用多说,今天说说MyBatis中的批量删除操作。 非常不错,感兴趣的朋友一起看看吧
    2016-09-09
  • Java基础之反射原理与用法详解

    Java基础之反射原理与用法详解

    这篇文章主要介绍了Java基础之反射原理与用法,结合实例形式详细分析了java反射的相关概念、原理、使用方法与操作注意事项,需要的朋友可以参考下
    2020-02-02
  • 基于Java+SpringBoot实现人脸识别搜索

    基于Java+SpringBoot实现人脸识别搜索

    人脸识别搜索技术作为现代计算机视觉领域的重要研究方向之一,已经在多个领域展现出巨大的应用潜力,随着信息技术的飞速发展,人脸识别搜索在多个领域得到了广泛关注和应用,本文旨在探讨人脸识别搜索技术的背景、原理以及其在实际应用中的意义和挑战
    2023-08-08
  • Spring Data JPA带条件分页查询实现原理

    Spring Data JPA带条件分页查询实现原理

    这篇文章主要介绍了Spring Data JPA带条件分页查询实现原理,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-05-05
  • Java实现字符串反转

    Java实现字符串反转

    这篇文章介绍了Java实现字符串反转的方法,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2022-04-04
  • Java中如何利用Set判断List集合中是否有重复元素

    Java中如何利用Set判断List集合中是否有重复元素

    在开发工作中,我们有时需要去判断List集合中是否含有重复的元素,这时候我们不需要找出重复的元素,我们只需要返回一个 Boolean 类型就可以了,下面通过本文给大家介绍Java中利用Set判断List集合中是否有重复元素,需要的朋友可以参考下
    2023-05-05
  • MyBatis自定义映射关系和关联查询实现方法详解

    MyBatis自定义映射关系和关联查询实现方法详解

    这篇文章主要介绍了MyBatis自定义映射关系和关联查询实现方法,当POJO属性名与数据库列名不一致时,需要自定义实体类和结果集的映射关系,在MyBatis注解开发中,使用@Results定义并使用自定义映射,使用 @ResultMap使用自定义映射
    2023-04-04
  • 详解java中Reference的实现与相应的执行过程

    详解java中Reference的实现与相应的执行过程

    不知道大家知不知道特殊的reference对象都是被jvm专门处理的,所以这篇文章就相应的工作流程和referencequeue之间的协作进行梳理.有需要的朋友们可以参考借鉴。
    2016-09-09

最新评论