devbox
天景科技苑
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

阿里开源EasyExcel 文件导入导出使用_阿里巴巴 easyexcel 导出

作者：天景科技苑 | 2024-08-18 19:22:38

赞

踩

阿里巴巴 easyexcel 导出

一、概述

EasyExcel：
        阿里开源：关于Easyexcel | Easy Excel 官网
        Java解析、生成Excel比较有名的框架有Apache poi、jxl。但他们都存在一个严重的问题就是非常的耗内存，poi有一套SAX模式的API可以一定程度的解决一些内存溢出的问题，但POI还是有一些缺陷，比如07版Excel解压缩以及解压后存储都是在内存中完成的，内存消耗依然很大。
        easyexcel重写了poi对07版Excel的解析，一个3M的excel用POI sax解析依然需要100M左右内存，改用easyexcel可以降低到几M，并且再大的excel也不会出现内存溢出；03版依赖POI的sax模式，在上层做了模型转换的封装，让使用者更加简单方便
节约内存


二、导出excel
        三种方式：
                方法1: 如果写到同一个sheet
                方法2: 如果写到不同的sheet 同一个对象
                方法3 如果写到不同的sheet 不同的对象

  1. /**
  2.      * 重复多次写入
  3.      * <p>
  4.      * 1. 创建excel对应的实体对象 参照{@link ComplexHeadData}
  5.      * <p>
  6.      * 2. 使用{@link ExcelProperty}注解指定复杂的头
  7.      * <p>
  8.      * 3. 直接调用二次写入即可
  9.      */
  10. @Test
  11. public void repeatedWrite() {
  12.     // 方法1: 如果写到同一个sheet
  13.     String fileName = TestFileUtil.getPath() + "repeatedWrite" + System.currentTimeMillis() + ".xlsx";
  14.     // 这里 需要指定写用哪个class去写
  15.     try (ExcelWriter excelWriter = EasyExcel.write(fileName, DemoData.class).build()) {
  16.         // 这里注意 如果同一个sheet只要创建一次
  17.         WriteSheet writeSheet = EasyExcel.writerSheet("模板").build();
  18.         // 去调用写入,这里我调用了五次，实际使用时根据数据库分页的总的页数来
  19.         for (int i = 0; i < 5; i++) {
  20.             // 分页去数据库查询数据 这里可以去数据库查询每一页的数据
  21.             List<DemoData> data = data();
  22.             excelWriter.write(data, writeSheet);
  23.         }
  24.     }
  25.  
  26.     // 方法2: 如果写到不同的sheet 同一个对象
  27.     fileName = TestFileUtil.getPath() + "repeatedWrite" + System.currentTimeMillis() + ".xlsx";
  28.     // 这里 指定文件
  29.     try (ExcelWriter excelWriter = EasyExcel.write(fileName, DemoData.class).build()) {
  30.         // 去调用写入,这里我调用了五次，实际使用时根据数据库分页的总的页数来。这里最终会写到5个sheet里面
  31.         for (int i = 0; i < 5; i++) {
  32.             // 每次都要创建writeSheet 这里注意必须指定sheetNo 而且sheetName必须不一样
  33.             WriteSheet writeSheet = EasyExcel.writerSheet(i, "模板" + i).build();
  34.             // 分页去数据库查询数据 这里可以去数据库查询每一页的数据
  35.             List<DemoData> data = data();
  36.             excelWriter.write(data, writeSheet);
  37.         }
  38.     }
  39.  
  40.     // 方法3 如果写到不同的sheet 不同的对象
  41.     fileName = TestFileUtil.getPath() + "repeatedWrite" + System.currentTimeMillis() + ".xlsx";
  42.     // 这里 指定文件
  43.     try (ExcelWriter excelWriter = EasyExcel.write(fileName).build()) {
  44.         // 去调用写入,这里我调用了五次，实际使用时根据数据库分页的总的页数来。这里最终会写到5个sheet里面
  45.         for (int i = 0; i < 5; i++) {
  46.             // 每次都要创建writeSheet 这里注意必须指定sheetNo 而且sheetName必须不一样。这里注意DemoData.class 可以每次都变，我这里为了方便 所以用的同一个class
  47.             // 实际上可以一直变
  48.             WriteSheet writeSheet = EasyExcel.writerSheet(i, "模板" + i).head(DemoData.class).build();
  49.             // 分页去数据库查询数据 这里可以去数据库查询每一页的数据
  50.             List<DemoData> data = data();
  51.             excelWriter.write(data, writeSheet);
  52.         }
  53.     }
  54.  
  55. }



三、文件写入

        四种方式：

  1. @PostMapping("/add")
  2.     public void simpleRead() {
  3.         // 写法1：JDK8+ ,不用额外写一个DemoDataListener
  4.         // since: 3.0.0-beta1
  5.         String fileName = "demo" + File.separator + "demo.xlsx";
  6.         // 这里默认每次会读取100条数据 然后返回过来 直接调用使用数据就行
  7.         // 具体需要返回多少行可以在`PageReadListener`的构造函数设置
  8.         EasyExcel.read(fileName, Partner.class, new PageReadListener<Partner>(dataList -> {
  9.             for (Partner partner : dataList) {
  10.                 log.info("读取到一条数据{}", JSON.toJSONString(partner));
  11.             }
  12.         })).sheet().doRead();
  13.  
  14.         // 写法2：
  15.         // 匿名内部类 不用额外写一个DemoDataListener
  16.         fileName = "demo" + File.separator + "demo.xlsx";
  17.         // 这里 需要指定读用哪个class去读，然后读取第一个sheet 文件流会自动关闭
  18.         EasyExcel.read(fileName, Partner.class, new ReadListener<Partner>() {
  19.             /**
  20.              * 单次缓存的数据量
  21.              */
  22.             public static final int BATCH_COUNT = 100;
  23.             /**
  24.              *临时存储
  25.              */
  26.             private List<Partner> cachedDataList = ListUtils.newArrayListWithExpectedSize(BATCH_COUNT);
  27.  
  28.             @Override
  29.             public void invoke(Partner data, AnalysisContext context) {
  30.                 cachedDataList.add(data);
  31.                 if (cachedDataList.size() >= BATCH_COUNT) {
  32.                     saveData();
  33.                     // 存储完成清理 list
  34.                     cachedDataList = ListUtils.newArrayListWithExpectedSize(BATCH_COUNT);
  35.                 }
  36.             }
  37.  
  38.             @Override
  39.             public void doAfterAllAnalysed(AnalysisContext context) {
  40.                 saveData();
  41.             }
  42.  
  43.             /**
  44.              * 加上存储数据库
  45.              */
  46.             private void saveData() {
  47.                 log.info("{}条数据，开始存储数据库！", cachedDataList.size());
  48.                 log.info("存储数据库成功！");
  49.             }
  50.         }).sheet().doRead();
  51.  
  52.         // 有个很重要的点 DemoDataListener 不能被spring管理，要每次读取excel都要new,然后里面用到spring可以构造方法传进去
  53.         // 写法3：
  54.         fileName ="demo" + File.separator + "demo.xlsx";
  55.         // 这里 需要指定读用哪个class去读，然后读取第一个sheet 文件流会自动关闭
  56.         EasyExcel.read(fileName, Partner.class, new DemoDataListener()).sheet().doRead();
  57.  
  58.         // 写法4
  59.         fileName ="demo" + File.separator + "demo.xlsx";
  60.         // 一个文件一个reader
  61.         try (ExcelReader excelReader = EasyExcel.read(fileName, Partner.class, new DemoDataListener()).build()) {
  62.             // 构建一个sheet 这里可以指定名字或者no
  63.             ReadSheet readSheet = EasyExcel.readSheet(0).build();
  64.             // 读取一个sheet
  65.             excelReader.read(readSheet);
  66.         }
  67.     }



        第三种、第四种需要监听器：

  1. // 有个很重要的点 DemoDataListener 不能被spring管理，要每次读取excel都要new,然后里面用到spring可以构造方法传进去
  2. @Slf4j
  3. public class DemoDataListener implements ReadListener<Partner> {
  4.  
  5.     /**
  6.      * 每隔5条存储数据库，实际使用中可以100条，然后清理list ，方便内存回收
  7.      */
  8.     private static final int BATCH_COUNT = 100;
  9.     /**
  10.      * 缓存的数据
  11.      */
  12.     private List<Partner> cachedDataList = ListUtils.newArrayListWithExpectedSize(BATCH_COUNT);
  13.     /**
  14.      * 假设这个是一个DAO，当然有业务逻辑这个也可以是一个service。当然如果不用存储这个对象没用。
  15.      */
  16.     private Partner partner;
  17.  
  18.     public DemoDataListener() {
  19.         // 这里是demo，所以随便new一个。实际使用如果到了spring,请使用下面的有参构造函数
  20.         partner = new Partner();
  21.     }
  22.  
  23.     /**
  24.      * 如果使用了spring,请使用这个构造方法。每次创建Listener的时候需要把spring管理的类传进来
  25.      *
  26.      * @param partner
  27.      */
  28.     public DemoDataListener(Partner partner) {
  29.         this.partner = partner;
  30.     }
  31.  
  32.     /**
  33.      * 这个每一条数据解析都会来调用
  34.      *
  35.      * @param data    one row value. Is is same as {@link AnalysisContext#readRowHolder()}
  36.      * @param context
  37.      */
  38.     @Override
  39.     public void invoke(Partner data, AnalysisContext context) {
  40.         log.info("解析到一条数据:{}", JSON.toJSONString(data));
  41.         cachedDataList.add(data);
  42.         // 达到BATCH_COUNT了，需要去存储一次数据库，防止数据几万条数据在内存，容易OOM
  43.         if (cachedDataList.size() >= BATCH_COUNT) {
  44.             saveData();
  45.             // 存储完成清理 list
  46.             cachedDataList = ListUtils.newArrayListWithExpectedSize(BATCH_COUNT);
  47.         }
  48.     }
  49.  
  50.     /**
  51.      * 所有数据解析完成了 都会来调用
  52.      *
  53.      * @param context
  54.      */
  55.     @Override
  56.     public void doAfterAllAnalysed(AnalysisContext context) {
  57.         // 这里也要保存数据，确保最后遗留的数据也存储到数据库
  58.         saveData();
  59.         log.info("所有数据解析完成！");
  60.     }
  61.  
  62.     /**
  63.      * 加上存储数据库
  64.      */
  65.     private void saveData() {
  66.         log.info("{}条数据，开始存储数据库！", cachedDataList.size());
  67.         partner.save(cachedDataList);
  68.         log.info("存储数据库成功！");
  69.     }
  70. }



四、场景案列

1、文件写入

接口配置：

  1. @PostMapping("/import")
  2. public void importExcel(@RequestParam("file") MultipartFile file) throws IOException {
  3.     log.info("处理导入请求");
  4.     if (!file.isEmpty()) {
  5.         // 获取上传文件的原始名称
  6.         String originalFilename = file.getOriginalFilename();
  7.  
  8.         // 临时文件路径，可以根据实际情况调整，就是linux或者windows对应路径
  9.         String tempPath = "D:\\ideaWorkSpace\\qdf_java\\" + originalFilename;
  10.  
  11.         // 将上传的Excel文件写入临时文件
  12.         try (BufferedOutputStream outputStream = new BufferedOutputStream(new FileOutputStream(tempPath))) {
  13.             byte[] bytes = file.getBytes();
  14.             outputStream.write(bytes);
  15.         }
  16.  
  17.         // 使用临时文件路径进行数据读取 
  18.         String fileName = tempPath;
  19.         EasyExcel.read(fileName, Partner.class, new PageReadListener<Partner>(dataList -> {
  20.             partnerService.patchAdd(dataList);
  21.             for (Partner partner : dataList) {
  22.  
  23.                 log.info("读取到一条数据{}", JSON.toJSONString(partner));
  24.             }
  25.         })).sheet().doRead();
  26.  
  27.         // 可选：在操作完成后删除临时文件（如果不打算保留）
  28.         Files.deleteIfExists(Paths.get(fileName));
  29.     } else {
  30.         throw new RuntimeException("上传的文件为空");
  31.     }
  32. }

image.png


2、文件写出

接口配置：

  1. @GetMapping("/export")
  2. public ResponseEntity<byte[]> repeatedWrite1() {
  3.     log.info("处理导出请求");
  4.     int pageSize = 500;
  5.  
  6.     ByteArrayOutputStream byteArrayOutputStream = new ByteArrayOutputStream();
  7.  
  8.     try (ExcelWriter excelWriter = EasyExcel.write(byteArrayOutputStream, Partner.class).build()) {
  9.         WriteSheet writeSheet = EasyExcel.writerSheet("模板").build();  //sheet名称
  10.  
  11.         int totalPageCount = partnerService.getTotalPageCount(pageSize); // 总页码
  12.         System.out.println("totalPageCount:" + totalPageCount);
  13.         for (int i = 0; i < totalPageCount; i++) {
  14.             // 分页去数据库查询数据
  15.             List<Partner> data = partnerService.findPartnersByPage(i, pageSize);  // 查出每页数据
  16.             log.info("第" + (i+1) + "页数据条数：" + data.size());
  17.  
  18.             // 将数据写入内存中的ExcelWriter
  19.             excelWriter.write(data, writeSheet);
  20.         }
  21.     } catch (Exception e) {
  22.         log.error("导出Excel时发生错误", e);
  23.         return ResponseEntity.status(HttpStatus.INTERNAL_SERVER_ERROR).build();
  24.     }
  25.  
  26.     // 将内存中的Workbook转换为字节数组
  27.     byte[] excelBytes = byteArrayOutputStream.toByteArray();
  28.  
  29.     // 设置HTTP响应头，告知浏览器这是一个需要下载的文件
  30.     HttpHeaders headers = new HttpHeaders();
  31.     headers.add(HttpHeaders.CONTENT_DISPOSITION, "attachment; filename=repeatedWrite1_" + System.currentTimeMillis() + ".xlsx");
  32.     headers.setContentType(MediaType.APPLICATION_OCTET_STREAM);
  33.  
  34.     // 返回包含Excel内容的ResponseEntity，浏览器将下载文件
  35.     return ResponseEntity.ok().headers(headers).body(excelBytes);
  36. }


浏览器直接响应弹框,以下为接口测试：

image.png

3、实体类注解配置

详细注解看官网：https://easyexcel.opensource.alibaba.com/docs/

  1. @Data
  2. public class Partner extends BaseDomain{
  3.  
  4.     @ExcelProperty("合伙人区域ID")
  5.     private Long id;
  6.     /**
  7.      * 合伙人id
  8.      */
  9.     @ExcelProperty("管理员ID")
  10.     private Long adminId;
  11.  
  12.     /**
  13.      * 密钥
  14.      */
  15.     @ExcelIgnore // 忽略的字段
  16.     private String secretKey;

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/天景科技苑/article/detail/998843
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号