阅读量:2
Excel数据的优雅导入与导出
前言
业务诉求：考虑到数据库数据日渐增多，导出会有全量数据的导出，多人同时导出可以会对服务性能造成影响，导出涉及到mysql查询的io操作，还涉及文件输入、输出流的io操作，所以对服务器的性能会影响的比较大；结合以上原因，对导出操作进行排队；
刚开始拿到这个需求，第一时间想到就是需要维护一个FIFO先进先出的队列，给定队列一个固定size，在队列里面的人进行排队进行数据导出，导出完成后立马出队列，下一个排队的人进行操作；还考虑到异步，可能还需要建个文件导出表，主要记录文件的导出情况，文件的存放地址，用户根据文件列表情况下载导出文件。
业务关系定义
分别是用户、导出队列、导出执行方法
ExportQueue： 维护一条定长队列，可以获取队列里前后排队的用户，提供查询，队列如果已经满了，其余的人需要进行等待
User信息： 排队执行导出方法对应用户；
Export类： 定义导出方法，异步执行，用户可以通过导出页面查看、下载，导出的文件；
具体代码实现
ExportQueue队列
package com.example.system.config; import com.example.system.api.domain.ExportUser; import lombok.extern.slf4j.Slf4j; import org.springframework.stereotype.Component; import java.util.LinkedList; @Slf4j @Component public class ExportQueue { private final int MAX_CAPACITY = 10; // 队列最大容量 private LinkedList<ExportUser> queue; // 用户队列 public ExportQueue(LinkedList<ExportUser> queue) { this.queue = new LinkedList<>(); } /** * 排队队列添加 * @param sysUser */ public synchronized LinkedList<ExportUser> add(ExportUser sysUser) { while (queue.size() >= MAX_CAPACITY) { try { log.info("当前排队人已满，请等待"); wait(); } catch (InterruptedException e) { e.getMessage(); } } queue.add(sysUser); log.info("目前导出队列排队人数：" + queue.size()); notifyAll(); return queue; } /** * 获取排队队列下一个人 * @return */ public synchronized ExportUser getNextSysUser() { while (queue.isEmpty()) { try { wait(); } catch (InterruptedException e) { e.printStackTrace(); } } ExportUser sysUser = queue.remove(); notifyAll(); //唤醒 return sysUser; } }AbstractExport导出类
引入EasyExcel百万级别的导出功能
package com.example.system.config; import cn.hutool.core.bean.BeanUtil; import cn.hutool.core.util.PageUtil; import com.alibaba.excel.EasyExcel; import com.alibaba.excel.ExcelWriter; import com.alibaba.excel.write.metadata.WriteSheet; import com.example.system.api.domain.ExportUser; import lombok.extern.slf4j.Slf4j; import javax.servlet.http.HttpServletResponse; import java.io.IOException; import java.net.URLEncoder; import java.util.List; @Slf4j public abstract class AbstractExport<T, K> { public abstract void export(ExportUser sysUser) throws InterruptedException; /** * 导出 * * @param response 输出流 * @param pageSize 每页大小 * @param t 导出条件 * @param k Excel内容实体类 * @param fileName 文件名称 */ public void export(HttpServletResponse response, int pageSize, T t, Class<K> k, String fileName) throws Exception { ExcelWriter writer = null; try { writer = getExcelWriter(response, fileName); //查询导出总条数 int total = this.countExport(t); //页数 int loopCount = PageUtil.totalPage(total, pageSize); BeanUtil.setProperty(t, "pageSize", pageSize); for (int i = 0; i < loopCount; i++) { //开始页 BeanUtil.setProperty(t, "pageNum", PageUtil.getStart(i + 1, pageSize)); //获取Excel导出信息 List<K> kList = this.getExportDetail(t); WriteSheet writeSheet = EasyExcel.writerSheet(fileName).head(k).build(); writer.write(kList, writeSheet); } } catch (Exception e) { String msg = "导出" + fileName + "异常"; log.error(msg, e); throw new Exception(msg + e); } finally { if (writer != null) { writer.finish(); } } } public com.alibaba.excel.ExcelWriter getExcelWriter(HttpServletResponse response, String fileName) throws IOException { response.setContentType("application/vnd.ms-excel"); response.setCharacterEncoding("utf-8"); // 这里URLEncoder.encode可以防止中文乱码 当然和easyexcel没有关系 String fileNameUtf = URLEncoder.encode(fileName, "UTF-8").replaceAll("\\+", "%20"); response.setHeader("Content-disposition", "attachment;filename*=utf-8''" + fileNameUtf + ".xlsx"); return EasyExcel.write(response.getOutputStream()).build(); } /** * （模版导出） * * @param t * @param fileName * @param response */ public abstract void complexFillWithTable(T t, String fileName, HttpServletResponse response); /** * 查询导出总条数 * * @param t * @return */ public abstract int countExport(T t); /** * 查询导出数据 * * @param t * @return */ public abstract List<K> getExportDetail(T t); }ExportImpl导出实现方法
package com.example.system.service.impl; import com.alibaba.excel.ExcelWriter; import com.example.system.api.domain.ExportUser; import com.example.system.config.AbstractExport; import com.example.system.config.ExportQueue; import lombok.extern.slf4j.Slf4j; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.stereotype.Service; import javax.servlet.http.HttpServletResponse; import java.io.IOException; import java.util.LinkedList; import java.util.List; @Service @Slf4j public class ExportImpl extends AbstractExport { @Autowired private ExportQueue exportQueue; @Override public void export(ExportUser sysUser) throws InterruptedException { //导出 log.info("导出文件方法执行～～～～～～～～～"); // export(response,pageSize,t,k,fileName); LinkedList<ExportUser> queue = exportQueue.add(sysUser); log.info("导出队列：" + queue); //休眠时间稍微设置大点，模拟导出处理时间 Thread.sleep(20000); //导出成功后移除当前导出用户 ExportUser nextSysUser = exportQueue.getNextSysUser(); log.info("移除后获取下一个排队的用户: " + nextSysUser.getUserName()); } @Override public void export(HttpServletResponse response, int pageSize, Object o, Class k, String fileName) throws Exception { super.export(response, pageSize, o, k, fileName); } @Override public ExcelWriter getExcelWriter(HttpServletResponse response, String fileName) throws IOException { return super.getExcelWriter(response, fileName); } @Override public void complexFillWithTable(Object o, String fileName, HttpServletResponse response) { } @Override public int countExport(Object o) { return 0; } @Override public List getExportDetail(Object o) { return null; } }测试controller
package com.example.system.controller; import com.example.system.api.domain.ExportUser; import com.example.system.api.domain.SysUser; import com.example.system.service.impl.ExportImpl; import lombok.SneakyThrows; import lombok.extern.slf4j.Slf4j; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.web.bind.annotation.PostMapping; import org.springframework.web.bind.annotation.RequestBody; import org.springframework.web.bind.annotation.RequestMapping; import org.springframework.web.bind.annotation.RestController; @RestController @RequestMapping("/export") @Slf4j public class ExportController { @Autowired private ExportImpl export; @PostMapping("/exportFile") public void exportFile() { new Thread(new Runnable() { @SneakyThrows @Override public void run() { Thread thread1 = Thread.currentThread(); ExportUser sysUser =new ExportUser(); sysUser.setUserName(thread1.getName()); export.export(sysUser); } }).start(); } }测试结果
通过请求测试方法，限制了我们导出队列最大限制10次，队列场长度超过10次则无法进行继续提交；
第一次请求和第二次请求，间隔10秒，第一个用户导出完成后出列，下一个排队用户在队列首位，在进行导出请求排在上一个用户后面；
整合oss实现文件上传和下载
1. 表设计
文件导出功能通常涉及到一个存储文件信息的表，这个表可以包含以下字段：
id：文件的唯一标识。user_id：关联用户ID，方便追踪是哪个用户请求的文件导出。file_name：文件名。file_path：文件在OSS中的路径。file_size：文件大小。create_time：文件创建时间。status：文件状态，例如待处理、处理中、已完成等。
2. OSS文件上传和下载
文件上传可以使用阿里云OSS、腾讯云COS等对象存储服务。在Spring Boot中，你可以使用这些服务商提供的SDK进行文件上传。上传流程大致如下：
1. 添加依赖
首先，在你的pom.xml中添加必要的依赖，比如Spring Boot Web、数据库连接（如MySQL）、OSS SDK（如阿里云OSS SDK）等。
<!-- Spring Boot Web Starter --> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> <!-- 数据库连接依赖，以MySQL为例 --> <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <scope>runtime</scope> </dependency> <!-- 阿里云OSS SDK --> <dependency> <groupId>com.aliyun.oss</groupId> <artifactId>aliyun-sdk-oss</artifactId> <version>你的版本号</version> </dependency>2. 配置OSS客户端
在application.properties或application.yml中配置OSS的相关信息。
aliyun: oss: endpoint: your-oss-endpoint accessKeyId: your-access-key-id accessKeySecret: your-access-key-secret bucketName: your-bucket-name创建一个配置类来加载这些配置，并初始化OSS客户端。
@Configuration @ConfigurationProperties(prefix = "aliyun.oss") public class OssProperties { private String endpoint; private String accessKeyId; private String accessKeySecret; private String bucketName; // getters and setters } @Configuration public class OssConfig { @Autowired private OssProperties ossProperties; @Bean public OSS ossClient() { return new OSSClientBuilder().build(ossProperties.getEndpoint(), ossProperties.getAccessKeyId(), ossProperties.getAccessKeySecret()); } }3. 实现文件导出服务
创建一个服务类来处理文件导出逻辑。
@Service public class FileExportService { @Autowired private OssProperties ossProperties; @Autowired private OSS ossClient; @Autowired private FileExportRepository fileExportRepository; // 假设你有一个用于操作数据库的Repository public String exportFile(FileExportRequest request) { // 生成临时文件并处理数据 File tempFile = createTempFileWithData(request); // 上传文件到OSS String fileName = request.getFileName() + ".csv"; // 假设是CSV文件 String objectKey = UUID.randomUUID().toString() + "/" + fileName; // 生成唯一的文件路径 ossClient.putObject(ossProperties.getBucketName(), objectKey, tempFile); // 保存文件信息到数据库 FileExport fileExport = new FileExport(); fileExport.setFileName(fileName); fileExport.setFilePath(objectKey); fileExport.setUserId(request.getUserId()); fileExportRepository.save(fileExport); // 返回文件信息或ID用于后续下载 return fileExport.getId(); } private File createTempFileWithData(FileExportRequest request) { // 根据request中的数据生成文件内容并写入临时文件 // ... return tempFile; } }4. 实现文件下载接口
创建一个Controller来处理文件下载请求。
import com.aliyun.oss.OSS; import com.aliyun.oss.OSSClientBuilder; import com.aliyun.oss.model.OSSObject; import org.springframework.core.io.InputStreamResource; import org.springframework.core.io.Resource; import org.springframework.http.HttpHeaders; import org.springframework.http.MediaType; import org.springframework.http.ResponseEntity; import org.springframework.web.bind.annotation.GetMapping; import org.springframework.web.bind.annotation.PathVariable; import org.springframework.web.bind.annotation.RestController; import java.io.InputStream; @RestController public class FileDownloadController { private final String endpoint = "你的OSS服务Endpoint"; private final String accessKeyId = "你的AccessKeyId"; private final String accessKeySecret = "你的AccessKeySecret"; private final String bucketName = "你的Bucket名称"; @GetMapping("/download/{filename:.+}") public ResponseEntity<Resource> downloadFile(@PathVariable String filename) { try { OSS ossClient = new OSSClientBuilder().build(endpoint, accessKeyId, accessKeySecret); OSSObject ossObject = ossClient.getObject(bucketName, filename); InputStream inputStream = ossObject.getObjectContent(); // 设置HTTP响应头，告诉浏览器这是一个文件下载操作 HttpHeaders headers = new HttpHeaders(); headers.add(HttpHeaders.CONTENT_DISPOSITION, "attachment; filename=\"" + filename + "\""); headers.add(HttpHeaders.CONTENT_LENGTH, String.valueOf(ossObject.getObjectMetadata().getContentLength())); headers.add(HttpHeaders.CONTENT_TYPE, ossObject.getObjectMetadata().getContentType()); return ResponseEntity.ok() .headers(headers) .contentType(MediaType.parseMediaType(ossObject.getObjectMetadata().getContentType())) .body(new InputStreamResource(inputStream)); } catch (Exception e) { e.printStackTrace(); return ResponseEntity.internalServerError().build(); } } }在上面的代码中，@GetMapping("/download/{filename:.+}") 接受一个文件名参数。然后，它使用阿里云OSS SDK从OSS中检索该文件，并创建一个InputStreamResource来作为响应体。HttpHeaders 用于设置正确的Content-Disposition，以便浏览器知道这是一个文件下载请求，而不是直接在浏览器中打开文件。
注意：
安全性：确保你的OSS访问凭证（AccessKeyId和AccessKeySecret）是安全的，不要将它们硬编码在代码中。考虑使用环境变量或配置文件来管理这些凭证，并确保它们不被公开。
异常处理：在上面的代码中，我简化了异常处理。在实际应用中，你可能需要更详细地处理不同的异常情况，并向用户提供有用的错误消息。
资源清理：当从OSS获取文件时，确保在不再需要时关闭流，以避免资源泄露。在上面的代码中，由于
InputStreamResource会在响应完成后自动关闭流，所以不需要手动关闭。性能优化：对于大文件，你可能需要考虑使用流式传输来避免将整个文件加载到内存中。上面的代码示例已经使用了流式传输。
URL安全性：如果文件名包含特殊字符或空格，确保在URL中正确编码它们，以避免潜在的安全问题或错误
