阅读量:0
SpringBoot中六种批量更新Mysql 方式效率对比
先上结论吧,有空可以自测一下,数据量大时运行一次还时挺耗时的
效率比较
小数据量时6中批量更新效率不太明显,根据项目选择合适的即可,以1万条为准做个效率比较,效率从高到低一次排名如下
replace into和ON DUPLICATE KEY效率最高mybatis-plus有取巧嫌疑,因为是分批批量更新,其他几种都是一次更新- for循环凭借sql和JdbcTemplate相近,即使5万条,10万条效率也相近
- case when
然而有时候我们只能选择case when,因为replace into和ON DUPLICATE KEY公司不一定让用,项目也不一定引入mybatis-plus,数据库url中也不一定有allowMultiQueries=true参数,算是一个兜底方案吧,不管用那种方式大数据量时都需要考虑分批
测试结构
环境信息:mysql-8.0.35-winx64,本地win 10
依次为测试次数-平均耗时-最小耗时-最大耗时,单位为毫秒
| 数据量 | for | case when | replace into | ON DUPLICATE KEY | mybatis-plus | JdbcTemplate |
|---|---|---|---|---|---|---|
| 500 | 100-61-41-1202 | 100-66-57-426 | 100-16-10-282 | 100-15-10-293 | 100-73-52-564 | 100-87-59-1449 |
| 1000 | 100-131-94-2018 | 100-241-219-675 | 100-28-18-376 | 100-25-17-331 | 100-117-98-599 | 100-188-136-2397 |
| 5000 | 100-852-735-8297 | 100-11219-10365-13496 | 100-95-83-569 | 100-93-82-552 | 100-618-517-1415 | 100-1161-911-9334 |
| 10000 | 10-3957-2370-17304 | 10-45537-44465-48119 | 100-191-171-762 | 100-188-169-772 | 100-1309-1085-5021 | 100-3671-2563-31112 |
| 50000 | 10-50106-34568-130651 | 卡死不动 | 100-1026-919-1868 | 100-1062-945-1934 | 100-8062-6711-20841 | 100-48744-35482-191011 |
| 100000 | 10-160170-106223-264434 | 卡死不动 | 10-2551-2292-3688 | 10-2503-2173-3579 | 100-17205-14436-24881 | 10-169771-110522-343278 |
总结
sql语句for循环效率其实相当高的，因为它仅仅有一个循环体，只不过最后update语句比较多，量大了就有可能造成sql阻塞,同时在mysql的url上需要加上allowMultiQueries=true参数,即 jdbc:mysql://localhost:3306/mysqlTest?characterEncoding=utf-8&allowMultiQueries=true(公司项目不一定加,我们也不一定有权限加)。
case when虽然最后只会有一条更新语句，但是xml中的循环体有点多，每一个case when 都要循环一遍list集合，所以大批量拼sql的时候会比较慢，所以效率问题严重。使用的时候建议分批插入(我们公司一直用的就是这种,但是必须分批)。
duplicate key update可以看出来是最快的，但是公司一般都禁止使用replace into和INSERT INTO … ON DUPLICATE KEY UPDATE，这种sql有可能会造成数据丢失和主从上表的自增id值不一致。而且用这个更新时，记得一定要加上id，而且values（）括号里面放的是数据库字段，不是java对象的属性字段
根据效率，安全方面综合考虑，选择适合的很重要。
数据库
CREATE TABLE `people` ( `id` bigint(8) NOT NULL AUTO_INCREMENT, `first_name` varchar(50) NOT NULL DEFAULT '', `last_name` varchar(50) NOT NULL DEFAULT '', PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 初始化测试数据
//初始化10w数据 @Test void init10wData() { for (int i = 0; i < 100000; i++) { People people = new People(); people.setFirstName(UUID.randomUUID().toString()); people.setLastName(UUID.randomUUID().toString()); peopleDAO.insert(people); } } 批量修改方案
第一种 for
<!-- 批量更新第一种方法，通过接收传进来的参数list进行循环组装sql --> <update id="updateBatch" parameterType="java.util.List"> <foreach collection="list" item="item" index="index" open="" close="" separator=";"> update people <set> <if test="item.firstName != null"> first_name = #{item.firstName,jdbcType=VARCHAR}, </if> <if test="item.lastName != null"> last_name = #{item.lastName,jdbcType=VARCHAR}, </if> </set> where id = #{item.id,jdbcType=BIGINT} </foreach> </update> 第二种 case when
<!-- 批量更新第二种方法，通过 case when语句变相的进行批量更新 --> <update id="updateBatch2" parameterType="java.util.List"> update people <set> <foreach collection="list" item="item"> <if test="item.firstName != null"> first_name = case when id = #{item.id} then #{item.firstName} else first_name end, </if> <if test="item.lastName != null"> last_name = case when id = #{item.id} then #{item.lastName} else last_name end, </if> </foreach> </set> where id in <foreach collection="list" item="item" separator="," open="(" close=")"> #{item.id} </foreach> </update> 第三种 replace into
<!-- 批量更新第三种方法，通过 replace into --> <update id="updateBatch3" parameterType="java.util.List"> replace into people (id,first_name,last_name) values <foreach collection="list" index="index" item="item" separator=","> (#{item.id}, #{item.firstName}, #{item.lastName}) </foreach> </update> 第四种 ON DUPLICATE KEY UPDATE
<!-- 批量更新第四种方法，通过 duplicate key update --> <update id="updateBatch4" parameterType="java.util.List"> insert into people (id,first_name,last_name) values <foreach collection="list" index="index" item="item" separator=","> (#{item.id}, #{item.firstName}, #{item.lastName}) </foreach> ON DUPLICATE KEY UPDATE id=values(id),first_name=values(first_name),last_name=values(last_name) </update> 第五种mybatis-plus提供的的批量更新
default boolean updateBatchById(Collection<T> entityList) { return this.updateBatchById(entityList, 1000); } boolean updateBatchById(Collection<T> entityList, int batchSize); mybatis-plus提供的批量更新是分批批量更新,默认每批1000条,可以指定分批的条数,每批执行完成后提交一下事务,不加@Transactional可能会出现第一批更新成功了,第二批更新失败了的情况.
第六种JdbcTemplate提供的批量更新
测试代码
/** * PeopleDAO继承基类 */ @Mapper @Repository public interface PeopleDAO extends MyBatisBaseDao<People, Long> { void updateBatch(@Param("list") List<People> list); void updateBatch2(List<People> list); void updateBatch3(List<People> list); void updateBatch4(List<People> list); } @SpringBootTest class PeopleMapperTest { @Resource PeopleMapper peopleMapper; @Resource PeopleService peopleService; @Resource JdbcTemplate jdbcTemplate; @Test void init10wData() { for (int i = 0; i < 100000; i++) { People people = new People(); people.setFirstName(UUID.randomUUID().toString()); people.setLastName(UUID.randomUUID().toString()); peopleMapper.insert(people); } } @Test void updateBatch() { List<People> list = new ArrayList(); int loop = 100; int count = 5000; Long maxCost = 0L;//最长耗时 Long minCost = Long.valueOf(Integer.MAX_VALUE);//最短耗时 for (int j = 0; j < count; j++) { People people = new People(); people.setId(ThreadLocalRandom.current().nextInt(0, 100000)); people.setFirstName(UUID.randomUUID().toString()); people.setLastName(UUID.randomUUID().toString()); list.add(people); } Long startTime = System.currentTimeMillis(); for (int i = 0; i < loop; i++) { Long curStartTime = System.currentTimeMillis(); // peopleMapper.updateBatch4(list); // peopleService.updateBatchById(list); jdbcTemplateBatchUpdate(list); Long curCostTime = System.currentTimeMillis() - curStartTime; if (maxCost < curCostTime) { maxCost = curCostTime; } if (minCost > curCostTime) { minCost = curCostTime; } } System.out.println(loop + "-" + (System.currentTimeMillis() - startTime) / loop + "-" + minCost + "-" + maxCost ); } private void jdbcTemplateBatchUpdate (List<People> list){ String sql = "update people set first_name=?,last_name=? where id = ?"; List<Object[]> params = list.stream().map(item -> new Object[]{item.getFirstName(), item.getLastName(), item.getId()}).collect(Collectors.toList()); jdbcTemplate.batchUpdate(sql,params); } } 参考文章：
mybatis批量更新数据三种方法效率对比 https://blog.csdn.net/q957967519/article/details/88669552
MySql中4种批量更新的方法 https://blog.csdn.net/weixin_42290280/article/details/89384741
Mysql 批量修改四种方式效率对比（一）https://blog.csdn.net/zk673820543/article/details/106579809/
