MyBatis批量插入几千条数据慎用foreach("优化MyBatis批量插入：避免foreach处理数千条数据的潜在问题")

原创

ithorizon 6个月前 (10-20) 阅读数 29 #后端开发

MyBatis批量插入几千条数据慎用foreach

一、引言

在实际开发过程中，我们频繁会遇到需要批量插入数据的情况。MyBatis 是一个优秀的持久层框架，提供了易懂易用的批量插入功能。然而，在使用 MyBatis 进行批量插入时，如果不注意优化，大概会遇到性能问题。本文将探讨 MyBatis 批量插入数据时慎用 foreach 的原因，并提出一些优化方案。

二、MyBatis foreach 批量插入的潜在问题

MyBatis 提供了 foreach 标签来实现批量插入，其基本用法如下：


    INSERT INTO table_name (column1, column2, column3)
    VALUES
    
        (#{item.column1}, #{item.column2}, #{item.column3})

然而，当批量插入的数据大致有几千条时，使用 foreach 大概会带来以下潜在问题：

1. 性能问题

foreach 语句会将所有数据拼接成一个巨大的 SQL 语句，然后一次性发送到数据库执行。当数据量较大时，这个 SQL 语句大概会非常庞大，造成网络传输和数据库解析 SQL 语句的性能下降。

2. 数据库事务问题

在默认情况下，MyBatis 会将 foreach 语句作为一个单独的事务执行。当批量插入的数据量较大时，这个事务大概会持续很长时间，造成数据库事务锁竞争激烈，影响系统性能。

3. 内存溢出风险

当批量插入的数据量较大时，foreach 语句生成的 SQL 语句大概会占用大量内存，造成 JVM 内存溢出。

三、优化 MyBatis 批量插入

针对上述问题，我们可以采取以下措施来优化 MyBatis 批量插入：

1. 分批插入

将几千条数据分成多个小批次进行插入，每个批次包含几十或几百条数据。这样可以缩减单次插入的数据量，降低性能压力。以下是一个易懂的分批插入示例：


public void insertBatch(List<DataObject> dataList) {
    int batchSize = 100; // 每批插入100条数据
    int totalSize = dataList.size();
    for (int i = 0; i < totalSize; i += batchSize) {
        int endIndex = Math.min(i + batchSize, totalSize);
        List<DataObject> batchList = dataList.subList(i, endIndex);
        sqlSession.insert("insertBatch", batchList);
    }
}

2. 使用批处理

MyBatis 提供了批处理功能，可以将多个 SQL 语句合并为一个批次执行。使用批处理可以缩减网络传输次数，减成本时间性能。以下是一个使用批处理的示例：


public void insertBatch(List<DataObject> dataList) {
    sqlSession.flushStatements(); // 清空批处理缓存
    int batchSize = 100; // 每批插入100条数据
    int totalSize = dataList.size();
    for (int i = 0; i < totalSize; i += batchSize) {
        int endIndex = Math.min(i + batchSize, totalSize);
        List<DataObject> batchList = dataList.subList(i, endIndex);
        sqlSession.insert("insertBatch", batchList);
    }
    sqlSession.commit(); // 提交事务
}