批量插入数据避免oom

在springboot+mybatis+mysql的项目中，批量插入数据时，数据量过大可能导致oom异常。下面介绍如何避免这种情况：

问题提出：

假如有一个批量插入数据的接口，数据以list形式传入，为了避免插入时出现oom，如何处理？

思路：

对传入数据分批插入，每批插入一定数量的数据。

实现代码：

前面的实现代码可以优化为：

public void insert(List list) {
    int batchSize = 10000; // 根据实际情况调整分批大小
    int total = list.size();
    for (int i = 0; i < total; i += batchSize) {
        int end = Math.min(total, i + batchSize);
        List subList = list.subList(i, end);
        userMapper.insertBatch(subList); // 使用Mybatis提供的batchInsert方法
    }
}

使用mybatis的batchinsert方法，可以一次插入多条数据，提高效率。

更好的方法：

除了分批插入外，还有以下方法可以优化批量插入数据过程：

• 使用流式处理，避免将所有数据加载到内存中。
• 使用load data infile或jdbc批处理等更快的大数据加载方法。
• 使用缓冲区管理内存，防止一次性分配过多内存。