Mybatis如何实现一个高效的批量插入操作呢?
下文是笔者收集的MyBatis高效插入数据的示例分享,请大家参阅
MyBatis简介
MyBatis简介
我们都知道MyBatis是目前市面上使用比较多的一个持久层框架(SSM中的M),
MyBatis可以简化实体类的封装操作,MyBatis通过mapper.xml文件可实现数据库各中操作,详细请见Mybatis教程
那么MyBatis如何实现批量插入数据操作呢?下文将讲述具体的实现思路,如下所示:
方式一:使用MyBatis中的 foreach标签
借助foreach,在sql语句中实现一个迭代集合,
foreach标签拥有一下属性(item,index,collection,open,separator,close)
item:集合中每一个元素进行迭代时的别名
index:设置名称,用于表示在迭代过程中,每次迭代到的位置
open:设置语句开始符
separator:设置每次进行迭代之间使用的分隔符
close:设置迭代的结束符号
注意事项:
必须指定collection属性,此属性可放入list,array,Map
例:
*Mapper.xml的定义如下:
<insert id="insertBatch" parameterType="List">
INSERT INTO users(name,pwd)
<foreach collection="list" item="item" index="index" open="("close=")"separator="union all">
SELECT #{item.name} as a, #{item.pwd} as b FROM DUAL
</foreach>
</insert>
方式二:使用mybatis ExecutorType.BATCH
Mybatis中内置了3种ExecutorType有3种:
- simple,此模式下它为每个语句的执行创建一个新的预处理语句,单条提交sql
- REUSE,此模式是可重用执行器,重用对象是Statement(即该执行器会缓存同一个sql的Statement,省去Statement的重新创建,优化性能)(即会重用预处理语句)
- batch,此模式重复使用已经预处理的语句,并且批量执行所有更新语句,显然batch性能将更优
注意事项:
Batch模式是最快捷的一张方式,但是需用户自定义主键
当然Hibernate中也有类似Batch的处理方式
例:
方式一 spring+mybatis 的
//获取 sqlsession
//注入原有的sqlSessionTemplate
@Autowired
private SqlSessionTemplate sqlSessionTemplate;
// 新获取一个模式为BATCH,并自动提交为false的session
// 当自动提交设置为true,将无法控制提交的条数,改为最后统一提交,可能导致内存溢出(注意控制提交数量,如达到1000条提交一次)
SqlSession session = sqlSessionTemplate.getSqlSessionFactory().openSession(ExecutorType.BATCH,false);
//通过新的session获取mapper
userMapper = session.getMapper(UserMapper.class);
int size = 10000;
try{
for(int i = 0; i < size; i++) {
//生成实体类
User user = new User();
user.setName(String.valueOf(System.currentTimeMillis()));
userMapper.insert(user);
if(i % 1000 == 0 || i == size - 1) {
//手动每1000个一提交,提交后无法回滚
session.commit();
//清理缓存,防止溢出
session.clearCache();
}
}
} catch (Exception e) {
//没有提交的数据可以回滚
session.rollback();
} finally{
session.close();
}
/*
使用mapper及sql别名:包名+类名
*/
public void insertBatch(Map<String,Object> paramMap, List<User> list) throws Exception {
// 新获取一个模式为BATCH,自动提交为false的session
// 如果自动提交设置为true,将无法控制提交的条数,改为最后统一提交,可能导致内存溢出
SqlSession session = sqlSessionTemplate.getSqlSessionFactory().openSession(ExecutorType.BATCH, false);
try {
if(null != list || list.size()>0){
int lsize=list.size();
for (int i = 0, n=list.size(); i < n; i++) {
User user= list.get(i);
user.setIndate((String)paramMap.get("indate"));
user.setDatadate((String)paramMap.get("dataDate"));//数据归属时间
session.insert(“包名+类名", user);
if ((i>0 && i % 1000 == 0) || i == lsize - 1) {
//if语句的作用设置每1000个一提交,提交后无法回滚
session.commit();
// 清理缓存,防止溢出
session.clearCache();
}
}
}
} catch (Exception e) {
// 没有提交的数据可以回滚
session.rollback();
e.printStackTrace();
} finally {
session.close();
}
}
MyBatis可以简化实体类的封装操作,MyBatis通过mapper.xml文件可实现数据库各中操作,详细请见Mybatis教程
那么MyBatis如何实现批量插入数据操作呢?下文将讲述具体的实现思路,如下所示:
方式一:使用MyBatis中的 foreach标签
借助foreach,在sql语句中实现一个迭代集合,foreach标签拥有一下属性(item,index,collection,open,separator,close)
item:集合中每一个元素进行迭代时的别名
index:设置名称,用于表示在迭代过程中,每次迭代到的位置
open:设置语句开始符
separator:设置每次进行迭代之间使用的分隔符
close:设置迭代的结束符号
注意事项: 必须指定collection属性,此属性可放入list,array,Map例:
*Mapper.xml的定义如下:
<insert id="insertBatch" parameterType="List"> INSERT INTO users(name,pwd) <foreach collection="list" item="item" index="index" open="("close=")"separator="union all"> SELECT #{item.name} as a, #{item.pwd} as b FROM DUAL </foreach> </insert>
方式二:使用mybatis ExecutorType.BATCH
Mybatis中内置了3种ExecutorType有3种:- simple,此模式下它为每个语句的执行创建一个新的预处理语句,单条提交sql
- REUSE,此模式是可重用执行器,重用对象是Statement(即该执行器会缓存同一个sql的Statement,省去Statement的重新创建,优化性能)(即会重用预处理语句)
- batch,此模式重复使用已经预处理的语句,并且批量执行所有更新语句,显然batch性能将更优
注意事项: Batch模式是最快捷的一张方式,但是需用户自定义主键 当然Hibernate中也有类似Batch的处理方式例:
方式一 spring+mybatis 的
//获取 sqlsession //注入原有的sqlSessionTemplate @Autowired private SqlSessionTemplate sqlSessionTemplate; // 新获取一个模式为BATCH,并自动提交为false的session // 当自动提交设置为true,将无法控制提交的条数,改为最后统一提交,可能导致内存溢出(注意控制提交数量,如达到1000条提交一次) SqlSession session = sqlSessionTemplate.getSqlSessionFactory().openSession(ExecutorType.BATCH,false); //通过新的session获取mapper userMapper = session.getMapper(UserMapper.class); int size = 10000; try{ for(int i = 0; i < size; i++) { //生成实体类 User user = new User(); user.setName(String.valueOf(System.currentTimeMillis())); userMapper.insert(user); if(i % 1000 == 0 || i == size - 1) { //手动每1000个一提交,提交后无法回滚 session.commit(); //清理缓存,防止溢出 session.clearCache(); } } } catch (Exception e) { //没有提交的数据可以回滚 session.rollback(); } finally{ session.close(); } /* 使用mapper及sql别名:包名+类名 */ public void insertBatch(Map<String,Object> paramMap, List<User> list) throws Exception { // 新获取一个模式为BATCH,自动提交为false的session // 如果自动提交设置为true,将无法控制提交的条数,改为最后统一提交,可能导致内存溢出 SqlSession session = sqlSessionTemplate.getSqlSessionFactory().openSession(ExecutorType.BATCH, false); try { if(null != list || list.size()>0){ int lsize=list.size(); for (int i = 0, n=list.size(); i < n; i++) { User user= list.get(i); user.setIndate((String)paramMap.get("indate")); user.setDatadate((String)paramMap.get("dataDate"));//数据归属时间 session.insert(“包名+类名", user); if ((i>0 && i % 1000 == 0) || i == lsize - 1) { //if语句的作用设置每1000个一提交,提交后无法回滚 session.commit(); // 清理缓存,防止溢出 session.clearCache(); } } } } catch (Exception e) { // 没有提交的数据可以回滚 session.rollback(); e.printStackTrace(); } finally { session.close(); } }
版权声明
本文仅代表作者观点,不代表本站立场。
本文系作者授权发表,未经许可,不得转载。