Mybatis的sql语句执行异常后打印到日志问题

 更新时间:2024年10月29日 15:12:51   作者:莱特昂  
文章介绍了一种Mybatis异常日志打印方案,主要通过Mybatis拦截器获取执行的sql语句,并利用ThreadLocal存储,以避免多线程下的sql语句覆盖问题,当异常发生时,从ThreadLocal中取出sql语句并打印到单独的日志文件中,方便数据恢复,该方案经过压力测试

Mybatis的sql语句执行异常后打印到日志

最近做的一个运维提的需求。希望插入和更新的sql语句时,如果执行失败,能打印到一个专门的日志文件里。他可以用来恢复数据库里的数据。

在网上调研了下可以实现这个功能的方案:

1、可以通过Mybatis拦截器可以获取到执行的sql语句

2、由于我们的数据库都是异步写的,所以会存在多线程的问题,如果用一个变量存,可能会出现这条sql还没读出来就被别的线程的sql语句覆盖的问题,线程不安全。所以考虑用ThreadLocal存Mybatis拦截器的sql语句。

3、在异常的catch代码段里,将ThreadLocal存的sql语句取出,打印到单独的日志文件里。

具体实现代码

Mybatis拦截器(只拦截插入更新操作,拼接sql后塞入ThreadLocal):

/**
 * Mybatis拦截器,用于拼接sql语句
 *
 * @author lightonyang
 * @date 2022/10/27
 */
@Intercepts({
        @Signature(type = Executor.class, method = "update", args = {MappedStatement.class,
                Object.class}),
})
public class MybatisInterceptor implements Interceptor {
    // 如果参数是String,则添加单引号, 如果是日期,则转换为时间格式器并加单引号; 对参数是null和不是null的情况作了处理
    private static String getParameterValue(Object obj) {
        String value = null;
        if (obj instanceof String) {
            value = "'" + obj.toString() + "'";
        } else if (obj instanceof Date) {
            DateFormat formatter = DateFormat.getDateTimeInstance(DateFormat.DEFAULT,
                    DateFormat.DEFAULT, Locale.CHINA);
            value = "'" + formatter.format(new Date()) + "'";
        } else {
            if (obj != null) {
                value = obj.toString();
            } else {
                value =  "null" ;
            }
        }
        return value;
    }

    // 进行?的替换
    public static String showSql(Configuration configuration, BoundSql boundSql) {
        // 获取参数
        Object parameterObject = boundSql.getParameterObject();
        List<ParameterMapping> parameterMappings = boundSql.getParameterMappings();
        // sql语句中多个空格都用一个空格代替
        String sql = boundSql.getSql().replaceAll("[\\s]+", " ");
        if (CollectionUtils.isNotEmpty(parameterMappings) && parameterObject != null) {
            // 获取类型处理器注册器,类型处理器的功能是进行java类型和数据库类型的转换
            TypeHandlerRegistry typeHandlerRegistry = configuration.getTypeHandlerRegistry();
            // 如果根据parameterObject.getClass()可以找到对应的类型,则替换
            if (typeHandlerRegistry.hasTypeHandler(parameterObject.getClass())) {
                sql = sql.replaceFirst("\\?",
                        Matcher.quoteReplacement(getParameterValue(parameterObject)));
            } else {
                // MetaObject主要是封装了originalObject对象,提供了get和set的方法用于获取和设置originalObject的属性值,主要支持对JavaBean、Collection、Map三种类型对象的操作
                MetaObject metaObject = configuration.newMetaObject(parameterObject);
                for (ParameterMapping parameterMapping : parameterMappings) {
                    String propertyName = parameterMapping.getProperty();
                    if (metaObject.hasGetter(propertyName)) {
                        Object obj = metaObject.getValue(propertyName);
                        sql = sql.replaceFirst("\\?",
                                Matcher.quoteReplacement(getParameterValue(obj)));
                    } else if (boundSql.hasAdditionalParameter(propertyName)) {
                        // 该分支是动态sql
                        Object obj = boundSql.getAdditionalParameter(propertyName);
                        sql = sql.replaceFirst("\\?",
                                Matcher.quoteReplacement(getParameterValue(obj)));
                    } else {
                        // 打印出缺失,提醒该参数缺失并防止错位
                        sql = sql.replaceFirst("\\?", "缺失");
                    }
                }
            }
        }
        return sql;
    }

    @Override
    public Object intercept(Invocation invocation) throws Throwable {
        try {
            // 获取xml中的一个select/update/insert/delete节点,是一条SQL语句
            MappedStatement mappedStatement = (MappedStatement) invocation.getArgs()[0];
            Object parameter = null;
            // 获取参数,if语句成立,表示sql语句有参数,参数格式是map形式
            if (invocation.getArgs().length > 1) {
                parameter = invocation.getArgs()[1];
                System.out.println("parameter = " + parameter);
            }
            String sqlId = mappedStatement.getId(); // 获取到节点的id,即sql语句的id
            System.out.println("sqlId = " + sqlId);
            BoundSql boundSql = mappedStatement.getBoundSql(parameter); // BoundSql就是封装myBatis最终产生的sql类
            Configuration configuration = mappedStatement.getConfiguration(); // 获取节点的配置
            String sql = showSql(configuration, boundSql); // 获取到最终的sql语句
            TheadLocalUtil.instance().sql(sql);
            System.out.println("sql = " + sql);
        } catch (Exception e) {
            e.printStackTrace();
        }
        // 执行完上面的任务后,不改变原有的sql执行过程
        return invocation.proceed();
    }

}

将Mybatis拦截器加入配置:

@Configuration
public class SqlMonitorConfiguration {

    @Autowired
    SqlSessionFactory sqlSessionFactory;

    @Bean
    @DependsOn("sqlSessionFactory")
    public MybatisInterceptor mybatisInterceptor() {
        MybatisInterceptor mybatisInterceptor = new MybatisInterceptor();
        sqlSessionFactory.getConfiguration().addInterceptor(mybatisInterceptor);
        return mybatisInterceptor;
    }
}

ThreadLocalUtil:

/**
 * 由于运维需求,数据库异常后输出sql语句,引入TheadLocal
 * 用于异步多线程写数据库时,存sql语句,保持线程安全
 * <p>
 * 用完要记得finally里reset,防止内存泄漏
 *
 * @author lightonyang
 * @date 2022/10/31
 */
public class TheadLocalUtil {

    private static final ThreadLocal<TheadLocalUtil> LOCAL = ThreadLocal.withInitial(TheadLocalUtil::new);

    private String sql;

    private TheadLocalUtil() {
    }

    public static TheadLocalUtil instance() {
        return LOCAL.get();
    }

    public TheadLocalUtil reset() {
        sql = null;
        LOCAL.remove();
        return this;
    }

    /*用于链式添加*/
    public TheadLocalUtil sql(String sql) {
        this.sql = sql;
        return this;
    }

    public String getSql() {
        return sql;
    }

    public void setSql(String sql) {
        this.sql = sql;
    }
}

日志配置(将异常日志打印到单独的日志文件mysqlfail.log里):

<Appenders>
		<RollingFile name="mysqlFailFixedTimeFileAppender"
					 fileName="${sys:mumble.log.home}/idap-idasc-mysqlfail.log"
					 filePattern="${sys:mumble.log.home}/idap-idasc-mysqlfail.log.%d{yyyy-MM-dd_HH}-%i.log">
			<PatternLayout pattern="%d{yyyy-MM-dd HH:mm:ss,SSS} %-5p %c{1}(%F:%L) - %m%n"/>
			<Policies>
				<TimeBasedTriggeringPolicy/>
				<SizeBasedTriggeringPolicy size="200 MB"/>
			</Policies>
			<DefaultRolloverStrategy max="24"/>
		</RollingFile>
</Appenders>

<Loggers>
		<AsyncLogger name="mysqlFail" level="info" additivity="false"
					 includeLocation="true">
			<AppenderRef ref="mysqlFailFixedTimeFileAppender"/>
		</AsyncLogger>
</Loggers>

日志使用(在操作数据的Impl中catch异常,从ThreadLocal中拿出sql语句打印日志):

private static final Logger MYSQL_FAIL_LOG = LoggerFactory.getLogger("mysqlFail");

	try{
	···
	}catch{
		MYSQL_FAIL_LOG.info(TheadLocalUtil.instance().getSql(sql););
	}finally{
		TheadLocalUtil.reset();
	}

这种实现方法也经过了测试的压测,没有出现多线程下的sql语句覆盖的问题,也没有出现内存泄漏和性能问题,满足了需求的使用。

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • eclipse项目在IDEA中打开并运行的详细图文教程

    eclipse项目在IDEA中打开并运行的详细图文教程

    这篇文章主要给大家介绍了关于eclipse项目在IDEA中打开并运行的详细图文教程,至从使用IDEA开发工具以来,不少次有使用IDEA运行Eclipse项目或非Maven项目,所以这里给大家总结下,需要的朋友可以参考下
    2023-09-09
  • Java 前台加后台精品图书管理系统的实现

    Java 前台加后台精品图书管理系统的实现

    相信每一个学生学编程的时候,应该都会写一个小项目——图书管理系统。为什么这么说呢?我认为一个学校的氛围很大一部分可以从图书馆的氛围看出来,而图书管理系统这个不大不小的项目,接触的多,也比较熟悉,不会有陌生感,能够练手,又有些难度,所以我的小项目也来了
    2021-11-11
  • Spring通过配置文件和注解实现属性赋值

    Spring通过配置文件和注解实现属性赋值

    这篇文章主要介绍了Spring通过配置文件和注解实现属性赋值,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-04-04
  • Spring Boot集成Seata实现基于AT模式的分布式事务的解决方案

    Spring Boot集成Seata实现基于AT模式的分布式事务的解决方案

    Seata 是一款开源的分布式事务解决方案,致力于提供高性能和简单易用的分布式事务服务,这篇文章主要介绍了Spring Boot集成Seata实现基于AT模式的分布式事务,需要的朋友可以参考下
    2024-08-08
  • java内部测试类代码详解

    java内部测试类代码详解

    这篇文章主要介绍了java内部测试类代码详解,具有一定借鉴价值,需要的朋友可以参考下。
    2017-12-12
  • Java中的set集合是什么意思

    Java中的set集合是什么意思

    这篇文章主要介绍了Java中的set集合是什么意思,详细地讲解一下Collection集合中的另外一个分支——Set系列集合,需要的朋友可以参考下
    2022-05-05
  • Springboot使用@RefreshScope注解实现配置文件的动态加载

    Springboot使用@RefreshScope注解实现配置文件的动态加载

    本文主要介绍了Springboot使用@RefreshScope注解实现配置文件的动态加载,文中通过示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2021-09-09
  • 使用Hibernate根据实体类自动生成表的方法

    使用Hibernate根据实体类自动生成表的方法

    这篇文章主要介绍了使用Hibernate根据实体类自动生成表的方法,该篇提供了两种方法,可以根据需要选择其一,希望对你有所帮助,如有不对的地方还望指正
    2023-03-03
  • Java毕业设计实战之食品溯源系统的实现

    Java毕业设计实战之食品溯源系统的实现

    这是一个使用了java+Springboot+Maven+mybatis+Vue+mysql+wd开发的食品溯源系统,是一个毕业设计的实战练习,具有食品溯源该有的所有功能,感兴趣的朋友快来看看吧
    2022-01-01
  • 详解如何保护SpringBoot配置文件中的敏感信息

    详解如何保护SpringBoot配置文件中的敏感信息

    使用过SpringBoot配置文件的朋友都知道,资源文件中的内容通常情况下是明文显示,安全性就比较低一些,所以为了提高安全性,就需要对配置文件中的敏感信息进行保护,下面就为大家介绍一下实现方法吧
    2023-07-07

最新评论