SpringBoot 2.0 整合sharding-jdbc中间件实现数据分库分表

 更新时间:2019年06月04日 09:40:19   作者:知了一笑  
这篇文章主要介绍了SpringBoot 2.0 整合sharding-jdbc中间件,实现数据分库分表,本文图文并茂给大家介绍的非常详细,具有一定的参考借鉴价值 ,需要的朋友可以参考下

一、水平分割

1、水平分库
1)、概念:
 以字段为依据,按照一定策略,将一个库中的数据拆分到多个库中。
2)、结果
 每个库的结构都一样;数据都不一样;
 所有库的并集是全量数据;
2、水平分表
1)、概念
 以字段为依据,按照一定策略,将一个表中的数据拆分到多个表中。
2)、结果
 每个表的结构都一样;数据都不一样;
 所有表的并集是全量数据;

二、Shard-jdbc 中间件

1、架构图


2、特点

1)、Sharding-JDBC直接封装JDBC API,旧代码迁移成本几乎为零。
2)、适用于任何基于Java的ORM框架,如Hibernate、Mybatis等 。
3)、可基于任何第三方的数据库连接池,如DBCP、C3P0、 BoneCP、Druid等。
4)、以jar包形式提供服务,无proxy代理层,无需额外部署,无其他依赖。
5)、分片策略灵活,可支持等号、between、in等多维度分片,也可支持多分片键。
6)、SQL解析功能完善,支持聚合、分组、排序、limit、or等查询。

三、项目演示

1、项目结构

springboot     2.0 版本
druid          1.1.13 版本
sharding-jdbc  3.1 版本

2、数据库配置

一台基础库映射(shard_one)
两台库做分库分表(shard_two,shard_three)。
表使用:table_one,table_two

3、核心代码块

数据源配置文件

spring:
 datasource:
  # 数据源:shard_one
  dataOne:
   type: com.alibaba.druid.pool.DruidDataSource
   druid:
    driverClassName: com.mysql.jdbc.Driver
    url: jdbc:mysql://localhost:3306/shard_one?useUnicode=true&characterEncoding=UTF8&zeroDateTimeBehavior=convertToNull&useSSL=false
    username: root
    password: 123
    initial-size: 10
    max-active: 100
    min-idle: 10
    max-wait: 60000
    pool-prepared-statements: true
    max-pool-prepared-statement-per-connection-size: 20
    time-between-eviction-runs-millis: 60000
    min-evictable-idle-time-millis: 300000
    max-evictable-idle-time-millis: 60000
    validation-query: SELECT 1 FROM DUAL
    # validation-query-timeout: 5000
    test-on-borrow: false
    test-on-return: false
    test-while-idle: true
    connectionProperties: druid.stat.mergeSql=true;druid.stat.slowSqlMillis=5000
  # 数据源:shard_two
  dataTwo:
   type: com.alibaba.druid.pool.DruidDataSource
   druid:
    driverClassName: com.mysql.jdbc.Driver
    url: jdbc:mysql://localhost:3306/shard_two?useUnicode=true&characterEncoding=UTF8&zeroDateTimeBehavior=convertToNull&useSSL=false
    username: root
    password: 123
    initial-size: 10
    max-active: 100
    min-idle: 10
    max-wait: 60000
    pool-prepared-statements: true
    max-pool-prepared-statement-per-connection-size: 20
    time-between-eviction-runs-millis: 60000
    min-evictable-idle-time-millis: 300000
    max-evictable-idle-time-millis: 60000
    validation-query: SELECT 1 FROM DUAL
    # validation-query-timeout: 5000
    test-on-borrow: false
    test-on-return: false
    test-while-idle: true
    connectionProperties: druid.stat.mergeSql=true;druid.stat.slowSqlMillis=5000
  # 数据源:shard_three
  dataThree:
   type: com.alibaba.druid.pool.DruidDataSource
   druid:
    driverClassName: com.mysql.jdbc.Driver
    url: jdbc:mysql://localhost:3306/shard_three?useUnicode=true&characterEncoding=UTF8&zeroDateTimeBehavior=convertToNull&useSSL=false
    username: root
    password: 123
    initial-size: 10
    max-active: 100
    min-idle: 10
    max-wait: 60000
    pool-prepared-statements: true
    max-pool-prepared-statement-per-connection-size: 20
    time-between-eviction-runs-millis: 60000
    min-evictable-idle-time-millis: 300000
    max-evictable-idle-time-millis: 60000
    validation-query: SELECT 1 FROM DUAL
    # validation-query-timeout: 5000
    test-on-borrow: false
    test-on-return: false
    test-while-idle: true
    connectionProperties: druid.stat.mergeSql=true;druid.stat.slowSqlMillis=5000

数据库分库策略

/**
 * 数据库映射计算
 */
public class DataSourceAlg implements PreciseShardingAlgorithm<String> {

  private static Logger LOG = LoggerFactory.getLogger(DataSourceAlg.class);
  @Override
  public String doSharding(Collection<String> names, PreciseShardingValue<String> value) {
    LOG.debug("分库算法参数 {},{}",names,value);
    int hash = HashUtil.rsHash(String.valueOf(value.getValue()));
    return "ds_" + ((hash % 2) + 2) ;
  }
}

数据表1分表策略

/**
 * 分表算法
 */
public class TableOneAlg implements PreciseShardingAlgorithm<String> {
  private static Logger LOG = LoggerFactory.getLogger(TableOneAlg.class);
  /**
   * 该表每个库分5张表
   */
  @Override
  public String doSharding(Collection<String> names, PreciseShardingValue<String> value) {
    LOG.debug("分表算法参数 {},{}",names,value);
    int hash = HashUtil.rsHash(String.valueOf(value.getValue()));
    return "table_one_" + (hash % 5+1);
  }
}

数据表2分表策略

/**
 * 分表算法
 */
public class TableTwoAlg implements PreciseShardingAlgorithm<String> {
  private static Logger LOG = LoggerFactory.getLogger(TableTwoAlg.class);
  /**
   * 该表每个库分5张表
   */
  @Override
  public String doSharding(Collection<String> names, PreciseShardingValue<String> value) {
    LOG.debug("分表算法参数 {},{}",names,value);
    int hash = HashUtil.rsHash(String.valueOf(value.getValue()));
    return "table_two_" + (hash % 5+1);
  }
}

数据源集成配置

/**
 * 数据库分库分表配置
 */
@Configuration
public class ShardJdbcConfig {
  // 省略了 druid 配置,源码中有
  /**
   * Shard-JDBC 分库配置
   */
  @Bean
  public DataSource dataSource (@Autowired DruidDataSource dataOneSource,
                 @Autowired DruidDataSource dataTwoSource,
                 @Autowired DruidDataSource dataThreeSource) throws Exception {
    ShardingRuleConfiguration shardJdbcConfig = new ShardingRuleConfiguration();
    shardJdbcConfig.getTableRuleConfigs().add(getTableRule01());
    shardJdbcConfig.getTableRuleConfigs().add(getTableRule02());
    shardJdbcConfig.setDefaultDataSourceName("ds_0");
    Map<String,DataSource> dataMap = new LinkedHashMap<>() ;
    dataMap.put("ds_0",dataOneSource) ;
    dataMap.put("ds_2",dataTwoSource) ;
    dataMap.put("ds_3",dataThreeSource) ;
    Properties prop = new Properties();
    return ShardingDataSourceFactory.createDataSource(dataMap, shardJdbcConfig, new HashMap<>(), prop);
  }

  /**
   * Shard-JDBC 分表配置
   */
  private static TableRuleConfiguration getTableRule01() {
    TableRuleConfiguration result = new TableRuleConfiguration();
    result.setLogicTable("table_one");
    result.setActualDataNodes("ds_${2..3}.table_one_${1..5}");
    result.setDatabaseShardingStrategyConfig(new StandardShardingStrategyConfiguration("phone", new DataSourceAlg()));
    result.setTableShardingStrategyConfig(new StandardShardingStrategyConfiguration("phone", new TableOneAlg()));
    return result;
  }
  private static TableRuleConfiguration getTableRule02() {
    TableRuleConfiguration result = new TableRuleConfiguration();
    result.setLogicTable("table_two");
    result.setActualDataNodes("ds_${2..3}.table_two_${1..5}");
    result.setDatabaseShardingStrategyConfig(new StandardShardingStrategyConfiguration("phone", new DataSourceAlg()));
    result.setTableShardingStrategyConfig(new StandardShardingStrategyConfiguration("phone", new TableTwoAlg()));
    return result;
  }
}

测试代码执行流程

@RestController
public class ShardController {
  @Resource
  private ShardService shardService ;
  /**
   * 1、建表流程
   */
  @RequestMapping("/createTable")
  public String createTable (){
    shardService.createTable();
    return "success" ;
  }
  /**
   * 2、生成表 table_one 数据
   */
  @RequestMapping("/insertOne")
  public String insertOne (){
    shardService.insertOne();
    return "SUCCESS" ;
  }
  /**
   * 3、生成表 table_two 数据
   */
  @RequestMapping("/insertTwo")
  public String insertTwo (){
    shardService.insertTwo();
    return "SUCCESS" ;
  }
  /**
   * 4、查询表 table_one 数据
   */
  @RequestMapping("/selectOneByPhone/{phone}")
  public TableOne selectOneByPhone (@PathVariable("phone") String phone){
    return shardService.selectOneByPhone(phone);
  }
  /**
   * 5、查询表 table_one 数据
   */
  @RequestMapping("/selectTwoByPhone/{phone}")
  public TableTwo selectTwoByPhone (@PathVariable("phone") String phone){
    return shardService.selectTwoByPhone(phone);
  }
}

四、项目源码

GitHub:知了一笑

https://github.com/cicadasmile/middle-ware-parent

总结

以上所述是小编给大家介绍的SpringBoot 2.0 整合sharding-jdbc中间件实现数据分库分表,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

相关文章

  • Spring Boot Jwts Token生成方法示例

    Spring Boot Jwts Token生成方法示例

    这篇文章主要为大家介绍了Spring Boot Jwts Token生成方法示例,非适合java初学者,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2023-09-09
  • 使用jpa之动态插入与修改(重写save)

    使用jpa之动态插入与修改(重写save)

    这篇文章主要介绍了使用jpa之动态插入与修改(重写save),具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2021-11-11
  • Java切面(Aspect)的多种实现方式

    Java切面(Aspect)的多种实现方式

    这篇文章主要给大家介绍了关于Java切面(Aspect)的多种实现方式,在Java开发中切面(Aspect)是一种常用的编程方式,用于实现横切关注点(cross-cutting concern),需要的朋友可以参考下
    2023-08-08
  • JAVA中StackOverflowError错误的解决

    JAVA中StackOverflowError错误的解决

    这篇文章主要介绍了JAVA中StackOverflowError错误的解决,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2021-04-04
  • spring后置通知@AfterReturning的使用

    spring后置通知@AfterReturning的使用

    这篇文章主要介绍了spring后置通知@AfterReturning的使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2024-05-05
  • springboot3.x中Jakarta包无法引入的问题

    springboot3.x中Jakarta包无法引入的问题

    最近想将一些项目升级到springboot3.x和java17的时候,发现项目依赖中有Jakarta的包,但是代码标红提示没有相关的类,本文就来介绍一下解决方法,感兴趣的可以了解一下
    2024-02-02
  • 在Java中实现让线程按照自己指定的顺序执行

    在Java中实现让线程按照自己指定的顺序执行

    这篇文章主要介绍了在Java中实现让线程按照自己指定的顺序执行,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2022-06-06
  • Spring事件监听机制使用和原理解析

    Spring事件监听机制使用和原理解析

    Spring的监听机制基于观察者模式,就是就是我们所说的发布订阅模式,这种模式可以在一定程度上实现代码的解耦,本文将从原理上解析Spring事件监听机制,需要的朋友可以参考下
    2023-06-06
  • Java高级架构之FastDFS分布式文件集群详解

    Java高级架构之FastDFS分布式文件集群详解

    这篇文章主要介绍了Java高级架构之FastDFS分布式文件集群详解,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2019-04-04
  • IntelliJ IDEA安装目录和设置目录的说明(IntelliJ IDEA快速入门)

    IntelliJ IDEA安装目录和设置目录的说明(IntelliJ IDEA快速入门)

    这篇文章主要介绍了IntelliJ IDEA安装目录和设置目录的说明(IntelliJ IDEA快速入门),本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2021-04-04

最新评论