ava实现一致性Hash算法

 更新时间:2023年03月24日 09:29:26   作者:何忆清风  
本文主要详细介绍了Java如何实现一致性Hash算法,其实现原理将key映射到 2^32 - 1 的空间中,将这个数字的首尾相连,形成一个环。想了解更多的同学,可以参考本文

1. 实现原理

将key映射到 2^32 - 1 的空间中,将这个数字的首尾相连,形成一个环

  • 计算节点(使用节点名称、编号、IP地址)的hash值,放置在环上
  • 计算key的hash值,放置在环上,顺时针寻找到的第一个节点,就是应选取的节点

例如:p2、p4、p6三个节点,key11、key2、key27按照顺序映射到p2、p4、p6上面,假设新增一个节点p8在p6节点之后,这个时候只需要将key27从p6调整到p8就可以了;也就是说,每次新增删除节点时,只需要重新定位该节点附近的一小部分数据

2. 解决数据倾斜的问题

什么是数据倾斜?

如果服务器的节点过少,容易引起key的倾斜。例如上面的例子中p2、p4、p6分布在环的上半部分,下半部分是空的。那么映射到下半部分的key都会被分配给p2,key过度倾斜到了p2缓存间节点负载不均衡。

解决

为了解决这个问题,引入了虚拟节点的概念,一个真实的节点对应多个虚拟的节点
假设1个真实的节点对应3个虚拟节点,那么p1对应的就是p1-1、p1-2、p1-3

  • 计算虚拟节点的Hash值,放置在环上
  • 计算key的Hash值,在环上顺时针寻找到对应选取的虚拟节点,例如:p2-1,对应真实的节点p2

 虚拟节点扩充了节点的数量,解决了节点较少的情况下数据倾斜的问题,而且代价非常小,只需要新增一个字典(Map)维护真实的节点与虚拟节点的映射关系就可以了

3. 代码实现

3.1 ConsistentHash

这里使用了泛型的方式来保存数据,可以根据不同的类型,获取到不同的节点存储

public class ConsistentHash<T> {

    //自定义hash方法
    private Hash<Object> hashMethod;

    //创建hash映射,虚拟节点映射真实节点
    private final Map<Integer, T> hashMap = new ConcurrentHashMap<>();

    //将所有的hash保存起来
    private List<Integer> keys = new ArrayList<>();

    //默认虚拟节点数量
    private final int replicas;

    public ConsistentHash() {
        this(3, Utils::rehash);
    }

    public ConsistentHash(int replicas, Hash<Object> hashMethod) {
        this.replicas = replicas;
        this.hashMethod = hashMethod;
    }

    @SafeVarargs
    public final void add(T... keys) {
        for (T key : keys) {
            //根据虚拟节点个数来计算虚拟节点
            for (int i = 0; i < this.replicas; i++) {
                //根据函数获取到对应的hash值
                int hash = this.hashMethod.hash(i + ":" + key.toString());
                this.keys.add(hash);
                this.hashMap.put(hash, key);
            }
        }
        //排序,因为是一个环状结构
        Collections.sort(this.keys);
    }

    /**
     * 根据对应的key来获取到节点信息
     *
     * @param key
     * @return
     */
    public T get(Object key) {
        Objects.requireNonNull(key, "key不能为空");
        int hash = this.hashMethod.hash(key);
        //获取到对应的节点信息
        int idx = Utils.search(this.keys.size(), h -> this.keys.get(h) >= hash);
        //如果idx == this.keys.size() ,就代表需要取 this.keys.get(0); 因为是环状,所以需要使用 % 来进行处理
        return this.hashMap.get(this.keys.get(idx % this.keys.size()));
    }
}

3.2 Hash

这里定义了一个函数结构,用于自定计算hash值

@FunctionalInterface
public static interface Hash<T> {
    /**
     * 计算hash值
     *
     * @param t
     * @return int类型
     */
    int hash(T t);
}

3.3 Utils

由于hashcode采用的int类型进行存储,那么就需要考虑,hash是否超过了int最大存储,如果超过了那么存储的数字就是负数,会对获取节点造成影响,所以这里在取hash值时,采用了hashmap中获取到hashcode之后对其进行与操作,可以减少hash冲突,也可以避免负数的产生

public static class Utils {
		// int类型的最大数据
        static final int HASH_BITS = 0x7fffffff;

        /**
         * 通过二分查找法,定义数组索引位置
         *
         * @param len
         * @param f
         * @return
         */
        public static int search(int len, Function<Integer, Boolean> f) {
            int i = 0, j = len;
            //通过二分查找发来定为索引位置
            while (i < j) {
                //长度除于2
                int h = (i + j) >> 1;
                //调用函数,判断当前的索引值是否大于
                if (f.apply(h)) {
                    //向低半段进行遍历
                    j = h;
                } else {
                    //向高半段进行遍历
                    i = h + 1;
                }
            }
            return i;
        }

        /**
         * 将返回的hash能够平均的计算在 int类型之间
         *
         * @param o
         * @return
         */
        public static int rehash(Object o) {
            int h = o.hashCode();
            return (h ^ (h >>> 16)) & HASH_BITS;
        }
    }

3.4 main

下面是main方法进行测试,在后面新增了一个节点之后,只会调整 zs 数据到 109 节点,而且其他两个key的获取不会受到影响

public static void main(String[] args) {
        ConsistentHash<String> consistentHash = new ConsistentHash<>();
        consistentHash.add("192.168.2.106", "192.168.2.107", "192.168.2.108");

        Map<String, Object> map = new HashMap<>();
        map.put("zs", "192.168.2.108");
        map.put("999999", "192.168.2.106");
        map.put("233333", "192.168.2.106");

        map.forEach((k, v) -> {
            String node = consistentHash.get(k);
            if (!v.equals(node)) {
                throw new IllegalArgumentException("节点获取错误,key:" + k + ",获取到的节点值为:" + node);
            }
        });

        consistentHash.add("192.168.2.109");
        map.put("zs", "192.168.2.109");
        map.forEach((k, v) -> {
            String node = consistentHash.get(k);
            if (!v.equals(node)) {
                throw new IllegalArgumentException("节点获取错误,key:" + k + ",获取到的节点值为:" + node);
            }
        });
    }

到此这篇关于ava实现一致性Hash算法的文章就介绍到这了,更多相关Java hash算法内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • SpringBoot中MybatisX插件的简单使用教程(图文)

    SpringBoot中MybatisX插件的简单使用教程(图文)

    MybatisX 是一款基于 IDEA 的快速开发插件,方便在使用mybatis以及mybatis-plus开始时简化繁琐的重复操作,本文主要介绍了SpringBoot中MybatisX插件的简单使用教程,感兴趣的可以了解一下
    2023-06-06
  • Spring整合MyBatis图示过程解析

    Spring整合MyBatis图示过程解析

    这篇文章主要介绍了Spring整合MyBatis图示过程解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-11-11
  • SpringBoot集成Apache POI实现Excel的导入导出

    SpringBoot集成Apache POI实现Excel的导入导出

    Apache POI是一个流行的Java库,用于处理Microsoft Office格式文件,包括Excel文件,本文主要介绍了SpringBoot集成Apache POI实现Excel的导入导出,具有一定的参考价值,感兴趣的可以了解一下
    2024-06-06
  • java动态代理和cglib动态代理示例分享

    java动态代理和cglib动态代理示例分享

    这篇文章主要介绍了java动态代理和cglib动态代理示例,JDK1.3之后,Java提供了动态代理的技术,允许开发者在运行期间创建接口的代理实例,下面我们使用示例学习一下
    2014-03-03
  • Spring MVC环境中文件上传功能的实现方法详解

    Spring MVC环境中文件上传功能的实现方法详解

    文件上传是大家应该都不陌生的一个功能,最近在开发中就又遇到了这个需求,所以想着总结一下方便以后需要的时候参考,下面这篇文章主要给大家介绍了关于Spring MVC环境中文件上传功能的实现方法,需要的朋友可以参考借鉴,下面来一起看看吧。
    2017-10-10
  • Java中JDBC事务与JTA分布式事务总结与区别

    Java中JDBC事务与JTA分布式事务总结与区别

    Java事务的类型有三种:JDBC事务、JTA(Java Transaction API)事务、容器事务,本文详细介绍了JDBC事务与JTA分布式事务,有需要的可以了解一下。
    2016-11-11
  • Java设计模式中的命令模式

    Java设计模式中的命令模式

    在软件设计中,我们经常需要向某些对象发送请求,但是并不知道请求的接收者是谁,也不知道被请求的操作是哪个,我们只需在程序运行时指定具体的请求接收者即可,此时可以使用命令模式来进行设计
    2022-11-11
  • java线程阻塞中断与LockSupport使用介绍

    java线程阻塞中断与LockSupport使用介绍

    本文将详细介绍java线程阻塞中断和LockSupport的使用,需要了解更多的朋友可以参考下
    2012-12-12
  • 解决Callable的对象中,用@Autowired注入别的对象失败问题

    解决Callable的对象中,用@Autowired注入别的对象失败问题

    这篇文章主要介绍了解决Callable的对象中,用@Autowired注入别的对象失败问题,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2021-07-07
  • Java数据类型分类与基本数据类型转换

    Java数据类型分类与基本数据类型转换

    这篇文章主要介绍了Java数据类型分类与基本数据类型转换,Java的数据类型主要分为两类,基本数据类型、引用数据类型,下文详细介绍,感兴趣的朋友可以参考一下
    2022-07-07

最新评论