Redis实现数据的交集、并集、补集的示例

更新时间：2022年08月10日 11:52:23 作者：有梦想的攻城狮

本文主要介绍了Redis实现数据的交集、并集、补集的示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧

场景说明

今天我们来模拟一个这样的场景，我们在本地有多个文本文件，每个文件里面存了很多的32位的字符串作为用户的唯一标识，每个用户存做一行，假如我们每天都有非常大规模的用户，这样我们可能在工作中就存在需要对这些用户进行交集、并集或补集等处理，最简单的方式是通过Java中的集合来进行运算即可，比如通过HashSet来进行相应的一些运算，但是这样的运算存在一个局限性，那就是我们一般在JVM运行过程中初始的内存是有限的，这样如果全部在JVM内存中进行计算的话，很容易出现内存空间不足导致的OOM异常，那么我们今天来介绍一种拓展性更强的方式来进行这样的一些交并补的运算：通过Redis来实现数据的交集、并集、补集

环境说明

Redis版本： Redis 6.0.6
Jedis版本： 4.2.2
工具类hutool版本： 5.8.0.M3

pom文件：

<dependencies>
        <dependency>
            <groupId>redis.clients</groupId>
            <artifactId>jedis</artifactId>
            <version>4.2.2</version>
        </dependency>

        <dependency>
            <groupId>cn.hutool</groupId>
            <artifactId>hutool-all</artifactId>
            <version>5.8.0.M3</version>
        </dependency>

</dependencies>

交并补计算

初始化常量

public class RedisCalculateUtils {
    static String oneFileString = "/Users/tmp/test-1.txt";
    static String twoFileString = "/Users/tmp/test-2.txt";

    static String diffFileString = "/Users/tmp/diff-test.txt";

    static String interFileString = "/Users/tmp/inter-test.txt";

    static String unionFileString = "/Users/tmp/union-test.txt";

    static String oneFileCacheKey = "oneFile";

    static String twoFileCacheKey = "twoFile";

    static String diffFileCacheKey = "diffFile";

    static String interFileCacheKey = "interFile";

    static String unionFileCacheKey = "unionFile";
}

初始化数据到指定文件

/**
* 初始化数据并写入文件中
*/
public static void writeFile() {
        File oneFile = new File(oneFileString);
        List<String> fs = new ArrayList<>(10000);
        for (int i = 10000; i < 15000; i++) {
            String s = SecureUtil.md5(String.valueOf(i));
            fs.add(s);
        }

        FileUtil.writeUtf8Lines(fs, oneFile);

        File twoFile = new File(twoFileString);
        fs.clear();
        for (int i = 12000; i < 20000; i++) {
            String s = SecureUtil.md5(String.valueOf(i));
            fs.add(s);
        }

        FileUtil.writeUtf8Lines(fs, twoFile);
    }

指定文件写入Redis

/**
* 读取文件数据并写入Redis
*/
public static void writeCache() {
    try(Jedis jedis = new Jedis("127.0.0.1", 6379)) {
        Pipeline p = jedis.pipelined();
        List<String> oneFileStringList = FileUtil.readLines(oneFileString, "UTF-8");

        for (String s : oneFileStringList) {
            p.sadd(oneFileCacheKey, s);
        }
        p.sync();

        List<String> twoFileStringList = FileUtil.readLines(twoFileString, "UTF-8");

        for (String s : twoFileStringList) {
            p.sadd(twoFileCacheKey, s);
        }
        p.sync();

    } catch (Exception e) {
        throw new RuntimeException(e);
    }
}

差集的计算

    /**
     * oneKey对应的Set 与 twoKey对应的Set 的差集 并写入 threeKey
     * @param oneKey 差集前面的集合Key
     * @param twoKey 差集后面的集合Key
     * @param threeKey 差集结果的集合Key
     */
    public static void diff(String oneKey, String twoKey, String threeKey) {
        try(Jedis jedis = new Jedis("127.0.0.1", 6379)) {
            long result = jedis.sdiffstore(threeKey, oneKey, twoKey);
            System.out.println("oneKey 与 twoKey 的差集的个数：" + result);
        } catch (Exception e) {
            throw new RuntimeException(e);
        }
    }

差集计算结果写入到指定文件

    /**
     * 将计算的差集数据写入到指定文件
     */
    public static void writeDiffToFile() {
        File diffFile = new File(diffFileString);
        try(Jedis jedis = new Jedis("127.0.0.1", 6379)) {
            Set<String> result = jedis.smembers(diffFileCacheKey);
            FileUtil.writeUtf8Lines(result, diffFile);
        } catch (Exception e) {
            throw new RuntimeException(e);
        }
    }

交集的计算

/**
     *
     * @param cacheKeyArray 交集集合Key
     * @param destinationKey 交集集合结果Key
     */
    public static void inter(String[] cacheKeyArray, String destinationKey) {
        try(Jedis jedis = new Jedis("127.0.0.1", 6379)) {
            long result = jedis.sinterstore(destinationKey, cacheKeyArray);

            System.out.println("cacheKeyArray 的交集的个数：" + result);
        } catch (Exception e) {
            throw new RuntimeException(e);
        }
    }

交集计算结果写入指定文件

    /**
     * 将计算的交集数据写入到指定文件
     */
    public static void writeInterToFile() {
        File interFile = new File(interFileString);
        try(Jedis jedis = new Jedis("127.0.0.1", 6379)) {
            Set<String> result = jedis.smembers(interFileCacheKey);
            FileUtil.writeUtf8Lines(result, interFile);
        } catch (Exception e) {
            throw new RuntimeException(e);
        }
    }

并集的计算

    /**
     * 计算多个Key的并集并写入到新的Key
     * @param cacheKeyArray 求并集的Key
     * @param destinationKey 并集结果写入的KEY
     */
     public static void union(String[] cacheKeyArray, String destinationKey) {
         try(Jedis jedis = new Jedis("127.0.0.1", 6379)) {
             long result = jedis.sunionstore(destinationKey, cacheKeyArray);

             System.out.println("cacheKeyArray 的并集的个数：" + result);
         } catch (Exception e) {
             throw new RuntimeException(e);
         }
     }

并集计算结果写入到指定文件

    /**
     * 将计算的并集数据写入到指定文件
     */
    public static void writeUnionToFile() {
         File unionFile = new File(unionFileString);
         try(Jedis jedis = new Jedis("127.0.0.1", 6379)) {
             Set<String> result = jedis.smembers(unionFileCacheKey);
             FileUtil.writeUtf8Lines(result, unionFile);
         } catch (Exception e) {
             throw new RuntimeException(e);
         }
     }

Redis命令说明

SDIFFSTORE destination key [key …]

举例说明：

key1 = {a,b,c,d}
key2 = {c}
key3 = {a,c,e}
SDIFF key1 key2 key3 = {b,d}

SDIFFSTORE 命令的作用和SDIFF类似，不同的是它将结果保存到 destination 集合，而把结果集返回给客户端。

如果 destination 集合已经存在，则将其覆盖。

返回值

结果集中成员数量

SINTERSTORE destination key [key …]

举例说明：

key1 = {a,b,c,d}
key2 = {c}
key3 = {a,c,e}
SINTER key1 key2 key3 = {c}

SINTERSTORE 命令与 SINTER 命令类似，不同的是它并不是直接返回结果集，而是将结果保存在 destination 集合中。

如果 destination 集合存在, 则会被覆盖。

返回值

结果集中成员数量

SUNIONSTORE destination key [key …]

举例说明：

key1 = {a,b,c,d}
key2 = {c}
key3 = {a,c,e}
SUNION key1 key2 key3 = {a,b,c,d,e}

SUNIONSTORE 命令的功能类似于 SUNION，不同的是不反回结果集，而是存储在 destination 中。

如果 destination 已经存在，则被覆盖。

返回值

结果集中的成员数量

参考资料： https://www.redis.com.cn/set.html

到此这篇关于Redis实现数据的交集、并集、补集的示例的文章就介绍到这了,更多相关Redis数据交集、并集、补集内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

redis 交集、并集、差集的具体使用

利用Redis实现访问次数限流的方法详解
这篇文章主要给大家介绍了关于如何利用Redis实现访问次数限流的相关资料,文中通过实例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2022-02-02
一文搞懂Redis中String数据类型
string 是 redis 最基本的类型，你可以理解成与 Memcached 一模一样的类型，一个 key 对应一个 value。今天通过本文给大家介绍下Redis中String数据类型，感兴趣的朋友一起看看吧
2022-04-04
Redis批量生成数据的实现
本文主要介绍了Redis批量生成数据的实现，主要介绍了两种方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2022-06-06
高并发下Redis如何保持数据一致性(避免读后写)
本文主要介绍了高并发下Redis如何保持数据一致性(避免读后写)，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2022-03-03
Redis分布式锁之红锁的实现
本文主要介绍了Redis分布式锁之红锁的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2022-08-08
Redis模糊key查询两种方式总结
Redis作为一款高性能的键值存储系统,具有快速读写的特点,被广泛应用于分布式缓存、消息队列等领域,这篇文章主要给大家介绍了关于Redis模糊key查询两种方式的相关资料,需要的朋友可以参考下
2024-07-07
Redis+Caffeine实现多级缓存的步骤
随着不断的发展,这一架构也产生了改进,在一些场景下可能单纯使用Redis类的远程缓存已经不够了,还需要进一步配合本地缓存使用,例如Guava cache或Caffeine,从而再次提升程序的响应速度与服务性能,这篇文章主要介绍了Redis+Caffeine实现多级缓存,需要的朋友可以参考下
2024-01-01
一文带你了解Redis怎么启动以及使用
对于Redis我们一般会使用到三种启动方式:直接启动、指定配置文件启动、开机自启动,下面这篇文章主要给大家介绍了关于Redis怎么启动以及使用的相关资料,需要的朋友可以参考下
2023-04-04
redis实现共同好友的思路详解
微信朋友圈大家都玩过吧，那么朋友圈的点赞、评论只能看到自己好友的信息是怎么操作的呢？下面通过本文给大家分享下此功能的实现流程，对redis实现共同好友的方法感兴趣的朋友一起看看吧
2021-05-05
Redis实现接口防抖的示例代码
本文介绍了一种通过AOP、自定义注解和Redis实现的接口防抖技术,这种方法能有效避免因网络波动等原因短时间内发送多个请求导致的数据重复添加问题,感兴趣的可以了解一下
2024-10-10