SpringBoot+Redis实现布隆过滤器的示例代码
更新时间：2022年03月17日 11:08:26 作者：小小陈丶
本文主要介绍了SpringBoot+Redis实现布隆过滤器的示例代码，文中根据实例编码详细介绍的十分详尽，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
简述
关于布隆过滤器的详细介绍，我在这里就不再赘述一遍了
我们首先知道：BloomFilter使用长度为m bit的字节数组，使用k个hash函数，增加一个元素: 通过k次hash将元素映射到字节数组中k个位置中，并设置对应位置的字节为1。查询元素是否存在: 将元素k次hash得到k个位置，如果对应k个位置的bit是1则认为存在，反之则认为不存在。
Guava 中已经有具体的实现，而在我们实际生产环境中，本地的存储往往无法满足我们实际的 需求。所以在这时候，就需要我们使用 redis 了。
Redis 安装 Bloom Filter
git clone https://github.com/RedisLabsModules/redisbloom.git cd redisbloom make # 编译 vi redis.conf ## 增加配置 loadmodule /usr/local/web/redis/RedisBloom-1.1.1/rebloom.so ##redis 重启 #关闭 ./redis-cli -h 127.0.0.1 -p 6379 shutdown #启动 ./redis-server ../redis.conf &
基本指令
#创建布隆过滤器，并设置一个期望的错误率和初始大小 bf.reserve userid 0.01 100000 #往过滤器中添加元素 bf.add userid 'sbc@163.com' #判断指定key的value是否在bloomfilter里存在，存在：返回1，不存在：返回0 bf.exists userid 'sbc@163.com'
结合 SpingBoot
搭建一个简单的 springboot 框架
方式一
配置
<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <groupId>com.bloom</groupId> <artifactId>test-bloomfilter</artifactId> <version>1.0-SNAPSHOT</version> <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>1.5.8.RELEASE</version> <relativePath/> <!-- lookup parent from repository --> </parent> <dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter</artifactId> </dependency> <dependency> <groupId>org.apache.commons</groupId> <artifactId>commons-lang3</artifactId> <version>3.0.1</version> </dependency> </dependencies> </project>
redis本身对布隆过滤器就有一个很好地实现，在 java 端，我们直接导入 redisson 的 jar包即可
<dependency> <groupId>org.redisson</groupId> <artifactId>redisson</artifactId> <version>3.8.2</version> </dependency>
将 Redisson实例 注入 SpringIOC 容器中
@Configuration
public class RedissonConfig {
@Value("${redisson.redis.address}")
private String address;
@Value("${redisson.redis.password}")
private String password;
@Bean
public Config redissionConfig() {
Config config = new Config();
SingleServerConfig singleServerConfig = config.useSingleServer();
singleServerConfig.setAddress(address);
if (StringUtils.isNotEmpty(password)) {
singleServerConfig.setPassword(password);
}
return config;
}
@Bean
public RedissonClient redissonClient() {
return Redisson.create(redissionConfig());
}
}配置文件
redisson.redis.address=redis://127.0.0.1:6379 redisson.redis.password=
最后测试我们的布隆过滤器
@SpringBootApplication
public class BloomApplication {
public static void main(String[] args) {
ConfigurableApplicationContext context = SpringApplication.run(BloomApplication.class, args);
RedissonClient redisson = context.getBean(RedissonClient.class);
RBloomFilter bf = redisson.getBloomFilter("test-bloom-filter");
bf.tryInit(100000L, 0.03);
Set<String> set = new HashSet<String>(1000);
List<String> list = new ArrayList<String>(1000);
//向布隆过滤器中填充数据，为了测试真实，我们记录了 1000 个 uuid，另外 9000个作为干扰数据
for (int i = 0; i < 10000; i++) {
String uuid = UUID.randomUUID().toString();
if(i<1000){
set.add(uuid);
list.add(uuid);
}
bf.add(uuid);
}
int wrong = 0; // 布隆过滤器误判的次数
int right = 0;// 布隆过滤器正确次数
for (int i = 0; i < 10000; i++) {
String str = i % 10 == 0 ? list.get(i / 10) : UUID.randomUUID().toString();
if (bf.contains(str)) {
if (set.contains(str)) {
right++;
} else {
wrong++;
}
}
}
//right 为1000
System.out.println("right:" + right);
//因为误差率为3%，所以一万条数据wrong的值在30左右
System.out.println("wrong:" + wrong);
//过滤器剩余空间大小
System.out.println(bf.count());
}
}以上使我们使用 redisson 的使用方式，下面介绍一种比较原始的方式，使用lua脚本的方式
方式二
bf_add.lua
local bloomName = KEYS[1]
local value = KEYS[2]
local result = redis.call('BF.ADD',bloomName,value)
return resultbf_exist.lua
local bloomName = KEYS[1]
local value = KEYS[2]
local result = redis.call('BF.EXISTS',bloomName,value)
return result@Service
public class RedisBloomFilterService {
@Autowired
private RedisTemplate redisTemplate;
//我们依旧用刚刚的那个过滤器
public static final String BLOOMFILTER_NAME = "test-bloom-filter";
/**
* 向布隆过滤器添加元素
* @param str
* @return
*/
public Boolean bloomAdd(String str) {
DefaultRedisScript<Boolean> LuaScript = new DefaultRedisScript<Boolean>();
LuaScript.setScriptSource(new ResourceScriptSource(new ClassPathResource("bf_add.lua")));
LuaScript.setResultType(Boolean.class);
//封装传递脚本参数
List<String> params = new ArrayList<String>();
params.add(BLOOMFILTER_NAME);
params.add(str);
return (Boolean) redisTemplate.execute(LuaScript, params);
}
/**
* 检验元素是否可能存在于布隆过滤器中 * @param id * @return
*/
public Boolean bloomExist(String str) {
DefaultRedisScript<Boolean> LuaScript = new DefaultRedisScript<Boolean>();
LuaScript.setScriptSource(new ResourceScriptSource(new ClassPathResource("bf_exist.lua")));
LuaScript.setResultType(Boolean.class);
//封装传递脚本参数
ArrayList<String> params = new ArrayList<String>();
params.add(BLOOMFILTER_NAME);
params.add(String.valueOf(str));
return (Boolean) redisTemplate.execute(LuaScript, params);
}
}最后我们还是用上面的启动器执行测试代码
@SpringBootApplication
public class BloomApplication {
public static void main(String[] args) {
ConfigurableApplicationContext context = SpringApplication.run(BloomApplication.class, args);
RedisBloomFilterService filterService = context.getBean(RedisBloomFilterService.class);
Set<String> set = new HashSet<String>(1000);
List<String> list = new ArrayList<String>(1000);
//向布隆过滤器中填充数据，为了测试真实，我们记录了 1000 个 uuid，另外 9000个作为干扰数据
for (int i = 0; i < 10000; i++) {
String uuid = UUID.randomUUID().toString();
if (i < 1000) {
set.add(uuid);
list.add(uuid);
}
filterService.bloomAdd(uuid);
}
int wrong = 0; // 布隆过滤器误判的次数
int right = 0;// 布隆过滤器正确次数
for (int i = 0; i < 10000; i++) {
String str = i % 10 == 0 ? list.get(i / 10) : UUID.randomUUID().toString();
if (filterService.bloomExist(str)) {
if (set.contains(str)) {
right++;
} else {
wrong++;
}
}
}
//right 为1000
System.out.println("right:" + right);
//因为误差率为3%，所以一万条数据wrong的值在30左右
System.out.println("wrong:" + wrong);
}
}相比而言，个人比较推荐第一种，实现的原理都是差不多，redis 官方已经为我封装好了执行脚本，和相关 api，用官方的会更好一点
到此这篇关于SpringBoot+Redis实现布隆过滤器的示例代码的文章就介绍到这了,更多相关SpringBoot Redis布隆过滤器内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
这篇文章主要介绍了IDEA中多行注释及取消注释的快捷键分享，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2021-02-02
本篇文章主要介绍了Spring boot 跳转到jsp页面的实现方法，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2017-04-04
Spring主配置文件(applicationContext.xml) 导入约束详解
在本篇文章里我们给各位整理的是关于Spring主配置文件(applicationContext.xml) 导入约束的相关知识点内容，需要参考下。2019-08-08
Spring如何使用PropertyPlaceholderConfigurer读取文件
这篇文章主要介绍了Spring如何使用PropertyPlaceholderConfigurer读取文件,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-12-12
这篇文章主要介绍了mybatis学习之路mysql批量新增数据的方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-02-02
System.getProperty(user.dir)定位问题解析
System.getProperty(user.dir) 获取的是启动项目的容器位置，用IDEA是项目的根目录，部署在tomcat上是tomcat的启动路径，即tomcat/bin的位置，这篇文章主要介绍了System.getProperty(user.dir)定位问题,需要的朋友可以参考下2023-05-05
这篇文章主要介绍了Java 7菱形语法与泛型构造器,结合实例形式分析了Java菱形语法与泛型构造器相关原理与使用技巧,需要的朋友可以参考下2019-07-07
这篇文章主要介绍了MyBatis常用标签大全的相关资料,非常不错，具有参考借鉴价值，需要的朋友可以参考下2016-12-12
这篇文章主要介绍了Java如何基于poi操作Wold工具类,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-03-03
这篇文章主要介绍了java使用TimeZone将中国标准时间转成时区值的相关资料,需要的朋友可以参考下2023-11-11
最新评论