布隆过滤器(Bloom Filter)的Java实现方法

 更新时间:2016年12月10日 09:47:54   投稿:jingxian  
下面小编就为大家带来一篇布隆过滤器(Bloom Filter)的Java实现方法。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧

布隆过滤器原理很简单:就是把一个字符串哈希成一个整数key,然后选取一个很长的比特序列,开始都是0,在key把此位置的0变为1;下次进来一个字符串,哈希之后的值key,如果在此比特位上的值也是1,那么就说明这个字符串存在了。

如果按照上面的做法,那就和哈希算法没有什么区别了,哈希算法还有重复的呢。

布隆过滤器是将一个字符串哈希成多个key,我还是按照书上的说吧。

先建立一个16亿二进制常量,然后将这16亿个二进制位全部置0。对于每个字符串,用8个不同的随机产生器(F1,F2,.....,F8)产生8个信息指纹(f1,f2,....,f8).再用一个随机数产生器G把这八个信息指纹映射到1到16亿中的8个自然数g1,g2,...,g8。现在把这8个位置的二进制位全部变为1。这样一个布隆过滤器就建好了。

那么如何检测一个字符串是否已经存在了呢?

现在用8个随机数产生器(F1,F2,...,F8)对这个字符串产生8个信息指纹s1,s2,...,s8,然后将这8个信息指纹对应到布隆过滤器的8个二进制位,分别是T1,T2,...,T8.如果字符串存在,那么显然T1,T2,...,T8对应的二进制位都应该是1。就是这样来判断字符串是否已经存在的。

其实布隆过滤器就是对哈希算法的一个扩展,既然本质是哈希,那么就肯定会有不足,也就是说,肯定会有误判,一个字符串明明没有出现过而布隆过滤器判断出现了,虽然可能性很小,但是确实存在。

那么如何减少这种概率呢,首先可以想到的是如果将8个信息指纹扩展到16个错误的概率肯定会降低,但是也要考虑到,这样的话,那么一个布隆过滤器所能存储的字符串数量也降低了1倍;另外就是选取很好的哈希函数,对字符串的哈希方法有很多种,其中不乏很好的哈希函数。

布隆过滤器主要运用在过滤恶意网址用的,将所有的恶意网址建立在一个布隆过滤器上,然后对用户的访问的网址进行检测,如果在恶意网址中那么就通知用户。这样的话,我们还可以对一些常出现判断错误的网址设定一个白名单,然后对出现判断存在的网址再和白名单中的网址进行匹配,如果在白名单中,那么就放行。当然这个白名单不能太大,也不会太大,布隆过滤器错误的概率是很小的。有兴趣的读者可以去查阅,布隆过滤器的错误率。

下面给出Java版的布隆过滤器源码:

import java.util.BitSet; 
 
/** 
 * 
 * @author xkey 
 */ 
public class BloomFilter { 
 
  private static final int DEFAULT_SIZE = 2 << 24;//布隆过滤器的比特长度 
  private static final int[] seeds = {3,5,7, 11, 13, 31, 37, 61};//这里要选取质数,能很好的降低错误率 
  private static BitSet bits = new BitSet(DEFAULT_SIZE); 
  private static SimpleHash[] func = new SimpleHash[seeds.length]; 
 
  public static void addValue(String value) 
  { 
    for(SimpleHash f : func)//将字符串value哈希为8个或多个整数,然后在这些整数的bit上变为1 
      bits.set(f.hash(value),true); 
  } 
   
  public static void add(String value) 
  { 
    if(value != null) addValue(value); 
  } 
   
  public static boolean contains(String value) 
  { 
    if(value == null) return false; 
    boolean ret = true; 
    for(SimpleHash f : func)//这里其实没必要全部跑完,只要一次ret==false那么就不包含这个字符串 
      ret = ret && bits.get(f.hash(value)); 
    return ret; 
  } 
   
  public static void main(String[] args) { 
    String value = "www.jb51.net"; 
    for (int i = 0; i < seeds.length; i++) { 
      func[i] = new SimpleHash(DEFAULT_SIZE, seeds[i]); 
    } 
    add(value); 
    System.out.println(contains(value)); 
  } 
} 
 
class SimpleHash {//这玩意相当于C++中的结构体 
 
  private int cap; 
  private int seed; 
 
  public SimpleHash(int cap, int seed) { 
    this.cap = cap; 
    this.seed = seed; 
  } 
 
  public int hash(String value) {//字符串哈希,选取好的哈希函数很重要 
    int result = 0; 
    int len = value.length(); 
    for (int i = 0; i < len; i++) { 
      result = seed * result + value.charAt(i); 
    } 
    return (cap - 1) & result; 
  } 
} 

总结:布隆过滤器是对哈希算法的一种创新,而且需要消耗的空间也很小,错误率很低。总之这种创新的思路很值得学习,是一种对bit这种数据类型的运用。

以上这篇布隆过滤器(Bloom Filter)的Java实现方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • jmeter如何自动生成测试报告

    jmeter如何自动生成测试报告

    这篇文章主要介绍了jmeter如何自动生成测试报告,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-10-10
  • SpringBoot使用PageHelper插件实现Mybatis分页效果

    SpringBoot使用PageHelper插件实现Mybatis分页效果

    这篇文章主要介绍了SpringBoot使用PageHelper插件实现Mybatis分页效果,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作有一定的参考借鉴价值,需要的朋友可以参考下
    2024-02-02
  • 剖析SpringCloud Feign中所隐藏的坑

    剖析SpringCloud Feign中所隐藏的坑

    这篇文章主要为大家介绍了剖析SpringCloud Feign中所隐藏的坑示例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2022-08-08
  • 解决Mybatis mappe同时传递 List 和其他参数报错的问题

    解决Mybatis mappe同时传递 List 和其他参数报错的问题

    在使用MyBatis时,如果需要传递多个参数到SQL中,可以遇到参数绑定问题,解决方法包括使用@Param注解和修改mapper.xml配置,感兴趣的朋友跟随小编一起看看吧
    2024-09-09
  • Java线程阻塞的方法区别详解

    Java线程阻塞的方法区别详解

    这篇文章主要介绍了Java线程阻塞的方法区别详解,线程阻塞是指当一个线程无法继续执行时,它会进入阻塞状态,直到某个条件满足后才能继续执行,线程阻塞可以通过多种方式实现,如等待锁、等待IO操作、等待其他线程的完成等,需要的朋友可以参考下
    2023-10-10
  • 深入理解注解与自定义注解的一些概念

    深入理解注解与自定义注解的一些概念

    今天给大家带来的文章是注解的相关知识,本文围绕着注解与自定义注解的一些概念展开,文中详细介绍了这些知识,需要的朋友可以参考下
    2021-06-06
  • Java如何读取XML文件 具体实现

    Java如何读取XML文件 具体实现

    这篇文章主要介绍了Java如何读取XML文件 具体实现,有需要的朋友可以参考一下
    2013-12-12
  • 全方位讲解Java的面向对象编程思想

    全方位讲解Java的面向对象编程思想

    这篇文章主要介绍了Java的面相对象编程思想,包括类对象方法和封装继承多态等各个方面的OOP基本要素,非常推荐,需要的朋友可以参考下
    2016-01-01
  • mybatis xml文件热加载实现示例详解

    mybatis xml文件热加载实现示例详解

    这篇文章主要为大家介绍了mybatis xml文件热加载实现示例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2023-03-03
  • 快速解决List集合add元素,添加多个对象出现重复的问题

    快速解决List集合add元素,添加多个对象出现重复的问题

    这篇文章主要介绍了快速解决List集合add元素,添加多个对象出现重复的问题,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-08-08

最新评论