哈希函数
- 输入域无穷
- 输出域S有限,比如MD5的返回值是0~2的64次方-1
- 相同的输入,一定返回相同的输出(不随机)
- 不同的输入,可能有相同的输出(哈希碰撞),但是概率非常低
- 每一个输出都均匀离散
设计RandomPool结构
设计一种结构,在该结构中有如下三个功能:
insert(key):将某个key加入到该结构,做到不重复加入
delete(key):将原来在结构中的某个key移除
getRandom():等概率返回结构中的任何一个key
要求:时间复杂度都是O(1)
思路:
- 设计两个hash表,第一个hash表对应(key, value),第二个哈希表对应(value, key)。再设置一个变量size,表示hash表中有多少元素。
private HashMap<K, Integer> keyIndexMap;
private HashMap<Integer, K> indexKeyMap;
private int size;
//初始化
public Pool()
{
this.keyIndexMap = new HashMap<K, Integer>();
this.indexKeyMap = new HashMap<Integer, K>();
this.size = 0;
}
- insert操作
public void insert(K key)
{
if(!this.keyIndexMap.containsKey(key))
{
this.keyIndexMap.put(key, size);
this.indexKeyMap.put(size, key);
size++;
}
}
- delete操作
删除操作中,为了保证以O(1)随机返回任何一个key,这里在删除任何一个key时,都用最后一个key代替这个key,然后删除最后一个key。
public void delete(K key)
{
if(this.keyIndexMap.containsKey(key))
{
int deleteIndex = this.keyIndexMap.get(key);//删除位置的索引
int lastIndex = --this,size;//最后一个key的索引
K lastKey = this.indexKeyMap.get(lastIndex);//最后一个key
this.keyIndexMap.put(lastKey, deleteIndex);
this.indexKeyMap.put(deleteIndex, lastKey);
this.keyIndexMap.remove(key);
this.indexKeyMap.remove(lastIndex);
}
}
- getRandom操作
public K getRandom()
{
if(this.size == 0)
{
return null;
}
//等概率0-size-1
int randomIndex = (int)(Math.random() * this.size);
return this.indexKeyMap.get(randomIndex);
}
详解布隆过滤器
- 没有删除行为,只有加入和查询行为
- 做到使用空间很少,允许一定程度的失误率
- 布隆过滤器可能将白名单的用户当成了黑名单,但不会将黑名单的用户当成白名单
- 可以通过人为设计,将失误率降为万分之一,但不可避免。
讲布隆过滤器之前,先了解一下位图
bit arr,bit map
int[100]:占用400个字节
long[100]:占用800个字节
bit[100]:占用100/8个字节
public static void main(String[] args){
//a实际上占32bit
int a = 0;
//32bit * 10 -> 320bits
//arr[0] 可以表示0~31位bit
//arr[1] 可以表示32~63位bit
int[] arr = new int[10];
//想取得第178个bit的状态
int i = 178;
//定位出第178位所对应的数组元素是哪个
int numIndex = i / 32;
//定位出相应数组元素后,需要知道是数组元素的哪一位
int bitIndex = i % 32;
//拿到第178位的状态
int s = ( (arr[numIndex] >> (bitIndex)) & 1);
//把第i位的状态改成1
arr[numIndex] = arr[numIndex] | (1<<(bitIndex));
//把第i位的状态改成0
arr[numIndex] = arr[numIndex] & (~ (1 << bitIndex));
//把第i位拿出来
int bit = (arr[i/32] >> (i%32)) & 1;
}
布隆过滤器就是一个大位图
有空在补,困死了
相关链接