Redis缓存穿透

缓存穿透是指查询一个根本不存在的数据,缓存层和存储层都不会命中,通常处于容错的考虑,如果从存储层查不到数据则不写入缓存层。
缓存层将导致不存在的数据每次请求都要存储层去查询,失去了缓存保护后端存储的意义。
造成缓存穿透的基本原因有两个:

  1. 自身业务代码或者数据出现问题。
  2. 一些恶意攻击、爬虫等造成大量空命中。

缓存穿透问题解决方案

  1. 缓冲空对象

    下面是伪代码

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    String get(String key) {
    // 从缓存中获取数据
    String cacheValue = cache.get(key);
    // 缓存为空
    if (StringUtils.isBlank(cacheValue)) {
    // 从存储中获取
    String storageValue = storage.get(key);
    cache.set(key, storageValue);
    // 如果存储数据为空, 需要设置一个过期时间(300秒)
    if (storageValue == null) {
    cache.expire(key, 60 * 5);
    }
    return storageValue;
    } else {
    // 缓存非空
    return cacheValue;
    }
    }
  2. 布隆过滤器

    对于恶意攻击,向服务器请求大量不存在的数据造成的缓存穿透,还可以用布隆过滤器先做一次过滤,对于不存在的数据布隆过滤器一般都能够过滤掉,不让请求再往后端发送。当布隆过滤器说某个值存在时,这个值可能不存在;当他说不存在时,那就肯定不存在。
    布隆过滤器原理图

    布隆过滤器就是一个大型的位数组和几个不一样的无偏hash函数。所谓无偏就是能够把元素的hash值算的比较均匀。

    向布隆过滤器中添加key时,会使用多个hash函数对key进行hash算的一个整数索引值,然后对位数组长度进行取模算的一个位置,每个hash函数都会算得一个不同的位置。再把位数组的这几个位置都置为1就完成了add操作。 向布隆过滤器询问key是否存在时,跟add一样,也会把hash的几个位置都算出来,看看位数组中几个位置是否都为1,只要有一个为0,那么说明布隆过滤器中这个key不存在。如果都是1,这并不能说明这个key就一定存在,只是极有可能存在,因为这些位置为1可能是因为其他的key存在导致的。如果这个位数组比较稀疏,这个概率就会很大,如果这个位数组比较拥挤,这个概率就会降低。

    这种方法适用于数据命中不高、数据相对固定、实时性低(通常是数据集较大)的应用场景,代码维护较为复杂,但是缓存空间占用很少

    布隆过滤器的实现

    可以用redission实现布隆过滤器,引入依赖:

    1
    2
    3
    4
    5
    <dependency>
    <groupId>org.redisson</groupId>
    <artifactId>redisson</artifactId>
    <version>3.6.5</version>
    </dependency>

    示例伪代码:

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    package com.redisson;

    import org.redisson.Redisson;
    import org.redisson.api.RBloomFilter;
    import org.redisson.api.RedissonClient;
    import org.redisson.config.Config;

    public class RedissonBloomFilter {

    public static void main(String[] args) {
    Config config = new Config();
    config.useSingleServer().setAddress("redis://localhost:6379");
    //构造Redisson
    RedissonClient redisson = Redisson.create(config);

    RBloomFilter<String> bloomFilter = redisson.getBloomFilter("nameList");
    //初始化布隆过滤器:预计元素为100000000L,误差率为3%,根据这两个参数会计算出底层的bit数组大小
    bloomFilter.tryInit(100000000L,0.03);
    //将zhuge插入到布隆过滤器中
    bloomFilter.add("zhangsan");

    //判断下面号码是否在布隆过滤器中
    System.out.println(bloomFilter.contains("lisi"));//false
    System.out.println(bloomFilter.contains("wangwu"));//false
    System.out.println(bloomFilter.contains("zhangsan"));//true
    }
    }

    使用布隆过滤器需要把所有数据提前放入布隆过滤器,并且在增加数据时也要往布隆过滤器里放,布隆过滤器缓存过滤伪代码:

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    //初始化布隆过滤器
    RBloomFilter<String> bloomFilter = redisson.getBloomFilter("nameList");
    //初始化布隆过滤器:预计元素为100000000L,误差率为3%
    bloomFilter.tryInit(100000000L,0.03);

    //把所有数据存入布隆过滤器
    void init(){
        for (String key: keys) {
            bloomFilter.put(key);
        }
    }

    String get(String key) {
        // 从布隆过滤器这一级缓存判断下key是否存在
        Boolean exist = bloomFilter.contains(key);
        if(!exist){
            return "";
        }
        // 从缓存中获取数据
        String cacheValue = cache.get(key);
        // 缓存为空
        if (StringUtils.isBlank(cacheValue)) {
            // 从存储中获取
            String storageValue = storage.get(key);
            cache.set(key, storageValue);
            // 如果存储数据为空, 需要设置一个过期时间(300秒)
            if (storageValue == null) {
                cache.expire(key, 60 * 5);
            }
            return storageValue;
        } else {
            // 缓存非空
            return cacheValue;
        }
    }

    注意:布隆过滤器不能删除数据,如果要删除得重新初始化数据。

  • 版权声明: 本博客所有文章除特别声明外,著作权归作者所有。转载请注明出处!

请我喝杯咖啡吧~

支付宝
微信