布隆过滤器实战与替代方案

上一章讲了原理，本章讲工程落地：在 Redis 上怎么用（模块方案与自研位图各有什么代价）、进程内有哪些现成实现、误判怎么兜底、数据怎么过期与重建。先记住一句核心结论：布隆过滤器只是前置拦截层，判定"可能存在"之后必须回查真实数据源。

方案一：Redis 布隆过滤器（RedisBloom 模块）

Redis 本身没有内置布隆过滤器，加载 RedisBloom 模块后可使用 BF.* 系列命令。命令参数与返回值请以官方文档为准，下面是用法示意：

BF.RESERVE url:bloom 0.01 100000000   # 键名、误判率、预估元素个数；输出：OK
BF.ADD url:bloom "https://example.com/a"          # 输出：1
BF.EXISTS url:bloom "https://example.com/a"       # 输出：1，表示可能存在
BF.EXISTS url:bloom "https://example.com/never"   # 输出：0，表示一定不存在
BF.MEXISTS url:bloom "https://example.com/a" "https://example.com/b"
BF.INFO url:bloom                                 # 查看容量、已用元素、误判率等元信息

维度	说明
优点	不必自己实现哈希与位运算；多实例共享同一份过滤器；扩容与运维交给 Redis
缺点	强依赖中间件模块，需评估版本与运维能力；每次判断一次网络往返
适用	过滤器需在多个服务实例间共享，或数据量超过单机内存预算

不接受额外模块依赖时，可在应用内存中自建过滤器（各实例各存一份），或自行用位图实现共享。

方案二：自研位图（SETBIT / GETBIT）

思路与上一章的 Go 实现一致，只是把位数组换成 Redis 位图：

SETBIT bloom:u 12345 1      # 输出：0，返回该位原来的值
SETBIT bloom:u 67890 1
GETBIT bloom:u 12345        # 输出：1
GETBIT bloom:u 11111        # 输出：0 → 一定不存在

exists(key):
    for i in 0 .. k-1:
        off = hash(key, i) % m
        if GETBIT bloom:{shard} off == 0: return false   # 一定不存在
    return true                                          # 可能存在，继续查缓存/数据库

工程要点：

• 必须分片：Redis 单个字符串上限为 512 MB（官方文档），位偏移也有上限，大容量场景应按 hash(key) % N 拆到 bloom:0 ... bloom:N-1，每片独立规划位数；
• 批量查询用 pipeline：k 个 GETBIT 合并为一次往返，否则网络延迟成为瓶颈；
• 分片不改变误判率：分片只影响数据分布，总容量与哈希个数仍需按总量规划。

方案三：进程内实现（Guava 与其它）

Java 生态最常用 Guava 的 BloomFilter，适合单实例或每实例一份副本的场景：

// 片段，需放入工程（依赖 Guava）
BloomFilter<String> filter = BloomFilter.create(
        Funnels.stringFunnel(StandardCharsets.UTF_8),
        1_000_000L,   // 预估元素个数
        0.01);        // 可接受误判率

filter.put("https://example.com/a");
boolean maybe = filter.mightContain("https://example.com/a");       // 输出：true
boolean absent = filter.mightContain("https://example.com/never");  // 通常 false，仍可能误判为 true

实现	数据位置	支持删除	说明
Guava BloomFilter	单进程内存	否	各实例数据不共享，重启需重建
RedisBloom 模块	Redis 服务端	否	多实例共享，需模块支持
Redis 位图自研	Redis 服务端	否	无模块依赖，需自己分片调参
布谷鸟过滤器	视实现而定	是	支持删除，具体 API 与容量特性以所选项目官方文档为准

Guava 未提供布谷鸟过滤器的实现，需要删除能力时要引入其它库或自行实现，选型前先阅读对应项目的官方文档。

误判兜底设计

布隆会误判，所以"存在"分支必须回查真实数据，形成三层校验：

function getProduct(id):
    if not bloom.mightContain(id):     # 第一层：快速拦截，一定不存在
        return null
    v = cache.get("product:" + id)     # 第二层：缓存
    if v != null: return v
    row = db.query("SELECT * FROM product WHERE id = ?", id)   # 第三层：数据库回查
    if row == null:
        metrics.incr("bloom.false.positive")        # 误判必须打点，用于评估真实误判率
        cache.set("product:empty:" + id, "", 60)    # 空值缓存设短过期，避免长期挡住新数据
        return null
    cache.set("product:" + id, row, 3600)
    return row

三条纪律：

1. 必须监控误判次数：把"布隆说存在但库中没有"打点，实际误判率远超预期说明容量配置不足；
2. 不要用布隆做业务判断：涉及金额、库存、权限的逻辑一律以数据库为准；
3. 空值缓存要设短过期时间，否则数据后来真的入库了仍会返回空。

布隆过滤器的过期与重建

布隆不支持按元素删除，也无法让单个元素过期，只能整体重建：

做法	说明	适用
定时全量重建	定时任务扫全量数据，生成新过滤器后替换	数据量中等，可接受分钟级延迟
双缓冲切换	新旧两份并存，新过滤器建好后切换读指针	要求切换期间不丢数据
时间分桶	每天/每小时一个过滤器，只查最近 N 个桶	数据有明显时效性，如当日黑名单

rebuild():
    DEL bloom:building
    for batch in scanAllKeys(1000):          # 分批扫描，避免大 key 阻塞
        for k in batch: SETBIT bloom:building ...
    RENAME bloom:building bloom:cur          # 原子替换，读流量无感切换
    log("bloom rebuilt")

时间分桶把"过期"交给时间：查询时只查今天、昨天、前天三个桶，超过三天的数据自然不再被过滤，等于实现了按时间淘汰。

落地检查清单

• 是否按一年后的量级预留了最大元素数
• 目标误判率是否写入设计文档并有对应监控指标
• 数据源新增/删除时，过滤器是否有同步或重建机制
• 缓存穿透防护中，空值缓存是否与布隆配合使用
• 冷启动时过滤器为空会放行全部请求，是否准备了预热步骤
• Redis 位图方案是否已按容量分片，避免撑破单 key 上限

小结：落地布隆过滤器有三条路——RedisBloom 模块最省事、Redis 位图自研最灵活、进程内 Guava 实现最简单但数据不共享；无论哪种，都要保留"过滤后仍回查数据库"的兜底分支，并监控真实误判率。由于布隆不支持删除与单元素过期，必须提前设计定时重建或时间分桶方案。