标签: 大数据

大数据去重算法：从 Bitmap 到 HyperLogLog

去重（COUNT DISTINCT）是大数据分析中最常见也最棘手的操作。本文系统拆解两类核心去重算法——精确去重的 Bitmap/Roaring Bitmap 和近似去重的 HyperLogLog，从原理、空间复杂度、工程实现到选型决策，给出完整的技术选型框架。