- 每天活跃用户100万,每人一天平均100条:
100万 * 100 = 1亿条 - 每条日志 1k 左右,每天 1亿条:`1亿 /1024/1024 ≈ 100G
- 半年内不扩容服务器计算:
100G*180天 ≈ 18T - 保存3副本:
18T * 3 = 54T - 预留20% - 30% buf:
54T /0.7 ≈ 77T
假设:服务器 8T 硬盘,那么需要 77T / 8T ≈ 10台服务器
数据仓库分层:由于分层,数据量会增多,需要需要更多的服务器
数据压缩:hadoop可以启用数据压缩,开启后,体积大大减小
总结:综合上面,最终 3台服务器可使用半年,5-10台服务器可使用1-2年