赞
踩
就压缩而言,对于数据储存应该是一个比较大的优化,
而 Kafka 自然也是支持这种特性的,
但是这里可能会有那么一点坑。
我们主要从:
两个方面来说,并针对一些可能出现的坑做一些说明。
Consumer端
消费数据自然需要将数据解压缩,这个没什么好说的。
Broker端
这里可能你要奇怪了,
为什么Broker端还要解压缩呢?
实际上Broker端只是为了进行消息的校检,
以保证数据的正确性,
这样必然会给Broker端的性能带来一定的影响,
但是就目前来说,好像也没什么好的解决办法。
最后 附上一张压缩算法对比图
使用lzbench (一种开源内存基准测试工具)在运行Linux Debian的服务器上执行多个快速压缩算法测试获取的结果。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。