海量数据处理策略之一—Hash映射 + Hash_map统计 + 堆/快速/归并排序_数据范围映射变动 hash

作者：从前慢现在也慢 | 2024-07-15 15:57:16

踩

数据范围映射变动 hash

时间：2014.05.21

地点：基地

说明：根据July的博客等整理，感谢July的无私奉献

心情：现在都好开心呀，想着要为以后的时光好好奋斗~

---------------------------------------------------------------------------------------

一、问题描述

海量日志数据，提取出某日访问百度次数最多的那个IP。

思路：由于数据集很大，我们的策略是先用哈希映射将海量数据集映射为适当数量的非海量数据集，这个非海量数据集的大小足够我们的计算机吃下。然后我们可用hash_map去对数据进行统计，最后根据统计数据采用堆/快速/归并排序等方式找出最值。

声明：本文内容由网友自发贡献，转载请注明出处：【wpsshop博客】