思路
于海量数据而言，由于无法一次性装进内存处理，导致我们不得不把海量的数据通过hash映射分割成相应的小块数据，然后再针对各个小块数据通过hashmap进行统计或其它操作。
那什么是hash映射呢？简单来说，就是为了便于计算机在有限的内存中处理大数据，我们通过一种映射散列的方式让数据均匀分布在对应的内存位置（如大数据通过取余的方式映射成小数存放在内存中，或大文件映射成多个小文件），而这个映射散列方式便是我们通常所说的hash函数，设计的好的hash函数能让数据均匀分布而减少冲突。
问题1 - 海量日志数据，提取出某日访问百度次数最多的那个IP
题目
海量日志数据，提取出某日访问百度次数最多的那个IP
分析
百度作为国内第一大搜索引擎，每天访问它的 IP 数量巨大，如果想一次性把所有 IP 数据 装进内存处理，则内存容量明显不够，故针对数据太大，内存受限的情况，可以把大文件转化成 （取模映射）小文件，从而大而化小，逐个处理。
说白了，就是先映射，而后统计，最后排序：
- 分而治之（hash映射）：首先把这一天访问百度日志的所有 IP 提取出来，然后逐个写入到一个大文件中， 接着采用映射的方法，比如%1000，把整个大文件映射为 1000 个小文件。
- hashmap统计：当大文件转化成了小文件，那么我们便可以采用 hash_map(ip, value)来分别对 1000 个小文件中的 IP 进行频率统计，再找出每个小文件中出现频率最大的 IP。
- 堆排序/快速排序/归并排序：统计完了之后，便进行排序（可采取堆排序/快速排序/归并排序），得到次数最多的IP。
具体而论，首先是从百度的总日志中，提取出这一天的日志来，逐个写入到一个大文件中。注意到，IP是32位的，因此最多有个$2^{32}$个IP。我们可以采用IP的hash值进行映射分割的方法（比如hash(IP)%1000），以把这一个大文件映射分割为1000个小文件，再找出每个小文件中出现频率最高的那个IP（可以采用hashmap对那1000个文件中的所有IP进行频率统计，然后依次找出各个文件中频率最大的那个IP）及相应的频率。然后再在这1000个最大的IP中，找出那个频率最大的IP，即为所求。
关于本题，还有几个问题，如下：
- Hash取模是一种等价映射，换句话说，不会存在同一个元素（同一个IP）被分散到不同小文件中的情况，即这里采用的是hash(IP)mod1000算法。因为相同的IP对其求hash值，它们的hash值一定相同，而再对它们的hash值取模，值仍然也一定相同。因此，相同的IP只可能落在同一个文件中，而不可能被分散到不同文件的。
- 那到底什么是hash映射呢？简单来说，就是为了便于计算机在有限的内存中处理大数据，从而通过一种映射散列的方式让数据均匀分布在对应的内存位置（如大数据通过取余的方式映射成小树存放在内存中，或大文件映射成多个小文件），而这个映射散列方式便是我们通常所说的hash函数，设计的好的hash函数能让数据均匀分布而减少冲突。尽管数据映射到了另外一些不同的位置，但数据还是原来的数据，只是代替和表示这些原始数据的形式发生了变化而已。
总结
总结来说，对于此类只是模糊描述为海量数据，而没有给出具体数据结构的大小的问题，需要考虑因为数据太大，因而无法一次全部装入内存的情况。而且，要通过“对每条数据进行hash再取模的方法，将数据映射分割到N个小文件中"的方式来处理。
问题2 - 寻找热门查询，300万个查询字符串中统计最热门的10个查询
题目
搜索引擎会通过日志文件把用户每次检索使用的所有检索串都记录下来，每个查询串的长度为1-255字节。假设目前有一千万个记录（这些查询串的重复度比较高，虽然总数是1千万，但如果除去重复后，不超过3百万个。一个查询串的重复度越高，说明查询它的用户越多，也就是越热门），请你统计最热门的10个查询串，要求使用的内存不能超过1G。
分析
解法1
显然，我们可以采用类似问题1中的解法，即，数据大则划小，一亿个IP求Top 10，可先hash(IP)%1000，以将IP分到1000个小文件中去，并保证相同的IP只会出现在一个文件中，再对每个小文件中的 IP 进行hashmap计数统计并按数量排序，最后采用归并排序（或者最小堆排序）依次处理每个小文件的top10以得到最后的结果。
解法2
但事实上，我们能将所有不重复的查询串都一次性装入内存。因此，对于这个问题，从处理速度而言，这样的方法就会比解法1要快（因为解法1中涉及大量的I/O操作）。
具体来说，虽然有一千万个检索串，但是由于重复度比较高，因此事实上只有300万的检索串，每个检索串最多占 255 Byte，因此我们可以考虑把他们都放进内存中去（假设这300万个检索串都是最大长度是），那么将占用 $255 * 3 * 10^6$ Byte 内存，即 $255 3 10^3 * 10 ^3$ Byte，即$255 *3 $ MB，约等于 765 MB（即小于 1 GB）。
因此，我们可以放弃hash映射的步骤，而直接将所有数据都放在内存中，并基于hashmap进行统计，最后排序。
具体来说：
- hashmap统计：先对这批海量数据预处理。具体方法是：维护一个Key为查询串，Value为该查询串出现次数的Hash表，即hash_map(Query，Value)，每次读取一个Query，如果该字串不在Hash表中，那么加入该字串，并且将Value值设为1；如果该字串在Table中，那么将该字串的计数加一即可。最终我们在$O(N)$的时间复杂度内用Hash表完成了统计；
- 堆排序：借助堆这个数据结构，找出Top K，时间复杂度为$N’log_2K$。即借助堆结构，我们可以在log量级的时间内查找和调整/移动。因此，维护一个K（该题目中是10）大小的小根堆，然后遍历300万的Query，分别和根元素进行对比。所以，我们最终的时间复杂度是：$O（N） + N’ * O（log_2K）$，（N为1000万，N’为300万）。
当然，你也可以采用trie树，关键字域存该查询串出现的次数，没有出现为0。最后用10个元素的最小堆来对出现频率进行排序。
总结
总结来说，对于此类给出了具体的数据结构大小的问题，可以先尝试计算一下是否能够将数据一次全部放入内存中，如果可以，则不需要进行hash再取模的过程。
问题3 - 有一个1G大小的一个文件，里面每一行是一个词，词的大小不超过16字节，内存限制大小是1M。返回频数最高的100个词
题目
有一个1G大小的一个文件，里面每一行是一个词，词的大小不超过16字节，内存限制大小是1M。返回频数最高的100个词。
分析
思路还是和上面类似：
- hash映射：顺序读文件中，对于每个词x，取hash(x)%5000，然后按照该值存到5000个小文件（记为x0,x1,…x4999）中。这样每个文件大概是200k左右。如果其中的有的文件超过了1M大小，还可以按照类似的方法继续往下分，直到分解得到的小文件的大小都不超过1M。
- hashmap统计：对每个小文件，采用trie树或hashmap等统计每个文件中出现的词以及相应的频率。
- 堆/归并排序：取出出现频率最大的100个词（可以用含100个结点的最小堆）后，再把100个词及相应的频率存入文件，这样又得到了5000个文件。最后就是把这5000个文件进行归并（类似于归并排序）的过程了。
问题4 - 海量数据分布在100台电脑中，想个办法高效统计出这批数据的TOP10
题目
海量数据分布在100台电脑中，想个办法高效统计出这批数据的TOP10。
分析
如果每个数据元素会重复出现，但是只重复出现在某一台机器中，那么可以采取以下步骤统计出现次数TOP10的数据元素：
- 堆排序：在每台电脑上求出TOP10，可以采用包含10个元素的堆完成（TOP10小，用最大堆，TOP10大，用最小堆，比如求TOP10大，我们首先取前10个元素调整成最小堆，如果发现，然后扫描后面的数据，并与堆顶元素比较，如果比堆顶元素大，那么用该元素替换堆顶，然后再调整为最小堆。最后堆中的元素就是TOP10大）。
- 求出每台电脑上的TOP10后，然后把这100台电脑上的TOP10组合起来，共1000个数据，再利用上面类似的方法求出TOP10就可以了。
但如果同一个元素会重复出现在不同的电脑中呢？
比如，拿两台机器求top 2的情况来说：第一台的数据分布及各自出现频率为：a(50)，b(50)，c(49)，d(49) ，e(0)，f(0)，（其中，括号里的数字代表某个数据出现的频率，如a(50)表示a出现了50次）；第二台的数据分布及各自出现频率为：a(0)，b(0)，c(49)，d(49)，e(50)，f(50)。
这个时候，你可以有两种方法：
- 遍历一遍所有数据，重新hash取摸，如此使得同一个元素只出现在单独的一台电脑中，然后采用上面所说的方法，统计每台电脑中各个元素的出现次数找出TOP 10，继而组合100台电脑上的TOP 10，找出最终的TOP 10。
- 或者，暴力求解：直接统计统计每台电脑中各个元素的出现次数，然后把同一个元素在不同机器中的出现次数相加，最终从所有数据中找出TOP 10。
题目5 - 有10个文件，每个文件1G，每个文件的每一行存放的都是用户的query，每个文件的query都可能重复。要求你按照query的频度排序
题目
有10个文件，每个文件1G，每个文件的每一行存放的都是用户的query，每个文件的query都可能重复。要求你按照query的频度排序。
解法
解法一
- hash映射：顺序读取10个文件，按照hash(query)%10的结果将query写入到另外10个文件（记为a0,a1,..a9）中。这样新生成的文件每个的大小大约也1G（假设hash函数是随机的）。
- hash_map统计：找一台内存在2G左右的机器，依次对用hash_map(query, query_count)来统计每个query出现的次数。注：hash_map(query, query_count)是用来统计每个query的出现次数，不是存储他们的值，出现一次，则count+1。
- 堆/快速/归并排序
- 利用快速/堆/归并排序按照出现次数进行排序，将排序好的query和对应的query_cout输出到文件中，这样得到了10个排好序的文件（记为$b_0, b_1,…, b_{10}$）。最后，对这10个文件进行归并排序（内排序与外排序相结合）。
解法二
一般query的总量是有限的，只是重复的次数比较多而已，可能对于所有的query，一次性就可以加入到内存了。这样，我们就可以采用trie树或者hashmap等直接来统计每个query出现的次数，然后按出现次数做快速/堆/归并排序就可以了。
解法三
与解法1类似，但在做完hash，分成多个文件后，可以交给多个文件来处理，采用分布式的架构来处理（比如MapReduce），最后再进行合并。
题目6 - 给定a、b两个文件，各存放50亿个 URL，每个 URL 各占64字节，内存限制是4G，让你找出a、b文件共同的 URL
题目
给定a、b两个文件，各存放50亿个 URL，每个 URL 各占64字节，内存限制是4G，让你找出a、b文件共同的 URL？
解法
可以计算出，每个文件的大小为5G×64=320G，远远大于内存限制的4G。所以不可能将其完全加载到内存中处理，因而考虑采取分而治之的方法：
- 分而治之（hash映射）：先遍历文件a，对每个url求hash(url)%1000，然后根据所取得的值将文件 a 中的 URL 分别存储到1000个小文件（$a_0, a_1, …, a_{999}$ 文件中）。这样每个小文件的大约为300M。再遍历文件b，采取和a相同的方式将 URL 分别存储到1000小文件中（$b_0, b_1, …, b_{999}$ 文件中）。这样处理后，所有可能相同的 URL 都在对应的小文件。关键在于，下标不对应的文件中不可能有相同的URL（因为一个特定的URL，经过hash(url)%1000后，所得的值一定相同）。因此，我们只要分别比较这1000对小文件（$a_0$ vs $b_0$, $a_1$ vs $b_1$, …, $a_{999}$ vs b_{999}$ ），并在每次比较完成后，提取出相同的 URL 即可（可以放入一个hashset）。
- hashset统计
- 求每对小文件中相同的URL，可以将其存储到一个hashset中。
题目7 - 100万个数中找出最大的100个数
题目
100万个数中找出最大的100个数。
分析
解法一
采用局部淘汰法。选取前100个元素，并排序，记为序列L。然后一次扫描剩余的元素x，与排好序的100个元素中最小的元素比，如果比这个最小的要大，那么把这个最小的元素删除，并把x利用插入排序的思想，插入到序列L中。依次循环，知道扫描了所有的元素。复杂度为O(100万*100)。
解法二
采用快速排序的思想，每次分割之后只考虑比轴大的一部分，知道比轴大的一部分在比100多的时候，采用传统排序算法排序，取前100个。复杂度为O(100万*100)。
解法三
在前面的题中，我们已经提到了，用一个含100个元素的最小堆完成。复杂度为O(100万*$log_2100$)。
举一反三
1、怎么在海量数据中找出重复次数最多的一个？
提示：先做hash，然后求模映射为小文件，求出每个小文件中重复次数最多的一个，并记录重复次数。然后找出上一步求出的数据中重复次数最多的一个就是所求（具体参考前面的题）。
2、上千万或上亿数据（有重复），统计其中出现次数最多的前N个数据。
提示：上千万或上亿的数据，现在的机器的内存应该能存下。所以考虑采用hash_map/搜索二叉树/红黑树等来进行统计次数。然后就是取出前N个出现次数最多的数据了，可以用第2题提到的堆机制完成。
3、一个文本文件，大约有一万行，每行一个词，要求统计出其中最频繁出现的前10个词，请给出思想，给出时间复杂度分析。
提示：这题是考虑时间效率。用trie树统计每个词出现的次数，时间复杂度是O(nle)（le表示单词的平准长度）。然后是找出出现最频繁的前10个词，可以用堆来实现，前面的题中已经讲到了，时间复杂度是O(nlg10)。所以总的时间复杂度，是O(nle)与O(nlg10)中较大的哪一个。
4、1000万字符串，其中有些是重复的，需要把重复的全部去掉，保留没有重复的字符串。请怎么设计和实现？
提示：这题用trie树比较合适，hash_map也行。当然，也可以先hash成小文件分开处理再综合。
5、一个文本文件，找出前10个经常出现的词，但这次文件比较长，说是上亿行或十亿行，总之无法一次读入内存，问最优解。
提示：首先根据用hash并求模，将文件分解为多个小文件，对于单个文件利用上题的方法求出每个文件件中10个最常出现的词。然后再进行归并处理，找出最终的10个最常出现的词。
Reference
- 《编程之法：面试和算法心得》