hadoop3.x MapReduce-排序(废弃) 作者:马育民 • 2021-04-11 20:22 • 阅读:10001 说明MapTask 和 ReduceTask 都会根据 key 对数据 进行 排序 默认排序是按照 字典顺序 排序 使用 快速排序 算法 MapTask两次排序: 第一次排序:环形缓冲区,将数据溢写到磁盘之前,会对缓冲区中的数据进行一次快速排序 第二次排序:当数据处理完毕后,会对磁盘上所有文件进行归并排序 ReduceTaskReduceTask统一对内存和磁盘上的所有数据进行一次归并排序 原文出处:/show_1IX2D4DPSy6W.html