MapReduce

1. MapReduce介绍、架构、执行流程、三类进程

   • hadoop：map、reduce 运算简单图解

2. MapReduce编程规范、Mapper源码、Reducer源码

开发案例-wordcount

1. hadoop3.x HDFS JAVA开发介绍

2. hadoop3.x windows搭建HDFS开发环境（JAVA）

3. hadoop3.x mapreduce案例：实现词统计wordcount（本机运行）

   • hadoop3.x mapreduce 实现wordcount-在yarn执行、查看结果

   • mapreduce 实现统计词频-ToolRunner方式提交

序列化

1. java序列化

2. java反序列化

3. hadoop3.x 序列化机制（Writable、序列化类型）

4. hadoop3.x MapReduce序列化机制-自定义序列化类（Writable、WritableComparable）

   • hadoop3.x MapReduce序列化案例-统计充电桩充电量、充电时长、充电次数

流程

mapper

1. hadoop3.x MapReduce执行流程-mapper部分

2. hadoop3.x MapReduce 切片机制与MapTask并行度、切片源码（FileInputFormat）

shuffle

1. hadoop3.x MapReduce执行流程-shuffle部分

2. hadoop3.x MapReduce Combiner作用

   • hadoop3.x MapReduce Combiner案例

分区

1. hadoop3.x MapReduce-为什么要分区、Partition分区说明（HashPartitioner）

2. hadoop3.x mapreduce案例：自定义分区-根据省份拆分数据（一）

   • hadoop3.x mapreduce案例：自定义分区-根据省份拆分数据（二）yarn运行

3. hadoop3.x MapReduce案例-Partition分区的实现

   • hadoop3.x MapReduce-Partition分区的注意事项

reduce

1. hadoop3.x MapReduce reduce流程

排序

1. hadoop3.x MapReduce-排序

   • hadoop3.x MapReduce-reduce()方法中，values迭代时，key的值不断变化分析及源码

2. hadoop3.x MapReduce-二次排序

压缩

1. hadoop3.x MapReduce 压缩

2. hadoop3.x MapReduce 代码设置map、reduce压缩

3. hadoop3.x MapReduce 在mapred-site.xml中配置map、reduce压缩

案例

• hadoop3.x mapreduce案例：通过正则表达式实现包含数字的过滤（1）（本机运行）

  • hadoop3.x mapreduce案例：通过正则表达式实现包含数字的过滤（2）（yarn运行）

• hadoop3.x mapreduce案例：统计每个用户包含指定关键字的记录（1）（本机运行）

  • hadoop3.x mapreduce案例：统计每个用户包含指定关键字的记录（2）（yarn运行）

• hadoop3.x mapreduce案例：UID去重（1）（本机运行）

  • hadoop3.x mapreduce案例：UID去重（2）（yarn运行）

原文出处：/show_1IX277nH1XIp.html