登录    关于
马育民老师的博客

马育民的博客

QQ:65242847

flink1.12.x 教程目录

基础

  1. flink1.12.x 目录结构

安装部署

local 本地模式

  1. flink1.12.x local单机模式-原理(图)

  2. flink1.12.x local单机模式-安装部署、启动、测试wordcount(读写本地文件)

  3. flink1.12.x local单机模式-支持 HDFS(hadoop3)、测试wordcount(读写HDFS文件)

standalone 独立集群模式

  1. flink1.12.x standalone独立集群模式-原理 和 服务器规划(图)

  2. flink1.12.x standalone独立集群模式-安装部署(支持 HDFS)

  3. flink1.12.x standalone独立集群模式-启动、停止

  4. flink1.12.x standalone独立集群模式-开启历史服务(historyserver)

  5. flink1.12.x standalone独立集群模式-测试wordcount(读写HDFS文件)

  6. flink1.12.x 8081 web管理页面

  7. flink1.12.x 8082 历史服务web管理页面

api 体验

  1. flink1.12.x api介绍

  2. flink1.12.x 创建第一个工程(修改maven settings.xml)

  3. flink1.12.x DataSet实现wordcount

  4. flink1.12.x DataStream实现wordcount(流模式、批模式、自动模式)

  5. flink1.12.x DataStream实现wordcount- 连接socket(TCP)服务器-java写法

  6. flink1.12.x DataStream实现wordcount- 连接socket(TCP)服务器-lambda写法

  7. flink1.12.x DataStream实现wordcount- 连接socket(TCP)服务器-lambda简化写法

  8. flink1.12.x 实现wordcount-上传到flink集群,flink run执行jar-读写HDFS文件

  9. flink1.12.x flink run命令参数

  10. flink1.12.x 设置job名称

架构和概念

  1. flink1.12.x client、JobManager、TaskManager角色分工和执行流程(Dataflow)

  2. flink1.12.x Task Slots 和 slot sharing共享slot

  3. flink1.12.x Streaming Dataflow并行原理(Partition、Subtask、Parallelism)

  4. flink1.12.x Streaming Dataflow:source、Transformation、sink和对应程序代码

  5. flink1.12.x 相关概念:无界数据(无界流)和有界数据(有界流)、批计算和流式计算

api入门

  1. flink1.12.x StreamExecutionEnvironment获取执行环境

  2. flink1.12.x source数据源-读取文件、连接socket服务器、集合(fromElements)

  3. flink1.12.x Transformation-map、flatMap、keyBy、filter、reduce

  4. flink1.12.x Transformation-union合并 和 connect连接

  5. flink1.12.x sink

window

  1. flink1.12.x window窗口和分类(time window、count window)

  2. flink1.12.x time window属性:size窗口大小、slide滑动间隔 和 滑动窗口、滚动窗口

  3. flink1.12.x 会话窗口

api

  1. flink1.12.x window api介绍

  2. flink1.12.x window api使用-基于时间的滚动窗口(TumblingProcessingTimeWindows)

  3. flink1.12.x window api使用-基于时间的滑动窗口(SlidingProcessingTimeWindows)

窗口函数(window function)

  1. flink1.12.x window function窗口函数(增量、全量、全窗口)

  2. flink1.12.x 窗口函数(window function)-增量 AggregateFunction

  3. flink1.12.x 窗口函数(window function)-全量 WindowFunction

Time 和 WaterMarker

  1. flink1.12.x Time分类-Event Time事件时间、Ingestion Time摄入时间、Processing Time处理时间

  2. flink1.12.x Event Time事件时间的重要性、数据乱序、WaterMarker

  3. flink1.12.x WaterMarker

status状态管理

  1. flink1.12.x status状态管理-无状态、有状态

容错机制

  1. flink1.12.x 容错机制:一致性和一致性检查点(checkpoints)

  2. flink1.12.x 容错机制:Checkpoint检查点流程

  3. flink1.12.x 容错机制:检查点算法Barrier

  4. flink1.12.x 容错机制:从检查点恢复状态

  5. flink1.12.x 容错机制:状态后端(State Backends)

  6. flink1.12.x 容错机制:状态后端-全局配置、代码中配置

  7. flink1.12.x 容错机制:代码演示(FsStateBackend)

  8. flink1.12.x 容错机制:状态恢复和自动重启策略分类

    1. flink1.12.x 容错机制:自动重启策略-默认重启策略(代码演示)

    2. flink1.12.x 容错机制:自动重启策略-无重启策略(代码演示)

    3. flink1.12.x 容错机制:自动重启策略-固定延迟重启策略(常用,代码演示)

    4. flink1.12.x 容错机制:自动重启策略-失败率重启策略(代码演示)

table api 和 SQL

  1. flink1.12.x Table API 和 SQL介绍

  2. flink1.12.x Table API 和 SQL:TableEnvironment、table表和view视图

  3. flink1.12.x Table API 和 SQL:基本程序结构

  4. flink1.12.x Table API 和 SQL:创建工程,读取csv文件,创建表,实现查询(静态表)

  5. flink1.12.x Table API 和 SQL:Table 转换成 DataStream

  6. flink1.12.x Table API 和 SQL:更新模式:追加Append、撤回Retract、更新插入Upsert

  7. flink1.12.x Table API 和 SQL:读取csv文件,实现分组聚合查询

  8. flink1.12.x Table API 和 SQL:sink将查询结果写入到文件(非聚合查询)

  9. flink1.12.x Table API 和 SQL:创建工程,DataStream 转换成 Table,执行查询

  10. flink1.12.x Table API 和 SQL:读取HDFS文件,将结果写入到HDFS,上传到flink集群,flink run执行jar

  11. flink1.12.x Table API 和 SQL:从kafka读取数据,执行查询,将结果写入到kafka中

  12. flink1.12.x Table API 和 SQL:kafka读写数据,上传到flink集群,flink run执行jar

  13. flink1.12.x Table API 和 SQL:sink将查询结果写入到elasticsearch(聚合查询)

  14. flink1.12.x Table API 和 SQL:从kafka读取数据,聚合查询,写入到elasticsearch

  15. flink1.12.x Table API 和 SQL:从kafka读取数据,写入到elasticsearch,上传flink集群,flink run执行jar

其他

  1. flink1.12.x 执行官方例子-wordcount

  2. flink1.12.x 支持HDFS(hadoop3)

  3. flink1.12.x flink run命令参数

常见错误

  1. maven-resources-plugin:jar:2.6 is missing, no dependency information available

原文出处:https://malaoshi.top/show_1IX204ietmJH.html