0 0 0

大数据培训之flink从入门到精通视频教程【黑马程序员】

冰安来了 2022-10-20 126

磁力云搜,最强磁力搜索软件


课程亮点:

1.知识体系完备,从小白到大神各阶段读者均能学有所获。

2.生动形象,化繁为简,讲解通俗易懂。

3.结合工作实践及分析应用,培养解决实际问题的能力。

4.每一块知识点, 都有配套案例, 学习不再迷茫。

课程内容:

1.Flink框架简介

2.Flink集群搭建运维

3.Flink Dataset开发

4.Flink 广播变量,分布式缓存,累加器

5.Flink Datastream开发

6.Flink Window操作

7.Flink watermark与侧道输出

8.Flink状态计算

9.Flink容错checkpoint与一致性语义

10.Flink进阶 异步IO,背压,内存管理

11.Flink Table API与SQL

适用人群:

1.对实时计算领域或者Flink感兴趣的在校生及应届毕业生。

2.对目前职业有进一步提升要求,希望从事大数据行业高薪工作的在职人员。

3.对大数据行业感兴趣的相关人员。
推荐了解黑马成员大数据培训课程。

课程目录介绍

第一章 Flink简介

01.Flink的引入

02.什么是Flink

03.Flink流处理特性

04.Flink基石

05.批处理与流处理

第二章 Flink架构体系

01.Flink中重要角色

02.无界数据流与有界数据流

03.Flink数据流编程模型

04.Libraries支持

第三章 Flink集群搭建

01.环境准备工作

02.local模式

03.Standalone集群模式

04.Standalone-HA集群模式

05.Flink On Yarn模式-介绍

06.Flink On Yarn模式-准备工作

07.Flink On Yarn模式-提交方式-Session会话模式

08.Flink On Yarn模式-提交方式-Job分离模式

Flink运行架构-Flink程序结构

Flink运行架构-Flink并行数据流

Flink运行架构-Task和Operator chain

Flink运行架构-任务调度与执行

Flink运行架构-任务槽与槽共享

第四章 Dataset开发

01.入门案例

02.入门案例-构建工程、log4j.properties

03.入门案例-代码运行yarn模式运行

04.DataSource-基于集合

05.DataSource-基于文件

06.Transformation开发

07.Datasink-基于集合

08.Datasink-基于文件

09.执行模式-本地执行

10.执行模式-集群执行

11.广播变量

12.累加器

13.分布式缓存

14.扩展并行度的设置

第五章 DataStream开发

01.入门案例-流处理流程

02.入门案例-示例、参考代码

03.流处理常见Datasource

04.Datasource基于集合

05.Datasource基于文件

06.Datasource基于网络套接字

07.Datasource-自定义source-SourceFunction

08.Datasource-自定义source-ParallelSourceFunction

09.Datasource-自定义source-RichParallelSourceFunction

10.Datasource-自定义source-MysqlSource

11.Datasource-自定义source-KafkaSource

12.DataStream-transformations

13.DataSink-输出数据到本地文件

14.DataSink-输出数据到本地集合

15.DataSink-输出数据到HDFS

16.DataSink-输出数据到mysql,kafka,Redis

第六章 Flink中Window

01.为什么需要window

02.什么是window

03.Flink支持的窗口划分方式

04.Time-window之tumbling-time-window

05.Time-window之sliding-time-window

06.Time-window之session-window

07.Count-window之tumbling-count-window

08.Count-window之sliding-count-window

09.window-Apply函数

第七章 Eventime-watermark

01.时间分类

02.watermark之数据延迟产生

03.watermark之解决数据延迟到达

04.watermark综合案例

05.watermark之数据丢失

06.watermark+侧道输出保证数据不丢失

第八章 Flink状态管理

01.状态管理概述之无状态计算

02.状态管理概述之有状态计算

03.状态管理概述之有状态计算场景

04.状态的类型之Managed State&Raw State

05.状态的类型之Keyed State&Operator State

06.API演示之ValueState

07.API演示之MapState

08.案例之OperatorState

09.案例之BroadcastState

第九章 Flink容错&重启策略

01.checkpoint是什么

02.checkpoint执行流程

03.checkpoint持久化存储

04.案例之checkpoint设置演示

05.Flink重启策略之重启策略配置

06.案例之重启策略演示

07.Savepoint与checkpoint区别

08.案例之savepoint演示

09.端到端一致性语义解释

10.案例之kafka实现EndToEnd一致性语义

11.案例之Mysql实现EndToEnd一致性语义

第十章 Flink扩展异步IO反压_内存管理

01.异步IO之使用前提

02.异步IO之核心API Async IO

03.案例之异步IO案例

04.什么是反压问题

05.Flink如何解决反压问题

06.Flink内存管理

07.定制化内存管理

08.定制化序列化框架

09.使用堆外内存

第十一章 Flink-sql开发

01.Flink sql背景

02.sql常用算子之select

03.sql常用算子之where

04.sql常用算子之distinct

05.sql常用算子之group by

06.sql常用算子之union_union all

07.sql常用算子之join

08.sql常用算子之group window

09.案例之批处理sql案例

10.案例之流处理sql案例

这家伙太懒了,什么也没留下。
最新回复 ( 0 )