《大数据》
Apache Flink是由Apache软件基金会开发的开源流处理框架,是新一代实时计算平台,采用原生的流处理系统,保证了低延迟性,在API和容错上也是做的相当完善,本课程将从架构原理、安装、实战等进行讲解。
适合人群:
1)掌握MySQL、JDBC
2)掌握Scala、Java代码编程
3)掌握大数据HDFS、Hive、HBase、Redis、Kafka技术的使用
4)了解或者使用过Spark Streaming更佳
章节 | 内容 |
---|---|
章节1 基础 | 1:课程介绍 2:Flink概述_无界流和有界流 3:Flink概述_有状态的计算 4:Flink概述_Flink是什么? 5:Flink概述_发展历史 6:Flink概述_为什么用Flink? 7:Flink概述_应用场景 8:入门案例_创建项目 9:入门案例_编程模型 10:入门案例_单词统计批处理Java版一 11:入门案例_单词统计批处理Java版二 12:入门案例_单词统计流处理Java版一 13:入门案例_单词统计流处理Java版二 14:入门案例_单词统计批处理Scala版 15:入门案例_单词统计流处理Scala版 16:入门案例_单词统计流批统一 17:Flink架构与部署_运行模式概述 18:Flink架构与部署_Standalone集群架构 19:Flink架构与部署_Standalone集群部署 20:Flink架构与部署_Standalone集群测试 21:Flink架构与部署_StandaloneHA集群部署 22:Flink架构与部署_StandaloneHA集群测试 23:Flink架构与部署_FlinkOnYarn集群架构 24:Flink架构与部署_FlinkOnYarn集群部署 25:Flink架构与部署_FlinkOnYarnPerJob原理 26:Flink架构与部署_FlinkOnYarnPerJob实战 27:Flink架构与部署_FlinkOnYarnSession原理 28:Flink架构与部署_FlinkOnYarnSession实战 29:Flink架构与部署_FlinkOnYarnApplication原理 30:Flink架构与部署_FlinkOnYarnApplication实战 |
章节2 流批一体 | 31:流批一体基础知识_概述 32:流批一体基础知识_并行度 33:流批一体基础知识_资源槽 34:流批一体DataSource_概述 35:流批一体DataSource_File-based 36:流批一体DataSource_Collection-based一 37:流批一体DataSource_Collection-base二 38:流批一体DataSource_Custom 39:流批一体DataSource_Custom实战一 40:流批一体DataSource_Custom实战二 41:流批一体DataSource_ CustomMySQL一 42:流批一体DataSource_CustomMySQL二 43:流批一体DataSource_KafkaConnector 44:流批一体DataSource_FlinkKafkaConsumer实战 45:流批一体DataSource_FlinkKafkaConsumer测试 46:流批一体DataSource_Kafka数据源Offset 47:流批一体DataSource_Kafka数据源Offset扩展 48:流批一体DataSource_KafkaSource 49:流批一体DataSink_FlinkKafkaProducer 50:流批一体DataSink_FlinkKafkaProducer 51:流批一体DataSink_RedisSink一 52:流批一体DataSink_RedisSink二 53:流批一体DataSink_FileSink一 54:流批一体DataSink_FileSink二 55:流批一体DataSink_JdbcSink 56:流批一体DataSink_自定义Sink一 57:流批一体DataSink_自定义Sink二 58:流批一体数据转换_基本转换算子 59:流批一体数据转换_聚合算子一 60:流批一体数据转换_聚合算子二 61:流批一体数据转换_union算子 62:流批一体数据转换_connect算子 63:流批一体数据转换_函数类 64:流批一体数据转换_富函数类一 65:流批一体数据转换_富函数类二 66:流批一体数据转换_ProcessFunction 67:流批一体数据转换_SideOutputs |
章节3 窗口、时间和状态 | 68:窗口与时间_窗口概述 69:窗口与时间_窗口类型 70:窗口与时间_窗口API概述 71:窗口与时间_时间窗口实战一 72:窗口与时间_时间窗口实战二 73:窗口与时间_时间窗口实战三 74:窗口与时间_滚动计数窗口实战 75:窗口与时间_滑动计数窗口实战 76:窗口与时间_会话窗口实战一 77:窗口与时间_会话窗口实战二 78:窗口与时间_时间语义 79:窗口与时间_ 事件时间实战一 80:窗口与时间_ 事件时间实战二 81:窗口与时间_ 事件时间实战三 82:窗口与时间_EventTime窗口时间 83:窗口与时间_Watermark 84:窗口与时间_AllowedLateness 85:窗口与时间_Watermark与AllowedLateness 86:窗口与时间_丢弃SideOutput一 87:窗口与时间_丢弃SideOutput二 88:窗口与时间_丢弃SideOutput三 89:状态相关_状态概述 90:状态相关_状态分类 91:状态相关_状态存储结构 92:状态相关_键控状态实战一 93:状态相关_键控状态实战二 94:状态相关_键控状态实战三 95:状态相关_Checkpoint 96:状态相关_StateBackend 97:状态相关_Checkpoint配置 98:状态相关_Checkpoint实战一 99:状态相关_Checkpoint实战二 100:状态相关_Checkpoint实战 101:状态相关_Checkpoint手动恢复 102:状态相关_Checkpoint自动恢复 103:状态相关_Savepoint 104:状态相关_Savepoint实战 |
章节4 TableAPI、SQL和CDC | 105:TableAPI与SQL_概述 106:TableAPI与SQL_发展历史 107:TableAPI与SQL_执行原理一 108:TableAPI与SQL_执行原理二 109:TableAPI与SQL_执行原理三 110:TableAPI与SQL_SQL入门案例一 111:TableAPI与SQL_SQL入门案例二 112:TableAPI与SQL_TableApi入门案例 113:SQLConnector_KafkaSource一 114:SQLConnector_KafkaSource二 115:SQLConnector_KafkaSink一 116:SQLConnector_KafkaSink二 117:SQLConnector_JDBCSink 118:SQLConnector_JDBCSource 119:SQLConnector_FileSystem 120:SQLConnector_HBaseSink一 121:SQLConnector_HBaseSink二 122:SQLConnector_HBaseSink三 123:SQLConnector_HBaseSource 124:集成Hive_SQLClient 125:集成Hive_Flink&Hive优势 126:集成Hive_Catalog概述 127:集成Hive_SQLClint整合Hive一 128:集成Hive_SQLClint整合Hive 129:集成Hive_SQL整合Hive 130:CDC_概述 131:CDC_MySQL配置 132:CDC_基于DataStream实战一 133:CDC_基于DataStream实战二 134:CDC_基于SQL实战 135:扩展应用场景_事件驱动型应用 136:扩展应用场景_数据分析应用 137:扩展应用场景_数据管道应用 |
另附每个阶段的课程资料