本阶段所讲的Azkaban是一个批量工作流调度器,底层是使用java语言开发,用于在一个工作流内以一定的顺序运行一组任务和流程,并且提供了非常方便的webui界面来监控任务调度的情况,方便我们来管理流调度任务。在复杂的大数据开发环境中每个任务都不是独立的,之间都会有依赖关系,Azkaban工作流调度器解决的就是此类问题。
适合人群:
1)掌握Linux常用命令
2)掌握JavaSE基础知识
3)掌握Hadoop、Hive原理及使用
章节 | 内容 |
---|---|
章节1 Azkaban概述 | 1:课程介绍 2:为什么需要工作流调度系统 3:Azkaban是什么? |
章节2 Azkaban安装部署 | 4:Azkaban下载 5:制作安装包 6:tar包准备 7:MySQL配置Azkaban 8:配置Executor Server 9:配置WebServer |
章节3 工作流实战 | 10:单作业实战_yaml语言 11:单作业实战 12:多作业依赖实战 13:失败自动重试实战 14:失败手动重试实战 15:Java代码作业类型实战 16:定时任务 |