Azkaban简介

阅读量：243 次

发布时间：2019-03-01

本文共 467 字，大约阅读时间需要 1 分钟。

Azkaban简介

一、Azkaban 介绍

1.1 背景

一个完整的大数据分析系统，必然由很多任务单元 (如数据收集、数据清洗、数据存储、数据分析等) 组成，所有的任务单元及其之间的依赖关系组成了复杂的工作流。复杂的工作流管理涉及到很多问题：

如何定时调度某个任务？

如何在某个任务执行完成后再去执行另一个任务？

如何在任务失败时候发出预警？

…

面对这些问题，工作流调度系统应运而生。Azkaban 就是其中之一。

1.2 功能

Azkaban 产生于 LinkedIn，并经过多年生产环境的检验，它具备以下功能：

兼容任何版本的 Hadoop

易于使用的 Web UI

可以使用简单的 Web 页面进行工作流上传

支持按项目进行独立管理

定时任务调度

模块化和可插入

身份验证和授权

跟踪用户操作

支持失败和成功的电子邮件提醒

SLA 警报和自动查杀失败任务

重试失败的任务

Azkaban 的设计理念是在保证功能实现的基础上兼顾易用性，其页面风格清晰明朗，下面是其 WEB UI 界面：

二、Azkaban 和 Oozie

<

转载地址：http://ikxv.baihongyu.com/

你可能感兴趣的文章

MySQL I 有福啦，窗口函数大大提高了取数的效率！

mysql id自动增长初始值 Mysql重置auto_increment初始值

MySQL in 太多过慢的 3 种解决方案

MySQL InnoDB 三大文件日志，看完秒懂

Mysql InnoDB 数据更新导致锁表

Mysql Innodb 锁机制

MySQL InnoDB中意向锁的作用及原理探

MySQL InnoDB事务隔离级别与锁机制深入解析

Mysql InnoDB存储引擎 —— 数据页

Mysql InnoDB存储引擎中的checkpoint技术

Mysql InnoDB存储引擎中缓冲池Buffer Pool、Redo Log、Bin Log、Undo Log、Channge Buffer

MySQL InnoDB引擎的锁机制详解

Mysql INNODB引擎行锁的3种算法 Record Lock Next-Key Lock Grap Lock

mysql InnoDB数据存储引擎的B+树索引原理

mysql innodb通过使用mvcc来实现可重复读

mysql insert update 同时执行_MySQL进阶三板斧（三）看清“触发器 (Trigger)”的真实面目...

mysql interval显示条件值_MySQL INTERVAL关键字可以使用哪些不同的单位值？

Mysql join原理

MySQL Join算法与调优白皮书（二）

Mysql order by与limit混用陷阱