Azkaban简介

阅读量：243 次

发布时间：2019-03-01

本文共 467 字，大约阅读时间需要 1 分钟。

Azkaban简介

一、Azkaban 介绍

1.1 背景

一个完整的大数据分析系统，必然由很多任务单元 (如数据收集、数据清洗、数据存储、数据分析等) 组成，所有的任务单元及其之间的依赖关系组成了复杂的工作流。复杂的工作流管理涉及到很多问题：

如何定时调度某个任务？

如何在某个任务执行完成后再去执行另一个任务？

如何在任务失败时候发出预警？

…

面对这些问题，工作流调度系统应运而生。Azkaban 就是其中之一。

1.2 功能

Azkaban 产生于 LinkedIn，并经过多年生产环境的检验，它具备以下功能：

兼容任何版本的 Hadoop

易于使用的 Web UI

可以使用简单的 Web 页面进行工作流上传

支持按项目进行独立管理

定时任务调度

模块化和可插入

身份验证和授权

跟踪用户操作

支持失败和成功的电子邮件提醒

SLA 警报和自动查杀失败任务

重试失败的任务

Azkaban 的设计理念是在保证功能实现的基础上兼顾易用性，其页面风格清晰明朗，下面是其 WEB UI 界面：

二、Azkaban 和 Oozie

<

转载地址：http://ikxv.baihongyu.com/

你可能感兴趣的文章

MySQL中使用IN（）查询到底走不走索引？

Mysql中使用存储过程插入decimal和时间数据递增的模拟数据

MySql中关于geometry类型的数据_空的时候如何插入处理_需用null_空字符串插入会报错_Cannot get geometry object from dat---MySql工作笔记003

mysql中出现Incorrect DECIMAL value: '0' for column '' at row -1错误解决方案

mysql中出现Unit mysql.service could not be found 的解决方法

mysql中出现update-alternatives: 错误: 候选项路径 /etc/mysql/mysql.cnf 不存在 dpkg: 处理软件包 mysql-server-8.0的解决方法（全）

Mysql中各类锁的机制图文详细解析（全）

MySQL中地理位置数据扩展geometry的使用心得

Mysql中存储引擎简介、修改、查询、选择

Mysql中存储过程、存储函数、自定义函数、变量、流程控制语句、光标/游标、定义条件和处理程序的使用示例

mysql中实现rownum，对结果进行排序

mysql中对于数据库的基本操作

Mysql中常用函数的使用示例

MySql中怎样使用case-when实现判断查询结果返回

Mysql中怎样使用update更新某列的数据减去指定值

Mysql中怎样设置指定ip远程访问连接

mysql中数据表的基本操作很难嘛，由这个实验来带你从头走一遍

Mysql中文乱码问题完美解决方案

mysql中的 +号和 CONCAT(str1,str2,...)

Mysql中的 IFNULL 函数的详解