Azkaban简介

阅读量：243 次

发布时间：2019-03-01

本文共 467 字，大约阅读时间需要 1 分钟。

Azkaban简介

一、Azkaban 介绍

1.1 背景

一个完整的大数据分析系统，必然由很多任务单元 (如数据收集、数据清洗、数据存储、数据分析等) 组成，所有的任务单元及其之间的依赖关系组成了复杂的工作流。复杂的工作流管理涉及到很多问题：

如何定时调度某个任务？

如何在某个任务执行完成后再去执行另一个任务？

如何在任务失败时候发出预警？

…

面对这些问题，工作流调度系统应运而生。Azkaban 就是其中之一。

1.2 功能

Azkaban 产生于 LinkedIn，并经过多年生产环境的检验，它具备以下功能：

兼容任何版本的 Hadoop

易于使用的 Web UI

可以使用简单的 Web 页面进行工作流上传

支持按项目进行独立管理

定时任务调度

模块化和可插入

身份验证和授权

跟踪用户操作

支持失败和成功的电子邮件提醒

SLA 警报和自动查杀失败任务

重试失败的任务

Azkaban 的设计理念是在保证功能实现的基础上兼顾易用性，其页面风格清晰明朗，下面是其 WEB UI 界面：

二、Azkaban 和 Oozie

<

转载地址：http://ikxv.baihongyu.com/

你可能感兴趣的文章

MySQL 查看有哪些表

mysql 查看锁_阿里/美团/字节面试官必问的Mysql锁机制，你真的明白吗

MySql 查询以逗号分隔的字符串的方法（正则）

MySQL 查询优化：提速查询效率的13大秘籍（避免使用SELECT 、分页查询的优化、合理使用连接、子查询的优化）（上）

mysql 查询，正数降序排序，负数升序排序

MySQL 树形结构根据指定节点获取其下属的所有子节点（包含路径上的枝干节点和叶子节点）...

mysql 死锁 Deadlock found when trying to get lock； try restarting transaction

mysql 死锁(先delete 后insert)日志分析

MySQL 死锁了，怎么办？

MySQL 深度分页性能急剧下降，该如何优化？

MySQL 深度分页性能急剧下降，该如何优化？

MySQL 添加列，修改列，删除列

mysql 添加索引

MySQL 添加索引，删除索引及其用法

MySQL 用 limit 为什么会影响性能？

MySQL 用 limit 为什么会影响性能？有什么优化方案？

MySQL 用户权限管理：授权、撤销、密码更新和用户删除（图文解析）

mysql 用户管理和权限设置

MySQL 的 varchar 水真的太深了！

mysql 的GROUP_CONCAT函数的使用（group_by 如何显示分组之前的数据）