目录

什么是Airflow
Airflow的安装
所做的一些修改
修改时区为utc+8
webserver查看日志,中文乱码问题
Hive beeline认证
添加hive的支持
ldap配置
参考

Airflow1.10.4介绍与安装

现在是9102年,8月中旬。airflow当前版本是1.10.4.

随着公司调度任务增大,原有的,基于crontab和mysql的任务调度方案已经不太合适了,需要寻找一个可以支持分布式扩容的调度系统解决方案。

最初瞄准azkaban来着,想着基于这个的二次开发。对比功能和社区热度之后,Airflow比较符合我们寻找的调度系统。

什么是Airflow

Airflow是一个以编程方式创作,安排和监控工作流程的平台。对比crontab来看,它是一个可以定时调度任务的系统,只不过,airflow的调度更容易管理。

  • airflow支持任务依赖pipeline, 这是crontab以及quartz所不支持的。
  • airflow调度系统和业务系统解耦。业务单独编写流程,支持任务热加载。
  • airflow支持crontab定时格式