调度系统Airflow1.10.4调研与介绍和docker安装
- 本文链接:https://www.cnblogs.com/woshimrf/p/airflow-install-with-docker.html
- 版权声明: 本博客所有文章除特别声明外,均采用 CC BY-NC-SA 3.0 许可协议。转载请注明出处!
目录
什么是Airflow
Airflow的安装
所做的一些修改
修改时区为utc+8
webserver查看日志,中文乱码问题
Hive beeline认证
添加hive的支持
ldap配置
参考
Airflow1.10.4介绍与安装
现在是9102年,8月中旬。airflow当前版本是1.10.4.
随着公司调度任务增大,原有的,基于crontab和mysql的任务调度方案已经不太合适了,需要寻找一个可以支持分布式扩容的调度系统解决方案。
最初瞄准azkaban来着,想着基于这个的二次开发。对比功能和社区热度之后,Airflow比较符合我们寻找的调度系统。
什么是Airflow
Airflow是一个以编程方式创作,安排和监控工作流程的平台。对比crontab来看,它是一个可以定时调度任务的系统,只不过,airflow的调度更容易管理。
- airflow支持任务依赖pipeline, 这是crontab以及quartz所不支持的。
- airflow调度系统和业务系统解耦。业务单独编写流程,支持任务热加载。
- airflow支持crontab定时格式