[Airflow] Airflow UI에 대한 간단한 정리

 

이게 일반적인 airflow의 DAG 대시보드.

다른 건 어려울 게 없고, runs와 recent tasks가 차이를 가지는데,

runs는 DAG run이라는 의미. 특정 시각에 실행된 DAG의 인스턴스.

airflow 스케줄러가 DAG을 주기적으로 스캔하여, 실행 시점에 DAG run을 생성함.

 

recent tasks는 해당 DAG로부터 생성된 tasks들을 의미하는 것임.

그니까 DAG runs는 전체에 대한 이야기, Recent Tasks는 각각의 task instance에 대한 이야기.

 

하나를 pause untoggle해서 돌려보고, 그 이름을 누르면 돌린 결과물이 뜬다.

기본으로 뜨는 화면인데, grid 뷰.

직관적이지 않은 부분은 아직까지 없다.

 

graph 뷰는 

 

이런식. 위에 hover 해보면 관련 정보 디테일이 나옴. 또한 클릭하면 각각의 task에 대한 액션을 할 수 있음.

 

Landing times/Gantt는, task 별로 걸리는 시간을 그래프로 확인할 수 있음. 병목을 확인하는 지표가 되기도.

 

Calendar View는 지금까지의 DAG run의 결과물들을 모두어서 볼 수 있음.

 

 

그리고 대망의 code 파트에서는 python 코드를 통해 DAG를 지정하는 방식.