Airflow 사용하기 (1) - 설치 및 DAG 등록

Airflow 설치 및 설정

설치

pip install apache-airflow # airflow 2.1.2
cd airflow # 디렉토리가 생성되지 않은 경우 : mkdir airflow

airflow db init # db 초기화

웹서버 설정

airflow users create \
    --username admin \
    --firstname Jin \
    --lastname Heo \
    --role Admin \
    --email mymail@gmail.com

서버 실행 및 스케줄러 실행

airflow webserver --port 8080
airflow scheduler # 새로운 터미널 창을 열고 실행

DAG 등록

https://blog.si-analytics.ai/59

DAG Sample은 위 블로그에서 가져왔다. DAG를 작성한 파이썬 파일을 ~/airflow/dags/ 경로에 복사를 해준다.

그런 다음 아래 명령어를 이용해서 DAG가 등록되었는지 확인해 볼 수 있다.

airflow dags list # DAG 리스트 조회
airflow tasks list echo_test # Task 리스트 조회 ("echo_test"는 DAG 이름)

확인이 된다면 웹서버를 통해서도 등록된 DAG(“echo_test”)를 확인할 수 있다.