[컴] Airflow 에서 일정기간 후에 log 를 지우는 법

 

log retention / 보존기간 설정 /

Airflow 에서 일정기간 후에 log 를 지우는 법

기본적으로 airflow 에서 지원하는 retention 설정은 없는 듯 하다. 다음 글들에서는 airflow 를 이용해서 주기적으로 airflow 의 log 를 지우는 방법을 보여준다.

1. A Simple DAG to Quickly Purge Old Airflow Logs | by Christine Betadam | EatCodePlay
2. python - Configure logging retention policy for Apache airflow - Stack Overflow

airflow.cfg 를 변경후 server restart

설정에 따라 다르다는 듯, 어떤 값들은 reload 하려면 airflow 를 restart 해야 한다.

• How to change running airflow config options · apache/airflow · Discussion #17106 · GitHub

airflow restart 방법

• python 2.7 - How do I restart airflow webserver? - Stack Overflow

kill -HUP <scheduler_process_id>
kill -HUP <webserver_process_id>

nohup airflow webserver --port 8080 1> /dev/null 2>&1 &
nohup airflow scheduler 1> /dev/null 2>&1 &

• airflow scheduler -- DagFileProcessorManager 이 죽지 않는 경우가 있다. 이 경우는 수동으로 kill 해주자. 참고로 scheduler 가 떠 있으면, ‘DagFileProcessorManager’ 를 kill 해도 다시 실행된다.
• webserver 는 ‘airflow webserver’ 가 아닌 ’gunicorn’을 kill 한다.