log retention / 보존기간 설정 /
Airflow 에서 일정기간 후에 log 를 지우는 법
기본적으로 airflow 에서 지원하는 retention 설정은 없는 듯 하다. 다음 글들에서는 airflow 를 이용해서 주기적으로 airflow 의 log 를 지우는 방법을 보여준다.
- A Simple DAG to Quickly Purge Old Airflow Logs | by Christine Betadam | EatCodePlay
- python - Configure logging retention policy for Apache airflow - Stack Overflow
airflow.cfg
를 변경후 server restart
설정에 따라 다르다는 듯, 어떤 값들은 reload 하려면 airflow 를 restart 해야 한다.
airflow restart 방법
kill -HUP <scheduler_process_id>
kill -HUP <webserver_process_id>
nohup airflow webserver --port 8080 1> /dev/null 2>&1 &
nohup airflow scheduler 1> /dev/null 2>&1 &
airflow scheduler -- DagFileProcessorManager
이 죽지 않는 경우가 있다. 이 경우는 수동으로 kill 해주자. 참고로 scheduler 가 떠 있으면, ‘DagFileProcessorManager’ 를 kill 해도 다시 실행된다.- webserver 는 ‘airflow webserver’ 가 아닌 ’gunicorn’을 kill 한다.
댓글 없음:
댓글 쓰기