October 13, 2024

• 전체적인 Workflow 제어를 위해 Airflow 활용 및 모델의 모니터링과 버전 관리 역할을 위해 MLflow 활용
  • 각 모듈은 Airflow DAG로 작성되어 순차적으로 실행
  • Model Training 부분에서 모델의 성능 결과와 모델 파일을 MLflow를 통해 확인 가능

해당 예제의 주요 특징

Apache Airflow와 MLflow를 통합하는 예제를 생성함 ML workflow의 오케스트레이션과 추적을 쉽게 함 Airflow에서 DAG(Directed Acyclic Graphs)를 설정해 MLflow 실험을 원활하게 예약하고 관리하도록 작성

• DAG 구성: MLflow 실험을 조율하기 위해 Airflow DAG 를 구성하는 걸 볼 수 있음
• MLflow 추적: 실험 추적 및 아티팩트 로깅을 위한 MLflow 통합을 설명
• 워크플로 자동화: Airflow를 사용하여 end-to-end 머신러닝 워크플로를 자동화하는 방법을 보여줌

참고 예제

https://github.com/v-onuphrienko/MLOPS3.3-AirFlow-MLFlow-

업로드 위치

https://github.com/hii0608/mlairflowEx

1. 가상환경에서 Airflow 시작(local 실행) - python venv

2. MLflow 설치 및 실행