MLflow에 대해서 알아보자 - Plugins

머신러닝을 위한 프레임 워크에 구애받지 않는 도구 인 MLflow Python API는 다양한 ML 프레임워크 및 백엔드와 통합되는 플러그인을 작성하기 위한 개발자 API를 제공한다.

플러그인은 MLflow Pyhon 클라이언트의 동작을 사용자 지정하고 타사 도구를 통합하기 위한 강력한 매커니즘을 제공하여 다음을 수행한다.

• 실험 데이터, 아티팩트 및 모델을 위한 타사 스토리지 솔루션과 통합
• 타사 인증 공급자와 통합 (예: 특수 파일에서 HTTP 인증 자격 증명 읽기)
• MLflow 클라이언트를 사용하여 다른 REST API (예: 조직의 기존 실험 추적 API)와 통신
• 추가 메타 데이터를 실행 태그로 자동 캡처 (예: 실행과 관련된 git 저장소)
• MLflow 프로젝트 진입점을 실행하기 위한 새 백엔드를 추가

MLflow Python API는 여러 유형의 플러그인을 지원한다.

• 추적 저장소 : 추적 백엔드 논리 재정의 (예: 타사 저장소 솔루션에 로그인)
• ArtifactRepository : 아티팩트 로깅 로직을 재정의한다. (예: 타사 스토로지 솔루션 로깅)
• 컨텍스트 공급자 실행 : mlflow.start_run() Fluent API를 통해 생성 된 실행에 설정할 컨텍스트 태그를 지정한다.
• 모델 레지스트리 저장소 : 모델 레지스트리 백엔드 로직 재정의
• MLflow 프로젝트 백엔드 : 로컬 실행 백엔드 재정의하여 자체 클러스터 (Databricks, kubernetes 등)에서 프로젝트를 실행한다.