코딩 기록 저장소

목차 1. 파이프라인 개요- 공식 문서를 참고함!01. 파이프라인 (Pipelines)- 쿠브플로우 파이프라인은 재사용 가능하고 확장성이 좋은 머신러닝 워크플로우를 정의하는 방법- 컨테이너 기반으로 작동하며, 전체 워크플로우를 구성하는 여러 단계(steps)와 입력 파라미터로 이루어져 있음 02. 파이프라인 컴포넌트- 파이프라인 컴포넌트는 파이프라인의 한 단계를 수행하는 컨테이너화된 애플리케이션- 각 컴포넌트는 다음의 내용이 정의된 컴포넌트 명세(specifications)를 가짐인터페이스 : 입력(input) 및 출력(outputs)구현 : 사용할 컨테이너 이미지와 실행할 명령어메타데이터 : 컴포넌트의 이름 및 설명 등- 컴포넌트는 직접 명세를 정의하거나, 쿠브플로우 파이프라인 SDK를 사용해 파이썬..

목차1. Kubeflow 커스터마이징01. MLflow 설치 및 대시보드 추가하기- 두 가지 성격의 저장소가 필요함DB (metadata 저장)Storage (Artifact 저장)- DB를 위해 일반적으로 PostgreSQL을 사용하고, 아티팩트를 저장하기 위해 S3를 사용함- Kubeflow는 기본적으로 저장소로 MinIO를 사용하기에 여기에 mlflow용 버킷을 만들고 사용할 수 있음 MLflow를 위한 Minio bucket 생성- Kubeflow를 위해 이미 설치된 minio 서비스에 접속해 버킷을 생성함kubectl port-forward -n kubeflow svc/minio-service 9000:9000 - http://localhost:9000/ 에 접속한 뒤 아래 계정으로 로그인함..

목차 1. Kubeflow 개념- 쿠버네티스(Kubernetes)를 기반으로 하는 AI 플랫폼 구축을 위한 핵심 도구- 컨테이너 오케스트레이션을 활용하여 머신러닝 워크플로우를 간편게 생성하며 모델을 배포, 관리할 수 있게 함- 각 프로젝트에 필요한 도구를 독립적으로 사용하거나, 전체 AI 워크플로우를 아우르는 통합 플랫폼을 구축할 수 있음 01. 쿠버플로우 AI 플랫폼 특징- 구성 가능하고 모듈식 : 필요한 기능만 선택해 조합할 수 있음- 이식성과 확장성 : 쿠버네티스가 동작하는 어떤 환경(클라우드, 온프레미스)에서도 동일하게 사용할 수 있으며, 대규모 작업도 효율적으로 처리함- AI 워크플로우 지원 : AI 수명 주기의 모든 단계(데이터 준비, 학습, 배포 등)를 지원하는 쿠버네티스 기반 프로젝트들로..

목차 Master노드 버전 정리- kubernetes : v1.28.15- kustomize : v5.6.0- kubeflow : v1.8.01. Kubeflow 설치 및 접속01. Kubeflow 설치하기kustomize를 설치함curl -s "https://raw.githubusercontent.com/kubernetes-sigs/kustomize/master/hack/install_kustomize.sh" | bashinstall kustomize /usr/bin/kustomize manifest git을 clone 함git clone https://github.com/kubeflow/manifests.gitcd manifestsgit checkout v1.8.0 http로 접속할 수 있도..