코딩 기록 저장소

목차 1. 대규모 언어 모델 (Large Language Model, LLM) 01. LLM 개념- 방대한 데이터를 학습해 텍스트를 이해하고 생성할 수 있는 언어 모델- 주로 트랜스포머 신경망과 딥러닝을 활용하며, 문자·단어·문장 간 관계를 학습함- 수천~수백만 GB의 텍스트 데이터를 학습하며, 데이터 품질이 모델 성능에 큰 영향을 줌- 초기 학습 후 추가 학습(웹 크롤링 등)과 튜닝을 통해 특정 작업(질문 답변, 번역 등)에 맞게 성능을 향상시킴- 사람의 개입 없이도 패턴과 의미를 인식할 수 있으며, 특정 목적에 맞게 미세 조정(fine-tuning)이 가능 LLM이 중요한 이유- 높은 유연성 : 질문 답변, 문서 요약, 번역, 문장 완성 등 다양한 작업 수행 가능- 생성형 AI 활용 : 입력 프롬프..

목차 1. 파이프라인 개요- 공식 문서를 참고함!01. 파이프라인 (Pipelines)- 쿠브플로우 파이프라인은 재사용 가능하고 확장성이 좋은 머신러닝 워크플로우를 정의하는 방법- 컨테이너 기반으로 작동하며, 전체 워크플로우를 구성하는 여러 단계(steps)와 입력 파라미터로 이루어져 있음 02. 파이프라인 컴포넌트- 파이프라인 컴포넌트는 파이프라인의 한 단계를 수행하는 컨테이너화된 애플리케이션- 각 컴포넌트는 다음의 내용이 정의된 컴포넌트 명세(specifications)를 가짐인터페이스 : 입력(input) 및 출력(outputs)구현 : 사용할 컨테이너 이미지와 실행할 명령어메타데이터 : 컴포넌트의 이름 및 설명 등- 컴포넌트는 직접 명세를 정의하거나, 쿠브플로우 파이프라인 SDK를 사용해 파이썬..

목차1. Kubeflow 커스터마이징01. MLflow 설치 및 대시보드 추가하기- 두 가지 성격의 저장소가 필요함DB (metadata 저장)Storage (Artifact 저장)- DB를 위해 일반적으로 PostgreSQL을 사용하고, 아티팩트를 저장하기 위해 S3를 사용함- Kubeflow는 기본적으로 저장소로 MinIO를 사용하기에 여기에 mlflow용 버킷을 만들고 사용할 수 있음 MLflow를 위한 Minio bucket 생성- Kubeflow를 위해 이미 설치된 minio 서비스에 접속해 버킷을 생성함kubectl port-forward -n kubeflow svc/minio-service 9000:9000 - http://localhost:9000/ 에 접속한 뒤 아래 계정으로 로그인함..

목차 1. Kubeflow 개념- 쿠버네티스(Kubernetes)를 기반으로 하는 AI 플랫폼 구축을 위한 핵심 도구- 컨테이너 오케스트레이션을 활용하여 머신러닝 워크플로우를 간편게 생성하며 모델을 배포, 관리할 수 있게 함- 각 프로젝트에 필요한 도구를 독립적으로 사용하거나, 전체 AI 워크플로우를 아우르는 통합 플랫폼을 구축할 수 있음 01. 쿠버플로우 AI 플랫폼 특징- 구성 가능하고 모듈식 : 필요한 기능만 선택해 조합할 수 있음- 이식성과 확장성 : 쿠버네티스가 동작하는 어떤 환경(클라우드, 온프레미스)에서도 동일하게 사용할 수 있으며, 대규모 작업도 효율적으로 처리함- AI 워크플로우 지원 : AI 수명 주기의 모든 단계(데이터 준비, 학습, 배포 등)를 지원하는 쿠버네티스 기반 프로젝트들로..

목차 1. context01. 쿠버네티스 context- 쿠버네티스 계정을 발급하고 권한을 제한하는 방법이 serviceaccount와 role- pod 생성 등의 쿠버네티스 요청은 쿠버네티스 API 서버가 처리하고, API 서버는 사용자 요청을 처리하기 전 올바를 사용자가 맞는지 검사하고 사용할 수 있는지 확인함- API 서버의 인증, 인가를 확인하는 기준이 쿠버네티스 context 정보!- context 정보에는 쿠버네티스 클러스터 정보와 사용자 정보가 존재함- 사용자가 요청할 때 별도로 인증, 인가 정보를 명시하지 않으면 context 정보가 자동으로 요청정보와 같이 전송됨※ context는 사용자 홈 디렉터리 /.kube/config에 위치함 02. context 구조- 쿠버네티스 클러스터 정보와..

※ 컴퓨터의 메모리 부족으로 인해 서버컴퓨터에서 학습을 진행하게 됨 목차 1. 게시판 프로젝트 구성01. React 설치Node.js 를 설치함- React.js를 사용하기 위해서는 먼저 Node.js를 설치해야함- Node.js는 자바스크립트 런타임으로 서버 측 자바스크립트를 실행할 수 있도록 해줌https://nodejs.org/koReact 프로젝트 생성- Visual Studio Code에서 원하는 경로에 접근한 후 터미널을 엶(Ctrl + J) - 설치가 완료되면 해당 이름으로 프로젝트가 생성됨npx create-react-app 프로젝트 실행하기- 프로젝트 경로로 이동후 명령어를 입력함cd npm start 2. React 앱 Dockerize(도커라이즈) 하기디플로이먼트 정의 파일에 태그 ..