삐약이 블로그 삐약이 블로그

Self-hosted Integration Runtime (SHIR)Self-hosted Integration Runtime (SHIR) 은 Azure Data Factory 또는 Azure Synapse Analytics 가 사용자 네트워크 내부의 데이터에 접근할 수 있도록 해주는 중계 에이전트입니다. 즉, Azure Data Factory가 온프레미스나 폐쇄망에 있는 데이터베이스에 직접 들어갈 수 없기 때문에, 고객 환경에 설치하는 데이터 수집용 프로그램입니다. Self-hosted Integration Runtime (SHIR) 배포1. SHIR 서버 권장 사양항목요구사항운영체제Windows 10, Windows 11, Windows Server 2016/2019/2022/2025설치 제한Domai..

Azure Data Factory최근 데이터 플랫폼 프로젝트의 인프라 설계/구축을 진행하며 경험한 내용과 얻은 인사이트를 정리해 복기?용으로 공유하고자 합니다. ㅎㅎ Azure Data Factory(ADF)는 다양한 데이터 소스(온프레미스, 클라우드, 데이터베이스 등)에서 데이터를 수집·이동·변환하는 Azure의 클라우드 기반 데이터 통합 서비스입니다. ETL/ELT 파이프라인을 구성하여 데이터 처리 과정을 자동화하고, 데이터 레이크나 데이터 웨어하우스로 데이터를 적재하는 데 주로 사용됩니다. * ETL (Extract, Transform, Load)데이터를 추출(Extract) → 변환(Transform) → 적재(Load)데이터를 저장하기 전에 먼저 가공전통적인 데이터 웨어하우스 환경에서 많이 사용..

클라우드 마이그레이션의 핵심 전략, 6R 모델 정리온프레미스 환경을 클라우드로 이전할 때 가장 먼저 마주치는 질문은 이것이다.“이 시스템을 어떻게 옮길 것인가?” 이 질문에 대한 표준적인 답이 바로 6R 마이그레이션 전략이다.6R은 기존 시스템을 클라우드로 이전할 때 선택할 수 있는 6가지 접근 방식을 의미한다. (Gartner) 1. Rehost (Lift & Shift)Rehost는 말 그대로 현재 시스템을 거의 변경 없이 클라우드로 이전하는 방식이다.가장 빠르고 단순한 마이그레이션 전략으로, 흔히 Lift & Shift라고 부른다. ✅ 장점가장 빠른 이전 가능코드 변경이 없으므로 테스트 범위가 작다단기간 마이그레이션 프로젝트에 적합리스크 최소기존 운영 방식 그대로 유지장애 발생 시 원인 분석이 쉬움..

문제 1Let us try that. Upgrade the application by setting the image on the deployment to kodekloud/webapp-color:v2Do not delete and re-create the deployment. Only set the new image name for the existing deployment. Deployment Name: frontend Deployment Image: kodekloud/webapp-color:v2# Deployment 확인kubectl get deployNAME READY UP-TO-DATE AVAILABLE AGEfrontend 4/4 4 4 ..

Metric Server# Metric Server 설치kubectl apply -f https://github.com/kubernetes-sigs/metrics-server/releases/latest/download/components.yaml # Node 모니터링kubectl top nodeNAME CPU(cores) CPU(%) MEMORY(bytes) MEMORY(%) controlplane 227m 1% 924Mi 1% node01 29m 0% 156Mi 0% # Pod 모니터링kubectl top podNAME CPU(cores)..

Multiple SchedulerKubernetes 클러스터에서 기본 스케줄러(kube-scheduler) 외에 추가로 커스텀 스케줄러를 여러 개 실행하여,Pod 배치를 서로 다른 스케줄러가 분담하도록 하는 구조를 말합니다. 아주 쉽게 말하면,기본 스케줄러 하나로 모든 Pod를 배치하지 않고,여러 개의 스케줄러가 각각 특정 Pod를 배치하도록 역할을 나누는 것.🔹 왜 Multiple Scheduler를 쓰나?1) 서로 다른 스케줄링 정책을 사용하기 위해기본 스케줄러는 일반적인 Load 기반 스케줄링커스텀 스케줄러는 GPU 우선, 비용 우선, 데이터 지역성 우선 같은 특수 로직➡️ 서로 다른 로직을 적용하고 싶을 때.2) 특정 Pod만 커스텀 스케줄러로 배치하고 싶을 때예: AI/ML 훈련 Pod는 GP..

문제 1Now, create another pod in the default namespace named high-prio-pod that runs an nginx image and uses the high-priority PriorityClass.# high-priority.yaml 파일 생성kubectl create priorityclass high-priority --dry-run=client -o yaml > high-priority.yaml # high-priority.yaml 파일 수정apiVersion: scheduling.k8s.io/v1kind: PriorityClassmetadata: name: high-prioritypreemptionPolicy: PreemptLowerPriorit..

Priority ClassesPriorityClass란 Kubernetes에서 Pod의 우선순위(Priority) 를 정의하는 객체입니다.우선순위가 높은 Pod일수록, 클러스터 자원이 부족할 때 스케줄링에서 우선권을 갖고,심지어 낮은 우선순위 Pod를 Evict(축출) 시켜 자원을 확보할 수도 있습니다.✅ PriorityClass가 왜 필요할까?클러스터 자원이 부족한 상황에서:중요한 시스템 Pod(예: CoreDNS, Fluentd, Ingress Controller)는 살아 있어야 하고덜 중요한 워크로드는 죽어도 괜찮을 수 있음→ 이런 상황에서 "Pod마다 중요도" 를 설정하는 기능이 바로 PriorityClass.✅ 동작 방식 PriorityClass를 만들면 value 라는 숫자를 지정합니다.Pri..