[Azure Data Factory] Azure Data Factory로 원본 데이터 이관 ① 원본 DB 구성

Azure Data Factory

최근 데이터 플랫폼 프로젝트의 인프라 설계/구축을 진행하며 경험한 내용과 얻은 인사이트를 정리해 복기?용으로 공유하고자 합니다. ㅎㅎ

 

Azure Data Factory(ADF)는 다양한 데이터 소스(온프레미스, 클라우드, 데이터베이스 등)에서 데이터를 수집·이동·변환하는 Azure의 클라우드 기반 데이터 통합 서비스입니다. ETL/ELT 파이프라인을 구성하여 데이터 처리 과정을 자동화하고, 데이터 레이크나 데이터 웨어하우스로 데이터를 적재하는 데 주로 사용됩니다.

 

* ETL (Extract, Transform, Load)

데이터를 추출(Extract) → 변환(Transform) → 적재(Load)

• 데이터를 저장하기 전에 먼저 가공
• 전통적인 데이터 웨어하우스 환경에서 많이 사용
• 저장소 부하를 줄일 수 있음

예시

• Oracle → 데이터 정제 → Azure SQL Database 적재

 

* ELT (Extract, Load, Transform)

데이터를 추출(Extract) → 적재(Load) → 변환(Transform)

 

• 원본 데이터를 먼저 저장
• 저장 후 Databricks, Synapse 등으로 변환 수행
• 대용량 데이터 처리에 유리

예시

Oracle → Data Lake 적재 → Databricks에서 변환

 

최근 Azure 데이터 플랫폼에서는 ADF로 데이터를 Data Lake에 적재한 뒤 Databricks에서 가공하는 ELT 방식이 가장 일반적으로 사용됩니다.

 

원본 DB 구성

원본 DB 구성 (Azure IaaS)

기존 온프레미스 데이터베이스를 Azure 환경으로 이전하는 것을 가정하여, 원본 데이터베이스 서버를 Azure 가상 머신(IaaS) 형태로 구성합니다. 

또한 이후 Self-hosted Integration Runtime을 통해 온프레미스 또는 IaaS 기반 SQL Server에 안전하게 접근하도록 구성합니다.

 

1. 원본 DB 서버 구성 사양

항목	구성
배포 방식	Azure Virtual Machine (IaaS)
운영체제	Windows Server 2019
데이터베이스 제품	Microsoft SQL Server 2019 (MSSQL)
데이터베이스	AdventureWorks
용도	원본 업무 데이터 저장 및 데이터 수집 대상
VM SKU	Standard_B4als_v2

 

샘플 데이터베이스는 MS에서 제공하는 AdventureWorks 예제 데이터베이스를 이용하였습니다.

샘플 데이터베이스 다운로드 & 복원 방법은 하기 링크를 참고하시면 됩니다.

참고) AdventureWorks 예제 데이터베이스

AdventureWorks 샘플 데이터베이스 - SQL Server

 

SQL Server 2019 설치에 필요한 권장 사양은 하기 링크를 참고하시면 됩니다.

참고) SQL Server 2019의 하드웨어 및 소프트웨어 요구 사항

SQL Server 2019: 하드웨어 및 소프트웨어 요구 사항 - SQL Server

 

2. 원본 DB 서버 인증 구성

원본 SQL Server와 Azure Data Factory 간 연동은 SQL Authentication 기반으로 구성하며, ADF가 사용하는 전용 SQL 계정에 데이터베이스 접속(CONNECT) 및 데이터 조회(SELECT) 권한만 부여하여 최소 권한 원칙에 따라 운영합니다.

항목	구성
인증 방법	SQL Authenticaiton
계정	Azure Data Factory가 사용할 전용 SQL 계정 생성
권한	CONNECT(데이터베이스 접속), SELECT(데이터 조회)

 

(예시) adf_admin 사용자에게 AdventureWorks2019 데이터 베이스에 대한 권한 부여

-- SQL 로그인 생성
USE master;
GO

CREATE LOGIN adf_admin
WITH PASSWORD = '[패스워드 입력]';
GO

-- AdventureWorks 데이터베이스 사용자 생성
USE AdventureWorks2019;
GO

CREATE USER adf_admin FOR LOGIN adf_admin;
GO

-- 데이터베이스 접속 권한
GRANT CONNECT TO adf_admin;
GO

-- 모든 테이블 및 뷰 조회 권한
ALTER ROLE db_datareader ADD MEMBER adf_admin;
GO

 

편의상 해당 테스트 구성에는 db_datareader 권한을 부여하나,

특정 업무 테이블만 수집하는 경우에는 테이블별 SELECT 권한을 사용하는 것을 권장합니다.

 

[최종 원본 DB 구성 화면]