[Microsoft Foundry] Microsoft Foundry를 활용한 LLM + RAG 구현 (2)

* 이전 게시글

1. [Microsoft Foundry] Microsoft Foundry를 활용한 LLM + RAG 구현 (1)

https://bbiyak-cloud.tistory.com/203

[Microsoft Foundry] Microsoft Foundry를 활용한 LLM + RAG 구현 (1)

---

목표 구성도

이번 Hands-on에서는 Microsoft Foundry를 통해 LLM, RAG를 구성하여 사내 챗봇을 구현해보기로 합니다.

 

테스트용의 챗봇이기때문에 구성도가 빈약한 점 양해 부탁드립니다.. (__)

또한, 기본 리소스 생성 과정은 생략하도록 하겠습니다.

 

 

작동 흐름

 

Microsoft Foundry 생성

• 리전 : Korea Central
• 리소스 그룹 : rg-ai

 

Microsoft Foundry 내 리소스 생성

Project 생성

# Microsoft Foundry Portal > Create new project 생성 

 

Project name, Region, Subscription, Resource Group 지정 후 Create

 

Model 생성

# LLM Model(gpt-4o)와 Embedding Model(text-embedding-3-small) 2개 생성

 

 

 

Blob Storage 생성

# Blob Storage 생성

 

액세스 키 이동 후 키, 연결 문자열 복사해두기

 

AI Search 생성

• 리전 : Korea Central
• 리소스 그룹 : rg-ai

AI Search에 데이터 연결

 

# AI Search에 데이터 연결

 

데이터 연결 > 가져오기

 

데이터 원본 선택

해당 Hands-on에서는 Blob에서 데이터를 가져올 것이기 때문에, Azure Blob Storage 선택

 

RAG 클릭

 

구독, 스토리지 계정, Blob 선택

 

종류 : Microsoft Foundry(AI Foundry)

구독 : 본인 구독

프로젝트 : 앞서 Microsoft Foundry에서 만든 프로젝트

모델 배포 : 앞서 Microsoft Foundry에서 Embedding Model

인증 유형 : API 키

 

앞서 이미지 벡터화 및 보강, 고급 설정 생략

개체 이름 접두사 지정 후 생성

 

AI Search에서 데이터 연결 시, 자동으로 인덱스가 생성된다.