AI에서 검색 기반 생성(RAG)이란 무엇인가요?

RAG는 조직이 기존 LLM 사용보다 더 적은 위험으로 AI를 활용할 수 있게 해줍니다.

검색 기반 생성은 더 많은 기업이 AI 솔루션을 도입하면서 점점 더 보편화되고 있습니다. 초기 엔터프라이즈 챗봇은 위험한 실수와 환각 현상이 있었습니다.

RAG를 통해 기업은 LLM의 강점을 활용하면서도, 생성된 답변이 자사 비즈니스 지식에 기반하도록 할 수 있습니다.

검색 기반 생성이란 무엇인가요?

AI에서 검색 기반 생성(RAG)은 a) 관련 외부 정보를 검색하고 b) AI가 답변을 생성하는 방식을 결합해, 정확성과 관련성을 높이는 기술입니다.

대형 언어 모델(LLM)의 생성에만 의존하는 대신, RAG 모델의 답변은 AI 에이전트 빌더가 지정한 지식 기반(예: 회사 웹페이지나 인사 정책 문서)에 기반합니다.

RAG는 두 가지 주요 단계로 작동합니다:

1. 검색

모델이 구조화 또는 비구조화된 소스(예: 데이터베이스, PDF, HTML 파일, 기타 문서)에서 관련 데이터를 찾아 검색합니다. 이 소스는 표와 같은 구조화된 데이터일 수도 있고, 승인된 웹사이트와 같은 비구조화 데이터일 수도 있습니다.

2. 생성

검색 후, 정보를 LLM에 입력합니다. LLM은 이 정보를 활용해 자연스러운 언어로 응답을 생성하며, 승인된 데이터를 자체 언어 능력과 결합해 정확하고 인간적인, 브랜드에 맞는 답변을 만듭니다.

RAG 활용 사례 예시

RAG의 목적은 조직이 관련성 있고, 유익하며, 정확한 결과를 제공할 수 있게 하는 것입니다.

RAG는 부정확한 LLM 결과나 환각 현상의 위험을 직접적으로 줄여줍니다.

예시 1: 로펌

로펌은 AI 시스템에서 RAG를 다음과 같이 활용할 수 있습니다:

• 연구 과정에서 문서 데이터베이스에서 관련 판례, 선례, 법적 판결을 검색합니다.
• 사건 파일과 과거 판결에서 핵심 사실을 추출해 사건 요약을 생성합니다.
• 직원들에게 관련 규제 업데이트를 자동으로 제공합니다.

예시 2: 부동산 중개업체

부동산 중개업체는 AI 시스템에서 RAG를 다음과 같이 활용할 수 있습니다:

• 부동산 거래 이력과 지역 범죄 통계 데이터를 요약합니다.
• 지역 부동산 법과 규정을 인용해 부동산 거래 관련 법률 질문에 답변합니다.
• 부동산 상태 보고서, 시장 동향, 과거 거래 데이터를 활용해 감정 평가 과정을 간소화합니다.

예시 3: 이커머스 스토어

이커머스 기업은 AI 시스템에서 RAG를 다음과 같이 활용할 수 있습니다:

• 회사 데이터베이스에서 제품 정보, 사양, 리뷰를 수집해 맞춤형 제품 추천에 활용합니다.
• 주문 이력을 검색해 사용자 취향에 맞춘 개인화된 쇼핑 경험을 제공합니다.
• 고객 세분화 데이터와 최근 구매 패턴을 결합해 타겟 이메일 캠페인을 생성합니다.

RAG의 장점

ChatGPT나 Claude에 질문해 본 사람이라면 알겠지만, LLM에는 내장된 안전장치가 거의 없습니다.

적절한 관리 없이 사용하면, 부정확하거나 심지어 해로운 정보를 생성할 수 있어 실제 환경에서는 신뢰하기 어렵습니다.

RAG는 신뢰할 수 있고 최신 데이터 소스에 기반해 응답을 생성함으로써 이러한 위험을 크게 줄여줍니다.

환각과 부정확성 방지

기존 언어 모델은 그럴듯하지만 사실과 다른, 혹은 관련 없는 답변(환각)을 자주 생성합니다.

RAG는 신뢰할 수 있고 매우 관련성 높은 데이터에 기반해 답변을 생성함으로써 환각을 줄입니다.

검색 단계에서 모델이 정확하고 최신 정보를 참조하게 하여, 환각 가능성을 크게 낮추고 신뢰성을 높입니다.

최신 정보 검색

LLM은 다양한 작업에 강력하지만, 드물거나 최근의 정보, 또는 기업 고유의 지식에 대해선 정확한 답변을 제공하지 못합니다.

하지만 RAG는 웹사이트, 표, 데이터베이스 등 어떤 소스에서든 실시간 정보를 가져올 수 있게 해줍니다.

따라서 신뢰할 수 있는 소스가 최신 상태로 유지된다면, 모델은 항상 최신 정보를 바탕으로 답변할 수 있습니다.

복잡한 맥락에서의 소통

기존 LLM 사용의 또 다른 약점은 맥락 정보의 손실입니다.

LLM은 길거나 복잡한 대화에서 맥락을 유지하는 데 어려움을 겪어, 종종 불완전하거나 단편적인 답변을 내놓습니다.

하지만 RAG 모델은 의미적으로 연결된 데이터 소스에서 직접 정보를 가져와 맥락을 인식할 수 있습니다.

예를 들어, 제품 카탈로그를 갖춘 영업 챗봇처럼 사용자 요구에 맞춘 추가 정보를 제공함으로써, RAG는 AI가 맥락 있는 대화에 참여할 수 있게 합니다.

RAG는 어떻게 작동하나요?

1. 문서 업로드

먼저, 빌더가 AI 에이전트의 라이브러리에 문서나 파일을 업로드합니다. 이 파일은 웹페이지, PDF 등 지원되는 형식일 수 있으며, AI의 지식 기반 일부가 됩니다.

2. 문서 변환

PDF, 웹페이지 등 다양한 파일 형식이 있기 때문에, 시스템은 이 파일들을 표준화된 텍스트 형식으로 변환해 AI가 정보를 쉽게 처리하고 검색할 수 있도록 합니다.

3. 청킹 및 저장

변환된 문서는 더 작고 관리하기 쉬운 단위(청크)로 분할됩니다. 이 청크들은 데이터베이스에 저장되어, AI 에이전트가 질의 시 관련 부분을 효율적으로 검색할 수 있습니다.

4. 사용자 질의

지식 기반이 준비되면, 사용자가 AI 에이전트에게 질문할 수 있습니다. 이 질의는 자연어 처리(NLP)를 통해 사용자의 의도를 파악합니다.

5. 지식 검색

AI 에이전트는 저장된 청크를 검색 알고리즘으로 탐색해, 업로드된 문서 중 사용자 질문에 답할 수 있는 가장 관련성 높은 정보를 찾습니다.

6. 생성

마지막으로, AI 에이전트는 검색된 정보와 언어 모델 능력을 결합해, 질의와 검색된 데이터를 바탕으로 일관성 있고 맥락에 맞는 답변을 생성합니다.

고급 RAG 기능

개발자가 아니라면, 모든 RAG가 동일하지 않다는 사실에 놀랄 수 있습니다.

필요, 사용 사례, 기술 수준에 따라 각 시스템은 서로 다른 RAG 모델을 구축합니다.

일부 AI 플랫폼은 AI 소프트웨어의 정확성과 신뢰성을 더욱 높일 수 있는 고급 RAG 기능을 제공합니다.

의미 기반 청킹 vs 단순 청킹

단순 청킹은 문서의 의미나 맥락과 상관없이, 예를 들어 500단어씩 고정된 크기로 잘라내는 방식입니다.

반면 의미 기반 청킹은 내용에 따라 문서를 의미 있는 단위로 나눕니다.

단락이나 주제와 같은 자연스러운 구분을 고려해, 각 청크가 일관된 정보를 담도록 합니다.

필수 인용 표시

금융, 의료 등 고위험 대화를 AI로 자동화하는 산업에서는, 인용 표시가 정보를 받는 사용자에게 신뢰를 심어줄 수 있습니다.

개발자는 RAG 모델이 제공하는 모든 정보에 인용을 포함하도록 설정할 수 있습니다.

예를 들어, 직원이 AI 챗봇에 복리후생 정보를 문의하면, 챗봇이 답변과 함께 관련 복리후생 문서 링크를 제공할 수 있습니다.

맞춤형 RAG AI 에이전트 구축

최신 LLM의 강점과 기업 고유의 지식을 결합하세요.

Botpress는 유연하고 무한히 확장 가능한 AI 챗봇 플랫폼입니다.

사용자는 어떤 용도의 AI 에이전트나 챗봇도 만들 수 있으며, 시장에서 가장 발전된 RAG 시스템을 이용할 수 있습니다.

챗봇을 원하는 플랫폼이나 채널에 연동하거나, 사전 제작된 통합 라이브러리에서 선택할 수 있습니다. Botpress 유튜브 채널의 튜토리얼이나 Botpress Academy의 무료 강좌로 시작해보세요.

지금 바로 시작하세요. 무료입니다.

자주 묻는 질문

1. RAG는 LLM 파인튜닝과 어떻게 다른가요?

RAG(검색 기반 생성)은 파인튜닝과 다릅니다. RAG는 원래의 LLM을 변경하지 않고, 실행 시점에 관련 문서를 검색하여 외부 지식을 주입합니다. 반면 파인튜닝은 학습 데이터를 사용해 모델의 가중치를 수정해야 하며, 더 많은 연산 자원이 필요하고 업데이트마다 반복해야 합니다.

2. RAG에 적합하지 않은 데이터 소스에는 어떤 것들이 있나요?

RAG에 적합하지 않은 데이터 소스에는 스캔 문서, 이미지 기반 PDF, 전사본이 없는 오디오 파일, 오래되었거나 상충되는 내용 등이 포함됩니다. 이러한 데이터는 검색된 맥락의 정확도를 떨어뜨립니다.

3. RAG는 프롬프트 엔지니어링과 같은 인컨텍스트 학습 기법과 어떻게 비교되나요?

RAG는 쿼리 시점에 대규모 색인화된 지식 베이스에서 관련 내용을 검색하는 반면, 프롬프트 엔지니어링은 프롬프트에 수동으로 예시를 삽입하는 정적인 방식에 의존합니다. 이로 인해 RAG는 더 쉽게 확장할 수 있고, 재학습 없이 최신 정보를 유지할 수 있습니다.

4. RAG를 OpenAI, Anthropic, Mistral과 같은 서드파티 LLM과 함께 사용할 수 있나요?

네, OpenAI, Anthropic, Mistral 등 다양한 LLM과 RAG를 함께 사용할 수 있습니다. 검색 파이프라인을 별도로 처리한 후, 검색된 맥락을 LLM API를 통해 전달하면 됩니다. LLM이 프롬프트로 맥락 입력을 받을 수 있다면 RAG는 모델에 구애받지 않습니다.

5. RAG 기반 AI 에이전트의 지속적인 유지관리는 어떻게 이루어지나요?

RAG 기반 AI 에이전트의 유지관리는 새로운 문서 추가나 수정, 정기적인 콘텐츠 재색인, 검색 품질 평가, 청크 크기 및 임베딩 방식 조정, 에이전트 응답의 편향이나 환각 현상 모니터링 등이 포함됩니다.