검색 증강 생성(RAG) 원칙 및 사례 기반 구축 가이드(번역)

AI 기술 자료9개월 전 업데이트 Sharenet.ai
1.5K 0
吐司AI
检索增强生成(RAG)原理与实践基础构建指南(译)

 

점점 더 크고 스마트한 모델이 지속적으로 출시되고 있지만, 최첨단 생성형 대규모 언어 모델(LLM)은 여전히 전문성이 필요한 작업을 처리할 때 성능이 저하된다는 큰 문제를 안고 있습니다. 이러한 전문성 부족으로 인해 모델이 부정확하거나 조작된 정보를 생성하는 팬텀 현상과 같은 문제가 발생할 수 있습니다.검색 증강 생성(RAG)이는 모델이 외부 소스의 도메인별 데이터에 실시간으로 액세스하여 정확하고 상세한 답변을 제공할 수 있는 능력을 향상시킴으로써 완화됩니다.

이러한 한계에도 불구하고 생성 모델은 일상적인 작업을 자동화하고, 일상 업무를 지원하고, 새로운 방식으로 데이터와 상호 작용할 수 있도록 도와주는 매우 영향력 있는 도구입니다. 그렇다면 어떻게 하면 제너레이티브 모델의 광범위한 지식을 활용하면서 특정 사용 시나리오에 맞게 활용할 수 있을까요? 해답은 제너레이티브 모델링을 위한 업무 관련 데이터를 제공하는 데 있습니다.

이 백서에서는 외부 데이터를 참조할 수 있도록 하여 모델의 기능을 향상시키는 프레임워크인 검색 증강 생성(RAG)에 대해 심층적으로 살펴봅니다. 또한 제너레이티브 모델링의 한계에 대해 살펴봅니다. RAG RAG의 작동 원리를 설명하고 RAG 파이프라인의 아키텍처를 자세히 분석합니다. 또한 몇 가지 실용적인 RAG 사용 사례를 제공하고, 구체적인 RAG 구현 방법을 제안하며, 몇 가지 고급 RAG 기술을 소개하고, RAG 평가 방법에 대해 논의할 것입니다.

LLM은 다양한 텍스트 및 언어 관련 작업을 수행할 수 있는 대규모 데이터 세트에 대해 학습된 언어 모델을 포괄적으로 일컫는 용어입니다. 생성형 LLM은 챗봇에서 사용되는 것과 같이 사용자 프롬프트에 응답하여 새 텍스트를 생성할 수 있는 모델로, 흔히 다음과 같이 불립니다.생성 모델텍스트 데이터를 시맨틱 공간으로 인코딩하는 LLM을 LLM이라고 합니다. 텍스트 데이터를 시맨틱 공간으로 인코딩하는 LLM은 다음과 같이 호출됩니다.모델 임베딩. 따라서 이 백서에서는 이 두 가지 유형의 모델을 구분하기 위해 제너레이티브 모델과 임베디드 모델이라는 용어를 사용합니다.

 

제너레이티브 모델링의 한계

생성 모델은 소셜 미디어 게시물, 서적, 학술 논문, 크롤링된 웹 페이지 등 수많은 데이터 세트에 대한 학습을 통해 일반적인 지식을 습득하도록 훈련됩니다. 그 결과, 이러한 모델은 사람과 유사한 텍스트를 생성하고 다양한 질문에 답하며 답변, 요약, 창의적인 글쓰기 등의 작업을 지원할 수 있습니다.

그러나 생성 모델의 학습 데이터 세트는 데이터 세트 마감일 이후의 틈새 주제와 새로운 개발에 대한 정보가 부족하기 때문에 불완전할 수밖에 없습니다. 또한 생성 모델은 내부 데이터베이스나 리포지토리의 독점 데이터에 액세스할 수 없습니다. 또한 이러한 모델은 질문에 대한 답을 모를 때 추측하는 경향이 있으며, 때로는 그 추측이 부정확할 수도 있습니다. 부정확하거나 허구의 정보를 생성하는 이러한 현상을 환각이라고 하며, 고객 대면 AI 애플리케이션에서 실제 평판 손상으로 이어질 수 있습니다.

전문화된 작업에서 생성 모델의 성능을 개선하고 착시를 줄이기 위한 핵심은 학습 데이터에 없는 추가 정보를 제공하는 것입니다. 이것이 바로 RAG가 필요한 이유입니다.

 

검색 증강 생성(RAG)이란 무엇인가요?

검색 증강 생성(RAG) 는 외부 데이터 소스에서 현재 작업과 관련된 추가 데이터를 검색하여 다음과 같이 가져오는 방법입니다.강화제너럴리스트 지식의 생성적 거시 언어 모델링을 위한 프레임워크입니다.

외부 데이터 소스에는 내부 데이터베이스, 파일 및 리포지토리뿐만 아니라 뉴스 기사, 웹사이트 또는 기타 온라인 콘텐츠와 같은 공개적으로 사용 가능한 데이터도 포함될 수 있습니다. 이러한 데이터에 액세스하면 모델의 원래 학습 데이터 세트에서 정보를 찾을 수 없는 경우 '추측'을 피하고 보다 사실에 기반한 답변을 제공하고 답변에 출처를 인용할 수 있습니다.

RAG의 일반적인 사용 사례로는 최신 정보 검색, 전문 도메인 지식 액세스, 복잡한 데이터 기반 질문에 대한 답변 등이 있습니다.

 

RAG 아키텍처

RAG 파이프라인의 기본 구성 요소는 다음과 같이 나눌 수 있습니다.세 가지 구성 요소외부 지식 소스, 프롬프트 템플릿, 생성 모델 등입니다. 이러한 구성 요소를 통해 대규모 언어 모델 기반 애플리케이션은 귀중한 작업별 데이터를 사용하여 보다 정확한 응답을 생성할 수 있습니다.

检索增强生成(RAG)原理与实践基础构建指南(译)

 

외부 지식 소스

외부 지식의 지원 없이는 제너레이티브 모델을 기반으로 한매개변수 지식모델 학습 단계에서 학습된 답변을 생성합니다. RAG를 사용하면 파이프라인에 다음을 통합할 수 있습니다.외부 지식 소스라고도 합니다.비매개변수 지식.

외부 데이터 소스는 일반적으로 작업별로 다르며 모델의 원래 학습 데이터나 매개변수화된 지식의 범위를 벗어나는 경우가 많습니다. 또한 일반적으로 주제와 형식이 다를 수 있는 벡터 데이터베이스에 저장됩니다.

일반적인 외부 데이터 소스에는 회사 내부 데이터베이스, 법률, 규정 및 문서, 의학 및 과학 문헌, 크롤링된 웹 페이지가 포함됩니다. 개인 데이터 소스도 RAG에 사용할 수 있습니다. Microsoft의 Copilot과 같은 개인 AI 비서는 이메일, 문서, 인스턴트 메시지 등 광범위한 개인 데이터 소스를 활용하여 맞춤형 답변을 제공하고 작업을 보다 효율적으로 자동화합니다.

팁 템플릿

프롬프트는 요청을 생성 모델에 전달하는 데 사용하는 도구입니다. 프롬프트에는 여러 요소가 포함될 수 있지만 일반적으로 모델이 관련 응답을 생성하도록 안내하는 쿼리, 지시어 및 컨텍스트가 포함됩니다.

팁 템플릿 다양한 쿼리와 컨텍스트를 삽입할 수 있는 표준화된 프롬프트를 생성하는 구조화된 방식이 제공됩니다. RAG(검색 증강 생성) 프로세스에서는 외부 데이터 소스에서 관련 데이터를 검색하고 힌트 템플릿에 삽입하여 힌트를 보강합니다. 기본적으로 프롬프트 템플릿은 외부 데이터와 모델 사이의 다리 역할을 하며, 모델이 정확한 답변을 생성하기 위해 추론에 사용할 수 있도록 맥락에 맞는 정보를 제공합니다.

prompt_template = "上下文信息如下。\n"
                  "---------------------\n"
                  "{context_str}\n"
                  "---------------------\n"
                  "根据上下文信息而不是先前的知识,回答问题。\n"
                  "问题: {query_str}\n"
                  "回答: "

생성적 대규모 언어 모델링(LLM)

RAG의 마지막 구성 요소는 생성 모델이라고도 하는 생성형 대규모 언어 모델(LLM)로, 사용자 쿼리에 대한 최종 답변을 생성하는 데 사용됩니다. 그런 다음 외부 지식 기반에서 제공하는 정보로 보강된 강화된 프롬프트가 모델로 전송되어 내부 지식과 새로 검색된 데이터를 결합한 답변을 생성합니다.

이제 RAG의 아키텍처와 주요 구성 요소에 대해 설명했으니, 이제 RAG 워크플로에서 이러한 구성 요소가 어떻게 조화를 이루는지 살펴보겠습니다.

 

RAG는 어떻게 작동하나요?

RAG는 두 단계로 구성된 다단계 프레임워크입니다. 먼저 수집 단계에서는 외부 지식을 전처리하여 검색할 수 있도록 준비합니다. 다음으로 추론 단계에서 모델은 외부 지식창고에서 관련 데이터를 검색하고 사용자 프롬프트를 통해 이를 보강하여 응답을 생성합니다. 이제 각 단계를 좀 더 자세히 살펴보겠습니다.

1단계: 섭취

첫째, 외부 지식 소스를 준비해야 합니다. 간단히 말해, 외부 데이터를 정리하고 모델이 이해할 수 있는 형식으로 변환해야 합니다. 이를 흡수 단계. 수집 프로세스 중에 텍스트 또는 이미지 데이터는 다음과 같은 프로세스를 거치게 됩니다. 정량적 프로세스를 원래 형식에서 임베딩. 임베딩이 생성된 후에는 나중에 쉽게 검색할 수 있는 방식으로 저장해야 합니다. 대부분의 경우 이러한 임베딩은 벡터 데이터베이스에 저장되므로 다운스트림 작업을 위해 정보를 빠르고 효율적으로 검색할 수 있습니다.

检索增强生成(RAG)原理与实践基础构建指南(译)

 

2단계: 추론

외부 데이터가 인코딩되어 저장되면 추론 검색 단계에서는 모델이 응답을 생성하거나 질문에 답변합니다. 추론은 검색, 향상 및 생성의 세 단계로 나뉩니다.

检索增强生成(RAG)原理与实践基础构建指南(译)

 

검색(데이터)

추론 단계는 사용자 쿼리에 대한 응답으로 외부 지식 소스에서 데이터를 검색하는 검색으로 시작됩니다. 검색 방법은 형식과 복잡성이 다양하지만, 외부 지식이 벡터 데이터베이스에 내장되어 저장되는 간단한 RAG 모델에서는유사 검색 은 가장 간단한 형태의 검색입니다.

유사도 검색을 수행하려면 먼저 사용자 쿼리를 외부 데이터와 동일한 다차원 공간에 임베드하여 쿼리가 임베드된 외부 데이터와 직접 비교될 수 있도록 해야 합니다. 사용자 쿼리를 유사 검색 쿼리와 외부 데이터 포인트 사이의 거리를 계산하여 가장 짧은 거리를 가진 포인트를 반환하여 검색 프로세스를 완료합니다.

증강

외부 데이터 소스에서 가장 관련성이 높은 데이터 포인트가 검색되면, 개선 프로세스는 이 외부 정보를 미리 정의된 큐 템플릿에 삽입하여 이를 통합합니다.

세대

증강 프롬프트가 모델의 컨텍스트 창에 주입된 후 모델은 사용자 입력에 대한 최종 응답을 생성합니다. 생성 단계에서 모델은 내부 언어 이해와 강화된 외부 데이터를 결합하여 일관성 있고 맥락에 맞는 답변을 생성합니다.

이 단계에서는 유동적이고 자연스러운 방식으로 응답을 생성하는 동시에 풍부한 정보를 활용하여 사용자의 질의에 정확하고 관련성 있는 결과물을 생성합니다. 강화는 외부 사실을 통합하는 것을 목표로 하며, 생성은 이렇게 통합된 지식을 특정 요청에 대해 잘 구조화되고 인간과 유사한 결과물로 변환하는 것입니다.

 

RAG 적용 예시

이제 RAG의 정의, 작동 방식 및 아키텍처에 대해 살펴봤으니 실제 환경에서 이 프레임워크를 어떻게 사용할 수 있는지 몇 가지 실제 적용 시나리오를 살펴보겠습니다. 작업별 최신 데이터로 생성형 대규모 언어 모델을 보강함으로써 정확도, 관련성 및 특수 작업 처리 능력을 향상시킬 수 있습니다. 그 결과 RAG는 실시간 정보 검색, 콘텐츠 추천 시스템, 개인 AI 비서 구축에 널리 사용되고 있습니다.

실시간 정보 검색

생성 모델을 단독으로 사용할 때는 학습 데이터 세트에 존재하는 정보만 검색할 수 있습니다. 하지만 RAG의 프레임워크에서는 모델이 외부 소스에서 데이터와 정보를 검색할 수 있으므로 보다 정확하고 최신의 응답을 보장할 수 있습니다. 웹 페이지에서 실시간으로 직접 정보를 액세스하고 검색할 수 있는 ChatGPT-4o의 기능이 그러한 예 중 하나입니다. 이는 벡터 데이터베이스에 포함되지 않은 외부 데이터 소스를 활용하는 RAG 사용 사례로, 뉴스나 주가, 여행 조언, 날씨 업데이트 등 시간에 민감한 기타 이벤트에 대한 사용자 쿼리에 답변하는 데 특히 유용합니다.

콘텐츠 추천 시스템

콘텐츠 추천 시스템은 사용자 데이터와 선호도를 분석하여 사용자에게 관련성 있는 제품이나 콘텐츠를 추천합니다. 일반적으로 이러한 시스템에는 복잡한 통합 모델과 사용자 선호도에 대한 대규모 데이터 세트가 필요하지만, RAG는 상황에 맞는 외부 사용자 데이터를 모델의 일반 지식과 직접 통합하여 개인화된 추천을 생성함으로써 추천 시스템 구축을 간소화합니다.

개인 AI 비서

문서, 이메일, Slack 메시지, 메모 등 개인 데이터는 모델을 생성하는 데 중요한 데이터 소스입니다. 개인 데이터에 RAG를 실행하면 대화 방식으로 데이터와 상호 작용하여 효율성을 높이고 일상적인 작업을 자동화할 수 있습니다. Microsoft의 다음과 같은 AI 비서의 도움으로 부조종사 노래로 응답 Notion (AI에게 물어보세요)를 사용하면 간단한 안내를 통해 관련 문서를 검색하고, 개인화된 이메일을 작성하고, 문서와 회의록을 요약하고, 회의 일정을 잡는 등의 작업을 수행할 수 있습니다.

 

RAG 구현 방법

이제 RAG의 작동 원리를 이해했으니 이제 기능적인 RAG 파이프라인을 구축하는 방법을 살펴보겠습니다.RAG는 벡터 데이터베이스, 임베딩 생성 도구 및 기타 API와 같은 외부 서비스뿐만 아니라 개별 RAG 구성 요소의 통합을 가능하게 하는 사전 구축된 도구와 모듈을 제공하여 구축 과정을 단순화하는 여러 가지 프레임워크를 통해 구현할 수 있습니다.

LangChain, LlamaIndex, DSPy는 모두 RAG 파이프라인과 대규모 언어 모델(LLM) 애플리케이션 구축 및 최적화를 위한 강력한 도구와 통합 기능을 제공하는 활발한 커뮤니티를 갖춘 강력한 오픈 소스 Python 라이브러리입니다.

  • LangChain 빌딩 블록, 구성 요소 및 타사 통합을 제공하여 LLM 기반 애플리케이션을 개발하는 데 도움을 줍니다. 다음과 함께 사용할 수 있습니다. LangGraph 를 함께 사용하여 프록시 스타일의 RAG 파이프라인을 구축하며, 이를 통해 LangSmith RAG 평가를 실시합니다.
  • LlamaIndex 는 외부 데이터 소스를 통합하는 LLM 애플리케이션을 구축하기 위한 도구를 제공하는 프레임워크입니다. 라마허브이것은 데이터 로더, 프록시 도구, 데이터 세트 및 기타 구성 요소로 구성된 풍부한 라이브러리로, RAG 파이프라인 생성을 간소화합니다.
  • DSPy 는 LLM 파이프라인 최적화를 위한 모듈식 프레임워크입니다. RAG 파이프라인을 원활하게 최적화하기 위해 LLM과 RM(검색 모델)을 DSPy에서 구성할 수 있습니다.

Weaviate는 다음을 제공합니다. 집적(집적 회로에서와 같이) 노래로 응답 공식 Weaviate는 이러한 각 프레임워크와 함께 사용할 수 있습니다. 구체적인 예시를 보려면 Weaviate를 다음과 함께 사용하는 방법을 보여주는 노트북을 확인하세요. LlamaIndex 노래로 응답 DSPy RAG 파이프라인을 구축합니다.

RAG를 빠르게 시작하고 실행하고 싶다면 VerbaVerba는 사전 구축된 멋진 프론트엔드를 갖춘 즉시 사용 가능한 오픈 소스 RAG 애플리케이션으로, 완전히 새로운 프레임워크를 배울 필요 없이 몇 가지 간단한 단계로 데이터 세트를 시각적으로 탐색하고 인사이트를 추출하며 사용자 정의 가능한 RAG 파이프라인을 구축할 수 있습니다.Verba는 RAG 파이프라인을 테스트하고 실험하는 놀이터로 사용할 수 있는 다목적 도구일 뿐만 아니라 개인용 연구 지원, 내부 문서 분석, 다양한 RAG 관련 작업 간소화와 같은 개인적인 작업에도 사용할 수 있습니다.

Verba로 즉시 사용 가능한 RAG 구현하기

 

RAG 기술

기존의 RAG 워크플로는 일반적으로 유사도 검색을 통해 검색되는 벡터 데이터베이스에 내장된 외부 데이터 소스로 구성됩니다. 그러나 보다 정확하고 강력한 결과를 위해 RAG 워크플로우를 개선하는 몇 가지 방법이 있으며, 이를 통칭하여 고급 RAG라고 합니다.

고급 추론과 동적 데이터 검색을 가능하게 하는 그래프 데이터베이스와 에이전트를 도입함으로써 RAG 파이프라인의 기능을 더욱 확장할 수 있습니다. 다음 섹션에서는 몇 가지 일반적인 고급 RAG 기술을 소개하고 에이전트 기반 RAG와 그래프 RAG에 대한 개요를 제공합니다.

고급 RAG

고급 RAG 기술은 파이프라인의 모든 단계에 배포할 수 있습니다. 다음과 같은 사전 검색 전략 메타데이터 필터링 및 텍스트 청크 검색 범위를 좁히고 데이터에서 가장 관련성이 높은 부분만 고려하도록 함으로써 검색 효율성과 관련성을 개선할 수 있습니다. 다음과 같은 고급 검색 기법을 사용하면 하이브리드 검색유사도 검색과 키워드 검색의 장점을 결합한 검색 모델을 사용하면 더욱 강력한 검색 결과를 얻을 수 있습니다. 마지막으로 검색 결과에 정렬 모델을 사용합니다. 재주문 도메인별 데이터를 기반으로 미세 조정된 대규모 언어 모델(LLM)을 사용하여 생성하면 생성된 결과의 품질을 향상시킬 수 있습니다.

检索增强生成(RAG)原理与实践基础构建指南(译)

 

이 주제에 대해 더 자세히 알아보려면 다음 문서를 참조하세요. 고급 RAG 기술 블로그 게시물입니다.

프록시 RAG

AI 에이전트 는 정보를 해석하고, 계획을 세우고, 결정을 내릴 수 있는 자율 시스템입니다. RAG 파이프라인에 추가되면 에이전트는 사용자 쿼리를 재구성하고 초기 결과가 부정확하거나 관련성이 없는 경우 더 관련성 높은 정보를 다시 검색할 수 있습니다. 에이전트 기반 RAG는 여러 문서에서 정보를 비교하고, 후속 질문을 하고, 검색 및 생성 전략을 반복적으로 조정하는 등 다단계 추론이 필요한 보다 복잡한 쿼리도 처리할 수 있습니다.

프록시를 포함하고 텍스트 청킹 및 재정렬과 같은 고급 기술을 활용하는 RAG 파이프라인에 대해 자세히 알아보려면 LlamaIndex 블로그의 이 포스팅을 확인하세요. 글쓰기 매칭 노트북.

그래픽 RAG

기존의 RAG는 단순 검색을 통해 Q&A 작업을 해결하는 데는 탁월하지만, 답변이 필요한 질문에 대해서는합계외부 지식창고에서 결론을 도출하는 문제. 그래픽 RAG는 생성 모델을 사용하여 주요 엔티티 간의 관계를 추출하고 저장하는 지식 그래프를 생성한 다음 RAG 프로세스에 데이터 소스로 추가함으로써 이 문제를 해결하는 것을 목표로 합니다. 이를 통해 RAG 시스템은 여러 문서와 데이터 소스를 비교하고 요약해야 하는 쿼리에 응답할 수 있습니다.

그래픽 RAG를 빌드하는 과정에 대한 자세한 내용은 Microsoft의 GraphRAG를 참조하세요. 소프트웨어 패키지노래로 응답(컴퓨터) 파일.

 

RAG를 평가하는 방법

RAG는 글로벌하고 세분화된 다단계 프레임워크입니다.가치 평가. 이 평가 접근 방식은 구성 요소 수준의 신뢰성과 전반적인 정확성을 보장합니다. 이 섹션에서는 이 두 가지 평가 방법을 살펴보고 널리 사용되는 평가 프레임워크인 RAGAS를 소개합니다.

检索增强生成(RAG)原理与实践基础构建指南(译)

 

구성 요소 수준 평가

구성 요소 수준에서 RAG 평가는 일반적으로 정확하고 관련성 있는 응답을 생성하는 데 중요한 역할을 하는 리트리버와 생성기의 품질을 평가하는 데 중점을 둡니다.

검색자의 평가는 주로 정확성과 관련성에 중점을 두고 있습니다. 이러한 맥락에서정확성 는 검색기가 쿼리를 직접 해결하는 정보를 선택하는 정확도를 측정하며, 검색기가 쿼리를 직접 해결하는 정보를 선택하는 정확도를 측정하는 관련성 그런 다음 검색된 데이터가 쿼리의 특정 요구 사항 및 컨텍스트와 얼마나 잘 일치하는지 평가합니다.

반면에 생성자에 대한 평가는 진실성과 정확성에 관한 것입니다.유효성 모델에서 생성된 응답이 관련 문서의 정보를 정확하게 반영하는지 평가하고 원본 소스와의 응답 일관성을 확인합니다.정확성 그런 다음 생성된 응답이 실제 상황 또는 쿼리 컨텍스트에서 예상되는 답변과 일치하는지 여부를 평가하여 진짜인지 확인합니다.

엔드투엔드 평가

리트리버와 제너레이터는 서로 다른 두 가지 구성 요소이지만 사용자 쿼리에 대한 일관된 응답을 생성하기 위해 서로 의존합니다.

답변의 의미적 유사성을 계산하는 것은 검색기와 생성기가 얼마나 잘 작동하는지 평가하는 간단하고 효율적인 방법입니다.의미적 유사성 답변 생성된 응답과 실제 답변 샘플 간의 의미적 유사성이 계산됩니다. 생성된 응답과 실제 답변 샘플 간의 유사성이 높다는 것은 프로세스가 관련 정보를 검색하여 문맥에 적합한 답변을 생성할 수 있음을 의미합니다.

RAG 평가 프레임워크는 RAG 프로세스를 평가하기 위한 구조화된 방법론, 도구 또는 플랫폼을 제공합니다.RAGAS(검색 강화 생성 평가)는 데이터에 수동으로 주석을 달 필요 없이 검색 관련성, 생성 품질 및 신뢰성을 평가하기 위한 일련의 메트릭을 제공하는 특히 인기 있는 프레임워크입니다. Weaviate 팟캐스트에서 이 내용을 들어보고 RAGAS 크리에이터의 RAGAS 작동 방식과 RAGAS 점수 최적화를 위한 고급 기법.

 

RAG 대 미세 조정

RAG는 생성형 대규모 언어 모델의 기능을 확장하고 한계를 완화하는 방법 중 하나입니다. 대규모 언어 모델의 미세 조정은 도메인별 데이터로 모델을 학습시켜 고도로 전문화된 작업을 수행할 수 있도록 하는 특히 인기 있는 기법입니다. 미세 조정은 특정 어조나 작문 스타일을 채택하도록 빅랭 모델을 훈련하는 것과 같은 특정 사용 사례에 적합할 수 있지만, RAG는 모델 정확도를 개선하고 착각을 줄이며 특정 작업에 맞게 빅랭 모델을 사용자 지정하는 가장 간단한 방법일 때가 많습니다.

RAG의 장점은 비용과 시간이 많이 소요되는 기본 생성 모델의 가중치를 업데이트할 필요가 없다는 것입니다. RAG를 사용하면 모델이 외부 데이터에 동적으로 액세스할 수 있으므로 비용이 많이 드는 재학습 없이 정확도를 향상시킬 수 있습니다. 따라서 실시간 정보가 필요한 애플리케이션에 실용적인 솔루션이 될 수 있습니다. 다음 섹션에서는 RAG의 아키텍처와 그 구성 요소가 어떻게 함께 작동하여 강력한 검색 향상 시스템을 만드는지에 대해 자세히 살펴보겠습니다.

 

요약

이 백서에서는 작업별 외부 지식을 활용하여 생성 모델 기반 애플리케이션의 성능을 개선하는 프레임워크인 RAG에 대해 소개했습니다. 외부 지식 소스, 힌트 템플릿, 생성 모델 등 RAG 프로세스의 다양한 구성 요소와 이들이 함께 작동하여 검색, 개선 및 생성을 가능하게 하는 방법에 대해 알아봤습니다. 또한 LangChain, LlamaIndex, DSPy와 같은 RAG의 인기 있는 사용 사례와 구현 프레임워크에 대해서도 설명하며, 마지막으로 상위 수준 RAG 방법, 에이전트 기반 RAG, 그래픽 RAG 등 RAG를 위한 몇 가지 전문 기술과 RAG 프로세스 평가 방법에 대해서도 언급합니다.

이 글의 각 섹션은 최소한 블로그 게시물이나 책의 한 장으로 독립할 수 있습니다. 따라서 이 글에 제시된 주제, 프레임워크 및 방법에 대해 자세히 알아볼 수 있도록 학술 논문, 블로그 게시물, YouTube 동영상, 튜토리얼, 노트북 및 레시피로 구성된 리소스 가이드를 마련했습니다.

리소스 가이드

📄 지식 집약적인 NLP 작업을 위한 검색 강화 생성 (원본 RAG 용지)

👩‍🍳 DSPy에서 RAG 시작하기(공식)

👩‍🍳 라마인덱스의 간단한 RAG(공식)

📝 고급 RAG 기술(블로그 게시물)

📒 여러 문서 에이전트가 있는 에이전트 기반 RAG(노트북)

📝 RAG 평가 개요(블로그 게시물)

📄 검색 향상 생성 평가: 개요(학술 논문)

© 저작권 정책
AiPPT

관련 문서

댓글 없음

없음
댓글 없음...