랭그래프를 통해 품질 관리를 추진하는 렉세라의 AI 인텔리전스

1.1K 0

부동산 비즈니스 프로세스를 위한 강력한 품질 관리 인텔리전스를 생성하고 대규모 언어 모델(LLM) 응답의 정확도를 크게 개선하기 위해 Rexera가 LangGraph로 마이그레이션한 방법을 알아보세요.

Rexera는 AI로 수작업 프로세스를 자동화하여 500억 달러 규모의 부동산 거래 산업에 혁신을 일으키고 있습니다. 렉세라는 지능형 AI 인텔리전스를 배포하여 부동산 비즈니스 프로세스를 간소화하고 거래 속도를 높이는 동시에 비용과 오류율을 크게 줄이고 있습니다.

LangChain과 LangGraph 렉세라는 대규모 언어 모델(LLM)뿐만 아니라 정교한 AI 지능을 개발합니다. 이러한 AI 인텔리전스는 다음과 같은 복잡한 인지 작업을 수행할 수 있습니다:

주문 결제 정산 내역서
문서에서 주요 정보 추출
품질 관리 점검 수행

아래에서는 Rexera가 부동산 비즈니스 프로세스를 사람처럼 정확하게 검토하고 문제를 사전에 식별하여 지연을 방지할 수 있는 강력한 품질 관리(QC) 애플리케이션을 개발한 방법을 살펴봅니다. 이 시스템이 초기 단일 프롬프트 방식에서 LangGraph를 사용하여 보다 제어되고 정확한 솔루션으로 어떻게 발전했는지 살펴볼 것입니다.

초기 접근 방식: 단일 프롬프트 LLM 검사 및 그 한계

부동산 거래에서 품질 관리는 매우 중요하며, 렉세라는 매일 수천 건의 워크플로우를 검토하는 전용 QC 애플리케이션을 개발했습니다. 이 애플리케이션은 데이터 처리, 고객 커뮤니케이션, 주택 소유자 협회(HOA), 카운티 사무실, 유틸리티 회사 및 기타 이해 당사자와의 상호 작용을 포함하여 부동산 거래의 모든 단계에서 발생할 수 있는 오류를 확인합니다.

부동산 거래의 품질을 보장하기 위해 렉세라는 처음에 몇 가지 단일 프롬프트 LLM 검사를 구현했습니다. 이러한 검사는 검증을 위해 설계되었습니다:

문서의 정확성
고객의 기대 충족
워크플로우의 적시성(SLA 준수)
비용 관리

하지만 이러한 접근 방식에는 한계가 있습니다. 단일 프롬프트 LLM은 전체 워크플로우의 전체 그림을 파악하지 못하고, 컨텍스트가 제한적이며, 다차원 시나리오를 올바르게 처리하지 못하는 등 여러 가지 이유로 부동산 거래 프로세스의 복잡성에 대처하는 데 어려움을 겪습니다.

렉세라는 수천 개의 워크플로우에서 테스트한 다음 세 가지 주요 지표를 사용하여 LLM 검사의 효율성을 평가합니다:

정확성문제 식별을 위한 정답 점수
효율성트랜잭션당 실행 속도
비용 효율성: LLM 관련 비용

이 접근 방식은 잠재적인 문제를 표시하고 수동 검토의 필요성을 줄임으로써 품질 관리를 간소화했습니다. 하지만 렉세라는 부동산 워크플로우의 복잡성을 효과적으로 처리할 수 있는 고급 솔루션이 필요하다는 것을 인식했습니다.

AI 인텔리전스로 진화하기: CrewAI 체험하기

단일 프롬프트 LLM의 한계를 깨달은 Rexera는 CrewAI 의 다중 인텔리전스 접근 방식은 각 AI 인텔리전스가 거래 프로세스의 다른 부분을 담당하는 방식입니다. 예를 들어, 인텔리전스는 다음과 같이 정의할 수 있습니다:

역할: "선임 콘텐츠 품질 검사 분석가"
작업: "고객이 요청한 대로 모든 HOA 문서가 주문되었는지 확인하고 적절한 예상 소요 시간 및 비용 정보가 고객에게 전송되었는지 확인합니다."

이 접근 방식은 단일 큐 LLM에 비해 여러 가지 개선점을 제공합니다:

잘못된 정보(비이슈로 잘못 표시됨)이 35%에서 8%로 감소했습니다.
생략(실제 문제 신고 실패)가 10%에서 5%로 감소했습니다.

그러나 CrewAI의 접근 방식은 중요한 도전에 직면해 있습니다. 강력한 성능에도 불구하고 AI 인텔리전스는 때때로 더 긴 경로를 선택하는 GPS 시스템처럼 잘못된 의사 결정으로 잘못된 길을 택할 수 있습니다. 정밀한 제어가 부족하다는 것은 복잡한 시나리오에서 지능이 궤도를 이탈하여 잘못된 경보 또는 누락된 경보로 이어질 수 있다는 것을 의미합니다.

정확성과 제어를 위해 LangGraph로 마이그레이션하기

CrewAI 접근 방식의 한계를 극복하기 위해 Rexera는 다양한 시나리오에 대한 의사 결정 경로를 맞춤 설계하기 위해 LangGraph로 전환했으며, 이는 복잡한 사례로 작업할 때 특히 유용했습니다.LangGraph는 LangChain 팀이 구축한 제어 지능을 위한 프레임워크로, 사람이 관여하는 워크플로 통합, 상태 관리 등을 포함하여 Rexera에 추가적인 이점을 가져다 줍니다. LangGraph

새로운 LangGraph 기반 접근 방식의 효율성을 설명하기 위해 신속 주문의 예를 들어 보겠습니다. 이는 표준 일정보다 빠르게 거래를 완료해야 하는 부동산 비즈니스 프로세스에서 흔히 발생하는 복잡한 문제입니다.

렉세라는 LangGraph를 사용하여 루핑과 분기를 지원하는 품질 관리(QC) 애플리케이션을 위한 트리형 시스템을 만들었습니다. 이 구조를 통해 QC 애플리케이션은 신속한 요구 사항에 따라 다양한 경로를 탐색할 수 있습니다.

애플리케이션이 긴급 주문을 인식하면 트리 구조의 "긴급 주문" 분기를 따릅니다. 일반 주문의 경우 애플리케이션은 다른 분기를 따르며 정기적인 처리 확인에 집중합니다.

이 LangGraph 지원 트리 구조는 보다 결정론적인 의사 결정 프로세스를 도입하고 잘못된 경로 선택과 관련된 무작위성을 줄임으로써 Rexera의 QC 프로세스의 정확성과 무결성을 크게 향상시킵니다. 이러한 변화는 결과의 일관성을 보장하고 워크플로를 정확하고 효율적으로 완료할 수 있게 해줍니다.

기존 CrewAI 개선 사항에 LangGraph를 적용하여 다음과 같은 최적화를 달성했습니다:

오탐률이 다음에서 증가했습니다. 8%가 2%로 감소했습니다.
오탐률이 다음에서 증가했습니다. 5%가 2%로 감소했습니다.

동일한 신속 주문 시나리오의 경우, 다음 예에서는 각각의 새로운 아키텍처에서 QC 결과를 분석합니다:

단일 프롬프트에 대한 대규모 언어 모델(LLM) 출력:

문제가 발견되었습니다: "True"
설명: "고객과의 커뮤니케이션에서 신속 처리 요청을 명시적으로 인정하지 않았습니다."
분석: 오탐 --신속 요청이 실제로 승인되고 실행되었지만, 복잡한 다단계 상호 작용을 처리하는 데 한계가 있어 LLM이 이를 인식하지 못하여 문제를 잘못 플래그 지정했습니다.

CrewAI 출력:

문제가 발견되었습니다: "False"
설명: "고객이 빠른 주문을 요청했으며 팀에서 요청을 확인하고 처리했습니다."
분석: 부분적으로 정확함 --CrewAI는 신속 주문이 실행되었다는 정확한 결과를 확인했지만 시스템에서 신속 주문으로 올바르게 플래그가 지정되고 처리되었는지 여부와 같은 주문 유형에 대한 차이점을 확인하지 못했습니다.

LangGraph 출력:

문제가 발견되었습니다: "True"
설명: "고객이 신속 주문을 요청했고 당사가 신속 주문을 승인하고 실행했음에도 주문 세부 정보에 '신속 주문: 아니요'로 표시됩니다."
분석: 완벽한 정확성 --LangGraph는 신속 주문이 승인되고 실행되었는지 확인했을 뿐만 아니라 주문 유형 기록의 불일치도 식별했습니다. 맞춤형 의사 결정 경로를 따라 신속 요청의 승인과 주문 유형의 올바른 처리를 모두 확인함으로써 잠재적인 지연이나 문제를 방지할 수 있었습니다.