MindSearch: 나만의 퍼플렉서티 검색 엔진을 배포할 수 있는 오픈 소스 AI 검색 엔진 프레임워크!

일반 소개

마인드서치는 상하이 인공 지능 연구소(SAL)에서 출시한 오픈 소스 AI 검색 엔진 프레임워크로, 복잡한 정보 수집 및 통합을 위해 인간의 사고 과정을 시뮬레이션하는 것을 목표로 합니다. 이 도구는 대규모 언어 모델링(LLM)과 검색 엔진의 고급 기술을 결합하고 다중 지능체 프레임워크를 통해 수백 개의 웹 페이지를 자율적으로 정보 수집 및 통합하여 단기간에 포괄적인 답변을 제공합니다. 사용자는 폐쇄형 LLM(예: GPT, Claude) 또는 오픈 소스 LLM(예: InternLM2.5 시리즈 모델)을 사용하여 자체 검색 엔진을 배포할 수 있습니다.

핵심 로직은 두 가지 핵심 구성 요소인 웹플래너(레이어) 및 웹검색기(실행자).

• 웹플래너는 사용자의 질문을 세분화하고 방향성 비순환 그래프(DAG)를 작성하여 검색을 안내합니다;
• WebSearcher는 인터넷에서 중요한 정보를 검색하고 필터링하여 WebPlanner로 가져옵니다;
• 웹플래너는 결국 결론을 내립니다.

기능 목록

• 다중 지능 바디 프레임워크여러 지능이 함께 작동하여 복잡한 정보를 수집하고 통합합니다.
• 여러 LLM 지원클로즈드 소스 및 오픈 소스 대규모 언어 모델과 모두 호환되므로 사용자는 필요에 따라 적절한 모델을 선택할 수 있습니다.
• 다양한 프런트엔드 인터페이스사용자 편의를 위해 React, Gradio, Streamlit 및 기타 프런트엔드 인터페이스를 제공합니다.
• 심층 지식 탐색수백 개의 웹 페이지를 탐색하여 광범위하고 심층적인 답변을 제공합니다.
• 투명한 솔루션 경로사고 경로, 검색어 등 완전한 콘텐츠를 제공하여 답변의 신뢰성과 사용성을 높입니다.

기술 원칙

1. 웹플래너: 지능형 계획 허브

WebPlanner는 검색 작업을 방향성 비순환 그래프(DAG)로 구축하는 MindSearch의 지능적인 두뇌입니다. 사용자의 문제를 받은 후 언어 모델 코드 생성 기능을 통해 미리 정의된 원자 코드 함수를 사용하여 문제를 하위 문제 노드로 분해하고 문제 해결 프레임워크의 윤곽을 잡습니다. 검색 과정에서 WebSearcher의 피드백에 따라 그래프를 유연하게 확장 및 개선하고, 시스템이 정보를 정확하게 마이닝하도록 전략을 동적으로 조정합니다. 예를 들어 '의료 영상 진단에서 AI 적용 현황과 과제'라는 질문에 직면하면 의료 영상 유형, AI 알고리즘 적용 사례, 데이터 프라이버시 및 판독 정확도 등을 분해하여 종합적인 답을 찾을 수 있는 길을 열어줍니다.

2,웹 검색기: 정보 마이닝 포인터

웹서처는 정보 마이닝의 선구자입니다. 먼저 키워드를 최적화하여 정확도를 높이고, 방대한 검색 콘텐츠를 통합하여 중복을 제거하고, 핵심 페이지를 정확하게 선별한 다음, 심층적으로 요약하고 정제하는 거칠고 세밀한 전략을 채택합니다. 언어 모델의 도움으로 파편화된 정보를 이해하고 통합하여 논리적이고 일관된 지식 모듈로 변환합니다. '신에너지 자동차 배터리 기술 혁신'을 예로 들면, 과학 연구 기관의 보고서, 업계 뉴스, 기업의 공식 웹사이트 등에서 배터리 에너지 밀도 향상, 충전 속도 향상과 같은 핵심 정보를 빠르게 필터링하여 체계적으로 제시할 수 있습니다.

기능적 특징

1, 심층 지식 추출

MindSearch는 수많은 웹 페이지를 심층적으로 분석하여 사용자에게 심도 있는 지식을 제공합니다. 고대 문명의 신비를 탐구하든 최첨단 기술 발전을 추적하든, 방대한 양의 온라인 리소스를 분류할 수 있습니다. 예를 들어 '우주 암흑 물질 연구 진행 상황'을 검색하면 기본 개념뿐만 아니라 최신 관측 데이터, 이론적 모델, 글로벌 연구팀의 이정표를 요약하여 사용자가 체계적인 지식 체계를 구축할 수 있도록 도와줍니다.

2, 검색 경로 투명성

마인드서치는 기존 검색 엔진과 달리 사용자에게 사고 경로, 검색 키워드, 정보 통합 과정을 보여줍니다. 사용자가 '법률 조항에 대한 해석'을 검색하면 답변 외에도 법률 데이터베이스, 전문 포럼 및 사례 연구에서 정보를 선별하고 통합하는 과정을 알 수 있어 신뢰를 높이고 사용자가 관련 지식을 향상시키기 위해 심층적인 학습과 연구를 촉진할 수 있습니다.

3, 다중 인터페이스 적응

MindSearch는 다양한 사용자 요구 사항을 염두에 두고 React, Gradio, Streamlit 및 로컬 디버깅을 위한 인터페이스를 제공합니다. 개발자는 다음을 사용할 수 있습니다. React Gradio 인터페이스는 웹 애플리케이션에 통합되어 있으며, 일반 사용자는 복잡한 프로그래밍과 환경 설정 없이 Gradio 또는 Streamlit 인터페이스를 통해 편리하게 조회할 수 있어 사용의 문턱을 낮추고 사용자 경험을 향상시킬 수 있습니다.

4. 동적 지도 구성 메커니즘

동적 그래프 구성 기능은 사용자 검색어에 따라 하위 질문 노드를 생성하고 검색 결과에 따라 실시간으로 확장할 수 있습니다. '소셜 미디어가 청소년 정신 건강에 미치는 영향'과 같은 뜨거운 주제에 대해 새로운 연구와 사건을 고려하여 검색 그래프를 적시에 업데이트하고 가장 관련성 높은 최신 정보를 제공할 수 있도록 방향을 유연하게 조정할 수 있습니다.

애플리케이션 시나리오

1, 학술 연구를 위한 좋은 도우미

학술 분야에서 마인드서치는 연구자들의 정보 수집 시간을 크게 단축시켜 줍니다. 예를 들어 역사학자가 특정 역사 시대의 문화 교류를 연구하는 경우 고대 문서, 고고학 보고서, 학술 논문 및 기타 자료를 통합하여 통신 계보와 중요한 사건을 분류하여 학자가 핵심 정보를 빠르게 찾고 연구 방향을 명확히 하며 연구의 효율성을 높일 수 있도록 도와줍니다.

2. 창의적 영감 인스파이어레이터

크리에이터에게 마인드서치는 영감의 원천입니다. 카피라이터는 관광 카피를 작성할 때 여행지의 특별한 음식, 틈새 명소, 민속 풍습 등의 자료를 검색한 다음 이를 통합하고 가공하여 매혹적인 카피로 만들 수 있습니다. 공상 과학 대본을 작성할 때 영화 및 텔레비전 작가는 새로운 공상 과학 개념, 미래 시나리오 및 기타 영감을 주는 자료를 확보하여 창의적인 콘텐츠를 풍부하게 만들 수 있습니다.

3. 비즈니스 의사 결정의 나침반

상업 분야에서 기업은 MindSearch를 사용해 시장 동향을 모니터링하고 경쟁사의 역학 관계를 분석하며 소비자 니즈에 대한 인사이트를 얻을 수 있습니다. 예를 들어, 요식업체가 신제품 전략을 개발할 때 인기 있는 식재료, 경쟁사의 인기 요리, 소비자의 취향에 대한 정보를 검색한 다음 종합적인 연구를 거쳐 시장 수요에 부합하고 시장에서 경쟁력을 강화할 수 있는 신제품을 출시할 수 있습니다.

도움말 사용

1,종속 설치

먼저, 시스템에 Python 환경이 설치되어 있는지 확인합니다(Python 3.8 이상 권장). 그런 다음 명령줄에서 MindSearch 프로젝트의 루트 디렉터리로 이동하여 다음 명령을 실행하여 필요한 종속 요소를 설치합니다:

pip install -r requirements.txt

이 단계에서는 MindSearch를 실행하는 데 필요한 다양한 Python 라이브러리와 모듈을 자동으로 다운로드하고 설치하여 이후 실행 및 사용을 준비합니다.

2,MindSearch API 실행

종속성 설치가 완료되면 MindSearch API를 시작할 수 있습니다. 다음 명령을 사용하여 FastAPI 서버를 시작합니다:

python -m mindsearch.app --lang en --model_format internlm_server --search_engine DuckDuckGoSearch

여기에서 실제 필요에 맞게 매개변수를 조정할 수 있습니다:

• `--lang`: 모델의 언어를 지정하는 데 사용됩니다(예: `en`은 영어, `cn`은 중국어를 의미함). 예상 입력 언어와 검색 결과 언어에 따라 선택해 주세요.
• `--model_format`: 모델의 형식을 지정합니다(예: `internlm_server`는 InternLM2.5 - 7b - 채팅 로컬 서버 모델을 사용한다는 의미). 다른 모델(예: GPT4)을 사용하려면 `gpt4`로 변경하고 해당 모델의 접근 및 사용 권한을 올바르게 구성했는지 확인해야 합니다. .
• `--검색_엔진`: 검색 엔진을 선택하는 데 사용되는 MindSearch는 다음과 같은 다양한 검색 엔진을 지원합니다.

  DuckDuckGoSearch`(덕덕고 검색 엔진), `BingSearch`(빙 검색 엔진), `BraveSearch`(브레이브 검색 엔진), `GoogleSearch`(구글 서퍼 검색 엔진), `TencentSearch (텐센트 검색 엔진) 등입니다. 덕덕고와 텐센트 이외의 웹 검색 엔진을 선택할 경우 해당 API 키를 `WEB_SEARCH_API_KEY` 환경 변수에 설정해야 하며, 텐센트 검색 엔진을 사용할 경우 `TENCENT_SEARCH_SECRET_ID`와 `TENCENT. SEARCH_SECRET_KEY`를 추가로 설정해야 합니다.

3,MindSearch 프런트엔드 실행

MindSearch는 사용자가 선택할 수 있는 다양한 프런트엔드 인터페이스를 제공하며, 다음은 다양한 프런트엔드 인터페이스가 시작되는 방식입니다:

3.1 React

1. 먼저 실제 백엔드 URL을 지정하여 Vite의 API 프록시를 설정해야 합니다. 백엔드 서버가 `127.0.0.1`의 `8002` 포트에서 로컬로 실행되고 있다고 가정하고(실제 상황에 맞게 수정하세요), 다음 명령을 실행합니다:

HOST="127.0.0.1"PORT=8002sed -i -r "s/target:\s*\"\"/target: \"${HOST}:${PORT}\"/" frontend/React/vite.config.ts

2. 시스템에 Node.js와 npm이 설치되어 있는지 확인합니다. 우분투 시스템의 경우 다음 명령을 사용하여 설치할 수 있습니다:

sudo apt install nodejs npm

Windows의 경우, [공식 Node.js 웹사이트](https://nodejs.org/zh-cn/download/prebuilt-installer)에서 시스템에 적합한 버전의 Node.js를 다운로드하여 설치해야 합니다.

3. `frontend/React` 디렉토리로 이동하여 다음 명령을 실행하여 프로젝트 종속 요소를 설치하고 React 프론트엔드를 시작합니다:

cd frontend/Reactnpm installnpm start

3.2 그라디오

명령줄에서 다음 명령을 실행하여 Gradio 프런트엔드를 시작합니다:

python frontend/mindsearch_gradio.py

3.3 Streamlit

다음 명령을 사용하여 스트림릿 프런트엔드를 시작하세요:

streamlit run frontend/mindsearch_streamlit.py

3,로컬 디버깅

로컬에서 디버깅하려면 다음 명령을 사용할 수 있습니다:

python mindsearch/terminal.py

로컬 디버깅을 통해 로컬 환경에서 MindSearch의 작동을 보다 쉽게 확인하고 최적화할 수 있으며, 자세한 로그 정보를 확인하여 발생 가능한 문제를 적시에 찾아 해결할 수 있습니다.

결론

고유한 기술, 풍부한 기능, 다양한 애플리케이션 시나리오를 갖춘 MindSearch는 정보 검색 분야에서 혁신의 물결을 일으켰습니다. 사용자의 정보 접근 효율성과 품질을 개선하고 개발자를 위한 혁신적인 플랫폼을 구축하며 AI 검색 엔진 기술의 발전을 촉진합니다. 마인드서치는 학술, 창작, 상업 분야에서 큰 잠재력과 가치를 지니고 있습니다. 앞으로도 계속해서 진화하여 지식 세계를 보다 효율적으로 탐색하고 지능적인 정보 검색의 새로운 경험을 누릴 수 있도록 도울 것입니다.