LocalGPT: Garantice la privacidad de los datos hablando con varios documentos en dispositivos locales.

Introducción general

LocalGPT es un proyecto de código abierto diseñado para permitir a los usuarios hablar con documentos en dispositivos locales, garantizando la privacidad de los datos. Mediante el uso de diversos modelos de código abierto, LocalGPT puede procesar y comprender el contenido de los documentos sin subir los datos a la nube. El proyecto es compatible con múltiples plataformas, incluyendo GPU, CPU, HPU y MPS, y proporciona ricas características como el historial de sesiones, interfaces API y GUI.El objetivo de diseño de LocalGPT es proporcionar a los usuarios un entorno de interacción de documentos seguro y privado para escenarios que requieren una alta protección de la privacidad.

Lista de funciones

• privacidad de los datosEl 100%: Todo el procesamiento de datos se realiza en el dispositivo local, lo que garantiza la seguridad de los datos.
• Compatibilidad con varios modelos: Se admiten diversos modelos de código abierto, como HF, GPTQ, GGML y GGUF.
• Incrustación múltiple: Existe una gran variedad de opciones de incrustación de código abierto.
• Reutilización de modelosEl LLM se puede reutilizar una vez descargado, por lo que no es necesario descargarlo una y otra vez.
• historia conversacional: Recuerda la historia del diálogo en una sesión.
• Interfaz APIProporciona una interfaz API para facilitar la creación de aplicaciones RAG.
• interfaz gráfica de usuario (GUI): Proporciona una interfaz gráfica de usuario basada en API e independiente (basada en streamlit).
• Soporte multiplataformaCompatible con múltiples plataformas como CUDA, CPU, HPU (Intel® Gaudi®) y MPS.

Utilizar la ayuda

Proceso de instalación

1. almacén de clonesEjecute el siguiente comando en un terminal para clonar el repositorio LocalGPT:

   git clone https://github.com/PromtEngineer/localGPT.git

2. Instalación de dependenciasVaya al directorio del proyecto e instale las dependencias necesarias:

   cd localGPT
pip install -r requirements.txt

3. Entorno de configuraciónConfigure las variables de entorno y las rutas de los modelos según sea necesario.

Utilización

1. Inicio de los serviciosEjecute el siguiente comando para iniciar el servicio LocalGPT:

   python run_localGPT.py

2. interfaz de acceso: Abra un navegador y visite la dirección local proporcionada para acceder a la GUI.
3. Cargar un documentoCarga los documentos que se van a procesar en la interfaz.
4. Iniciar el diálogoIntroduzca una pregunta en el cuadro de diálogo y LocalGPT generará una respuesta basada en el contenido del documento.

Funcionamiento detallado

• privacidad de los datos100% : Todo el procesamiento de datos se realiza en dispositivos locales, lo que garantiza la seguridad de los datos. Los usuarios no tienen que preocuparse por la fuga de datos.
• Compatibilidad con varios modelos: LocalGPT admite diversos modelos de código abierto, por lo que los usuarios pueden elegir el modelo adecuado para el procesamiento de documentos en función de sus necesidades.
• historia conversacionalLocalGPT registra el historial de conversaciones de una sesión, facilitando a los usuarios la visualización y gestión del contenido de conversaciones anteriores.
• Interfaz APILocalGPT proporciona interfaces API que los desarrolladores pueden utilizar para crear sus propias aplicaciones RAG para una mayor personalización.
• interfaz gráfica de usuario (GUI): LocalGPT proporciona una interfaz gráfica de usuario basada en streamlit que permite a los usuarios realizar cargas de documentos y operaciones de diálogo a través de una interfaz intuitiva.

Ejemplo de procedimiento operativo

1. Cargar un documentoHaga clic en el botón "Cargar documento" y seleccione el archivo del documento que desea procesar.
2. Cuestiones de entrada: Introduzca una pregunta en el cuadro de diálogo, por ejemplo "¿Cuál es el contenido principal de este documento?". .
3. Ver respuestaLocalGPT generará respuestas basadas en el contenido del documento y las mostrará en un cuadro de diálogo.
4. Gestionar sesiones: Los usuarios pueden ver y gestionar el historial de sesiones para facilitar su consulta y uso posteriores.