本地部署开源大模型工具

综合介绍 llm.pdf 是一个开源项目，允许用户在 PDF 文件中直接运行大型语言模型（LLM）。这个项目由 EvanZhouDev 开发，托管在 GitHub 上，展示了一种创新的方法：通过 Em...

GPT4All 综合介绍 GPT-4All 是由 Nomic 开发的一个开源项目，旨在让用户在本地设备上运行大型语言模型（LLMs）。该项目强调隐私保护，无需互联网连接即可使用，适用于个人和企业用户...

综合介绍 Aana SDK 是一个开源框架，由 Mobius Labs 开发，名字源于马拉雅拉姆语“ആന”（大象）。它帮助开发者快速部署和管理多模态 AI 模型，支持处理文本、图像、音频和视频等多种数...

综合介绍 BrowserAI 是一个开源工具，让用户直接在浏览器中运行本地 AI 模型。它由 Cloud-Code-AI 团队开发，支持像 Llama、DeepSeek、Kokoro 这样的语言模型...

综合介绍 Hyperspace是一个创新的生成式浏览器（aiOS），基于全球最大的对等AI网络，旨在为用户提供深度研究与分析的强大工具。通过集成多种AI模型和数据源，Hyperspace允许用户快速生...

综合介绍 LitServe 是 Lightning AI 推出的一款开源 AI 模型服务引擎，基于 FastAPI 构建，专注于快速部署通用 AI 模型的推理服务。它支持从大型语言模型（LLM）、视觉...

综合介绍 Xorbits Inference（简称Xinference）是一个强大且多功能的库，专注于为语言模型、语音识别模型和多模态模型提供分布式部署和服务。通过Xorbits Inference...

综合介绍 LightLLM 是一个基于 Python 的大语言模型（LLM）推理和服务框架，以其轻量级设计、易于扩展和高效性能而著称。该框架利用了多种知名的开源实现，包括 FasterTransfor...

综合介绍 llama.cpp是一个用纯C/C++实现的库，旨在简化大语言模型（LLM）的推理过程。它支持多种硬件平台，包括Apple Silicon、NVIDIA GPU和AMD GPU，并提供多种量...

综合介绍 LiteLLM是一个由BerriAI开发的Python SDK和代理服务器，旨在简化和统一对多种大型语言模型（LLM）API的调用和管理。它支持超过100种大模型API，包括OpenAI...

综合介绍 vLLM是一个高吞吐量和内存高效的推理和服务引擎，专为大语言模型（LLM）设计。该项目最初由加州大学伯克利分校的Sky Computing Lab开发，现已成为一个由学术界和工业界共同驱动的...

Ollama 综合介绍 ollama是一个轻量级的本地语言模型运行框架，让用户能够容易地搭建和运行大型语言模型。它提供多种快速开始和安装选项，支持Docker，包含了丰富的库供用户选择。它的使用方法简...

综合介绍 Nexa AI 是一个专注于本地运行的多模态AI解决方案的平台。它提供了多种AI模型，包括自然语言处理（NLP）、计算机视觉、语音识别和生成（ASR和TTS）等，所有这些模型都可以在本地设备...

综合介绍 llamafile 是一个由 Mozilla Builders 项目推出的工具，旨在简化大语言模型（LLM）的部署和运行。通过将 llama.cpp 与 Cosmopolitan Libc ...

综合介绍 Transformers.js 是 Hugging Face 提供的一个 JavaScript 库，旨在将最先进的机器学习模型直接在浏览器中运行，无需服务器支持。该库与 Hugging Fa...

综合介绍 Harbor是一个革新性的容器化LLM工具集，专注于简化本地AI开发环境的部署和管理。它通过简洁的命令行界面(CLI)和配套应用程序，让开发者能够一键启动和管理包括LLM后端、API接口、前...

综合介绍 AI Dev Gallery是微软推出的一款专为Windows开发者设计的AI开发工具应用程序(目前处于公开预览版)。它提供了一个综合性平台，帮助开发者轻松地将AI功能集成到自己的Windo...

综合介绍 Transformers.js 是由 Hugging Face 开发的一个 JavaScript 库，旨在让用户能够直接在浏览器中运行最先进的机器学习模型，而无需服务器支持。该库与 Hugg...

综合介绍 GLM-Edge 是清华大学（智谱轻言）推出的一系列专为端侧设备设计的大语言模型和多模态理解模型。这些模型包括 GLM-Edge-1.5B-Chat、GLM-Edge-4B-Chat、GLM...