本地部署开源大模型工具

综合介绍 Nexa AI 是一个专注于本地运行的多模态AI解决方案的平台。它提供了多种AI模型，包括自然语言处理（NLP）、计算机视觉、语音识别和生成（ASR和TTS）等，所有这些模型都可以在本地设备...

综合介绍 Transformers.js 是 Hugging Face 提供的一个 JavaScript 库，旨在将最先进的机器学习模型直接在浏览器中运行，无需服务器支持。该库与 Hugging Fa...

综合介绍 vLLM是一个高吞吐量和内存高效的推理和服务引擎，专为大语言模型（LLM）设计。该项目最初由加州大学伯克利分校的Sky Computing Lab开发，现已成为一个由学术界和工业界共同驱动的...

综合介绍 LightLLM 是一个基于 Python 的大语言模型（LLM）推理和服务框架，以其轻量级设计、易于扩展和高效性能而著称。该框架利用了多种知名的开源实现，包括 FasterTransfor...

综合介绍 Xorbits Inference（简称Xinference）是一个强大且多功能的库，专注于为语言模型、语音识别模型和多模态模型提供分布式部署和服务。通过Xorbits Inference...

综合介绍 BrowserAI 是一个开源工具，让用户直接在浏览器中运行本地 AI 模型。它由 Cloud-Code-AI 团队开发，支持像 Llama、DeepSeek、Kokoro 这样的语言模型...

综合介绍 Aana SDK 是一个开源框架，由 Mobius Labs 开发，名字源于马拉雅拉姆语“ആന”（大象）。它帮助开发者快速部署和管理多模态 AI 模型，支持处理文本、图像、音频和视频等多种数...

综合介绍 LitServe 是 Lightning AI 推出的一款开源 AI 模型服务引擎，基于 FastAPI 构建，专注于快速部署通用 AI 模型的推理服务。它支持从大型语言模型（LLM）、视觉...

综合介绍 llm.pdf 是一个开源项目，允许用户在 PDF 文件中直接运行大型语言模型（LLM）。这个项目由 EvanZhouDev 开发，托管在 GitHub 上，展示了一种创新的方法：通过 Em...