本地部署开源大模型工具

Ollama 综合介绍 ollama是一个轻量级的本地语言模型运行框架，让用户能够容易地搭建和运行大型语言模型。它提供多种快速开始和安装选项，支持Docker，包含了丰富的库供用户选择。它的使用方法简...

综合介绍 KoboldCpp 是一款易于使用的 AI 文本生成软件，适用于 GGML 和 GGUF 模型，灵感来源于原始的 KoboldAI。它是由 Concedo 提供的单个自包含的可分发版本，基于...

综合介绍 Exo是一个开源项目，旨在利用日常设备（如iPhone、iPad、Android、Mac、Linux等）运行自己的AI集群。通过动态模型分区和自动设备发现，Exo能够将多个设备统一成一个强大...

Pinokio 综合介绍 Pinokio是一款创新的AI开源项目部署工具，让用户可以轻松地一键安装、运行以及编程式控制各种大模型相关应用程序。它支持跨多个平台，并提供一个社区脚本库，涵盖绝大多数热门A...

GPT4All 综合介绍 GPT-4All 是由 Nomic 开发的一个开源项目，旨在让用户在本地设备上运行大型语言模型（LLMs）。该项目强调隐私保护，无需互联网连接即可使用，适用于个人和企业用户...

综合介绍 LocalAI 是一个开源的本地AI替代方案，旨在提供与OpenAI、Claude等兼容的API接口。它支持在消费级硬件上运行，不需要GPU，能够进行文本、音频、视频、图像生成和语音克隆等多...

综合介绍 LiteLLM是一个由BerriAI开发的Python SDK和代理服务器，旨在简化和统一对多种大型语言模型（LLM）API的调用和管理。它支持超过100种大模型API，包括OpenAI...

综合介绍 llama.cpp是一个用纯C/C++实现的库，旨在简化大语言模型（LLM）的推理过程。它支持多种硬件平台，包括Apple Silicon、NVIDIA GPU和AMD GPU，并提供多种量...

综合介绍 Hyperspace是一个创新的生成式浏览器（aiOS），基于全球最大的对等AI网络，旨在为用户提供深度研究与分析的强大工具。通过集成多种AI模型和数据源，Hyperspace允许用户快速生...

综合介绍 RWKV-Runner 是一个专为 RWKV 模型设计的管理和启动工具，旨在提供一个易于使用的RWKV管理和启动工具。它完全自动化、体积小巧，仅有8MB大小，同时提供与OpenAI API兼...

综合介绍 Transformers.js 是由 Hugging Face 开发的一个 JavaScript 库，旨在让用户能够直接在浏览器中运行最先进的机器学习模型，而无需服务器支持。该库与 Hugg...

综合介绍 GaiaNet-AI/gaianet-node是一个开源项目，允许用户在Mac、Linux或Windows WSL上通过一条命令快速安装默认的节点软件栈。用户可以初始化节点，自定义配置，下载...

综合介绍 GLM-Edge 是清华大学（智谱轻言）推出的一系列专为端侧设备设计的大语言模型和多模态理解模型。这些模型包括 GLM-Edge-1.5B-Chat、GLM-Edge-4B-Chat、GLM...

综合介绍 llamafile 是一个由 Mozilla Builders 项目推出的工具，旨在简化大语言模型（LLM）的部署和运行。通过将 llama.cpp 与 Cosmopolitan Libc ...

综合介绍 Harbor是一个革新性的容器化LLM工具集，专注于简化本地AI开发环境的部署和管理。它通过简洁的命令行界面(CLI)和配套应用程序，让开发者能够一键启动和管理包括LLM后端、API接口、前...

综合介绍 AIStarter是一款旨在简化人工智能项目管理的免费平台，支持在Windows、Mac或Linux上轻松下载、安装及分享各类热门AI开源项目。它提供开箱即用、打包和分享功能，并拥有强大的社...

综合介绍 AI Dev Gallery是微软推出的一款专为Windows开发者设计的AI开发工具应用程序(目前处于公开预览版)。它提供了一个综合性平台，帮助开发者轻松地将AI功能集成到自己的Windo...

综合介绍 Petals 是一个由 BigScience Workshop 开发的开源项目，旨在通过分布式计算的方式运行大型语言模型（LLMs）。用户可以在家中使用消费级 GPU 或 Google Co...

综合介绍 Aphrodite Engine是PygmalionAI的官方后端引擎，旨在为PygmalionAI网站提供推理端点，并支持Hugging Face兼容模型的快速部署。该引擎利用vLLM的P...