EXO: Running distributed AI clusters using idle home devices with support for multiple inference engines and automated device discovery.
综合介绍 Exo是一个开源项目，旨在利用日常设备（如iPhone、iPad、Android、Mac、Linux等）运行自己的AI集群。通过动态模型分区和自动设备发现，Exo能够将多个设备统一成一个强大...
Sorting
Petals: distributed shared GPU running and fine-tuning of large language models, sharing GPU resources like a BitTorrent network
综合介绍 Petals 是一个由 BigScience Workshop 开发的开源项目，旨在通过分布式计算的方式运行大型语言模型（LLMs）。用户可以在家中使用消费级 GPU 或 Google Co...
Aphrodite Engine: an efficient LLM inference engine that supports multiple quantization formats and distributed inference.
综合介绍 Aphrodite Engine是PygmalionAI的官方后端引擎，旨在为PygmalionAI网站提供推理端点，并支持Hugging Face兼容模型的快速部署。该引擎利用vLLM的P...
KoboldCpp: Easily run GGUF models with API and GUI with reference to KoboldAI
综合介绍 KoboldCpp 是一款易于使用的 AI 文本生成软件，适用于 GGML 和 GGUF 模型，灵感来源于原始的 KoboldAI。它是由 Concedo 提供的单个自包含的可分发版本，基于...
LocalAI: open source local AI deployment solutions, support for multiple model architectures, WebUI unified management of models and APIs
综合介绍 LocalAI 是一个开源的本地AI替代方案，旨在提供与OpenAI、Claude等兼容的API接口。它支持在消费级硬件上运行，不需要GPU，能够进行文本、音频、视频、图像生成和语音克隆等多...
RWKV Runner: open source large-scale language model RWKV management tools
综合介绍 RWKV-Runner 是一个专为 RWKV 模型设计的管理和启动工具，旨在提供一个易于使用的RWKV管理和启动工具。它完全自动化、体积小巧，仅有8MB大小，同时提供与OpenAI API兼...
AIStarter: one-click deployment of all kinds of popular AI open source projects management software
综合介绍 AIStarter是一款旨在简化人工智能项目管理的免费平台，支持在Windows、Mac或Linux上轻松下载、安装及分享各类热门AI开源项目。它提供开箱即用、打包和分享功能，并拥有强大的社...
GaiaNet node: install and run your own local model online proxy service
综合介绍 GaiaNet-AI/gaianet-node是一个开源项目，允许用户在Mac、Linux或Windows WSL上通过一条命令快速安装默认的节点软件栈。用户可以初始化节点，自定义配置，下载...
Pinokio: one-click local deployment of all kinds of AI open source projects, fully automated deployment of white people
Pinokio 综合介绍 Pinokio是一款创新的AI开源项目部署工具，让用户可以轻松地一键安装、运行以及编程式控制各种大模型相关应用程序。它支持跨多个平台，并提供一个社区脚本库，涵盖绝大多数热门A...
English 
简体中文 
日本語 
한국어 
Español 
Deutsch 
Français 
Português do Brasil