EXO:利用闲置家用设备运行分布式AI集群,支持多种推理引擎和自动设备发现。

EXO: Betrieb verteilter KI-Cluster unter Verwendung ungenutzter Haushaltsgeräte, Unterstützung mehrerer Inferenz-Engines und automatischer Geräteerkennung.

综合介绍 Exo是一个开源项目,旨在利用日常设备(如iPhone、iPad、Android、Mac、Linux等)运行自己的AI集群。通过动态模型分区和自动设备发现,Exo能够将多个设备统一成一个强大...
vor 6 Monaten
01.9K0
Petals:分布式共享GPU运行和微调大语言模型,像BitTorrent网络一样共享GPU资源

Petals: verteilte gemeinsame GPU-Ausführung und Feinabstimmung großer Sprachmodelle, gemeinsame Nutzung von GPU-Ressourcen wie ein BitTorrent-Netzwerk

Allgemeine Einführung Petals ist ein Open-Source-Projekt, das vom BigScience Workshop entwickelt wurde, um große Sprachmodelle (Large Language Models, LLMs) über einen verteilten Rechenansatz auszuführen. Benutzer können LLMs zu Hause mit Consumer-grade GPUs oder Google Co...
vor 6 Monaten
01K0
LocalAI:开源的本地AI部署方案,支持多种模型架构,WebUI统一管理模型和API

LocalAI: quelloffene Lösungen für den Einsatz von lokaler KI, Unterstützung für mehrere Modellarchitekturen, einheitliche WebUI-Verwaltung von Modellen und APIs

综合介绍 LocalAI 是一个开源的本地AI替代方案,旨在提供与OpenAI、Claude等兼容的API接口。它支持在消费级硬件上运行,不需要GPU,能够进行文本、音频、视频、图像生成和语音克隆等多...
vor 7 Monaten
01.4K0
Pinokio:一键本地部署各类AI开源项目,小白全自动部署

Pinokio: lokale Bereitstellung aller Arten von KI-Open-Source-Projekten mit einem Mausklick, vollautomatische Bereitstellung von White People

Pinokio 综合介绍 Pinokio是一款创新的AI开源项目部署工具,让用户可以轻松地一键安装、运行以及编程式控制各种大模型相关应用程序。它支持跨多个平台,并提供一个社区脚本库,涵盖绝大多数热门A...
vor 10 Monaten
01.7K0