Harbor:一键部署本地LLM开发环境,轻松管理和运行AI服务的容器化工具集

Harbor : un ensemble d'outils conteneurisés pour déployer des environnements de développement LLM locaux en un seul clic et pour gérer et exécuter facilement des services d'IA.

Introduction générale Harbor est un ensemble d'outils LLM conteneurisés révolutionnaires visant à simplifier le déploiement et la gestion d'environnements de développement d'IA locaux. Il permet aux développeurs de disposer d'une interface de ligne de commande (CLI) propre et d'une application d'accompagnement à lancer et à gérer en un seul clic, y compris les backends LLM, les interfaces API, les...
Il y a 6 mois
01.3K
AI Dev Gallery:Windows本地AI模型开发工具集,端侧模型集成到Windows应用

AI Dev Gallery : Windows Native AI Model Development Toolset, End-Side Model Integration into Windows Applications (en anglais)

Introduction générale AI Dev Gallery est une application d'outils de développement d'IA de Microsoft (actuellement en avant-première publique) conçue pour les développeurs Windows. Elle fournit une plateforme complète pour aider les développeurs à intégrer facilement des fonctionnalités d'IA dans leurs...
Il y a 7 mois
01.2K
GLM Edge:智谱发布适用于手机、车机和PC平台的端侧大语言模型和多模态理解模型

GLM Edge : Smart Spectrum lance des modèles de big language et des modèles de compréhension multimodale pour les plates-formes mobiles, automobiles et PC.

Introduction complète GLM-Edge est une série de grands modèles de langage et de modèles de compréhension multimodale conçus par l'université de Tsinghua (Smart Spectrum Light Language) pour les dispositifs d'extrémité. Ces modèles comprennent GLM-Edge-1.5B-Chat, GLM-Edge-4B-Chat, GLM...
Il y a 8 mois
01.3K
EXO:利用闲置家用设备运行分布式AI集群,支持多种推理引擎和自动设备发现。

EXO : Exécution de grappes d'IA distribuées à l'aide d'appareils domestiques inactifs, prise en charge de plusieurs moteurs d'inférence et découverte automatisée d'appareils.

Introduction générale Exo est un projet open source conçu pour faire fonctionner son propre cluster d'IA en utilisant des appareils de tous les jours (par exemple iPhone, iPad, Android, Mac, Linux, etc.). Grâce au partitionnement dynamique des modèles et à la découverte automatisée des appareils, Exo est capable d'unifier plusieurs appareils en un...
Il y a 8 mois
02.1K
LocalAI:开源的本地AI部署方案,支持多种模型架构,WebUI统一管理模型和API

LocalAI : solutions open source de déploiement de l'IA locale, prise en charge de plusieurs architectures de modèles, gestion unifiée des modèles et des API par l'interface WebUI.

Introduction générale LocalAI est une alternative open source à l'IA locale conçue pour fournir des interfaces API compatibles avec OpenAI, Claude et d'autres. Il peut fonctionner sur du matériel grand public, ne nécessite pas de GPU et est capable de générer du texte, de l'audio, de la vidéo, des images et de cloner des...
Il y a 8 mois
01.6K
Petals:分布式共享GPU运行和微调大语言模型,像BitTorrent网络一样共享GPU资源

Petals : exécution distribuée et partagée de modèles linguistiques de grande taille sur GPU, partageant les ressources GPU comme un réseau BitTorrent.

Introduction générale Petals est un projet open source développé par le BigScience Workshop pour exécuter de grands modèles de langage (LLM) par le biais d'une approche informatique distribuée. Les utilisateurs peuvent exécuter les LLM chez eux en utilisant des GPU grand public ou Google Co...
Il y a 8 mois
01.2K
Aphrodite Engine:高效的LLM推理引擎,支持多种量化格式和分布式推理。

Moteur Aphrodite : un moteur d'inférence LLM efficace qui supporte plusieurs formats de quantification et l'inférence distribuée.

Introduction générale Le moteur Aphrodite est le moteur dorsal officiel de PygmalionAI, conçu pour fournir un point final d'inférence pour les sites PygmalionAI et pour soutenir le déploiement rapide de modèles compatibles avec Hugging Face. Le moteur utilise le p...
Il y a 8 mois
01.2K
llama.cpp:高效推理工具,支持多种硬件,轻松实现LLM推理

llama.cpp : outil d'inférence efficace, supporte plusieurs matériels, facile à implémenter l'inférence LLM

Introduction générale llama.cpp est une bibliothèque implémentée en C/C++ pur, conçue pour simplifier le processus d'inférence pour les grands modèles de langage (LLM). Elle prend en charge un large éventail de plates-formes matérielles, y compris Apple Silicon, les GPU NVIDIA et les GPU AMD, et fournit une variété de quant...
il y a 5 mois
01.6K