Déploiement local d'outils Open Source pour les grands modèles

综合介绍 llm.pdf 是一个开源项目，允许用户在 PDF 文件中直接运行大型语言模型（LLM）。这个项目由 EvanZhouDev 开发，托管在 GitHub 上，展示了一种创新的方法：通过 Em...

综合介绍 Aana SDK 是一个开源框架，由 Mobius Labs 开发，名字源于马拉雅拉姆语“ആന”（大象）。它帮助开发者快速部署和管理多模态 AI 模型，支持处理文本、图像、音频和视频等多种数...

综合介绍 BrowserAI 是一个开源工具，让用户直接在浏览器中运行本地 AI 模型。它由 Cloud-Code-AI 团队开发，支持像 Llama、DeepSeek、Kokoro 这样的语言模型...

综合介绍 LitServe 是 Lightning AI 推出的一款开源 AI 模型服务引擎，基于 FastAPI 构建，专注于快速部署通用 AI 模型的推理服务。它支持从大型语言模型（LLM）、视觉...

综合介绍 Nexa AI 是一个专注于本地运行的多模态AI解决方案的平台。它提供了多种AI模型，包括自然语言处理（NLP）、计算机视觉、语音识别和生成（ASR和TTS）等，所有这些模型都可以在本地设备...

综合介绍 vLLM是一个高吞吐量和内存高效的推理和服务引擎，专为大语言模型（LLM）设计。该项目最初由加州大学伯克利分校的Sky Computing Lab开发，现已成为一个由学术界和工业界共同驱动的...

综合介绍 Transformers.js 是 Hugging Face 提供的一个 JavaScript 库，旨在将最先进的机器学习模型直接在浏览器中运行，无需服务器支持。该库与 Hugging Fa...

Introduction générale Harbor est un ensemble d'outils LLM conteneurisés révolutionnaires visant à simplifier le déploiement et la gestion d'environnements de développement d'IA locaux. Il permet aux développeurs de disposer d'une interface de ligne de commande (CLI) propre et d'une application d'accompagnement à lancer et à gérer en un seul clic, y compris les backends LLM, les interfaces API, les...

综合介绍 Xorbits Inference（简称Xinference）是一个强大且多功能的库，专注于为语言模型、语音识别模型和多模态模型提供分布式部署和服务。通过Xorbits Inference...

Introduction générale AI Dev Gallery est une application d'outils de développement d'IA de Microsoft (actuellement en avant-première publique) conçue pour les développeurs Windows. Elle fournit une plateforme complète pour aider les développeurs à intégrer facilement des fonctionnalités d'IA dans leurs...

综合介绍 LightLLM 是一个基于 Python 的大语言模型（LLM）推理和服务框架，以其轻量级设计、易于扩展和高效性能而著称。该框架利用了多种知名的开源实现，包括 FasterTransfor...

Introduction générale Transformers.js est une bibliothèque JavaScript développée par Hugging Face pour permettre aux utilisateurs d'exécuter des modèles d'apprentissage automatique de pointe directement dans le navigateur sans support de serveur. La bibliothèque fonctionne en conjonction avec Hugg...

Introduction complète GLM-Edge est une série de grands modèles de langage et de modèles de compréhension multimodale conçus par l'université de Tsinghua (Smart Spectrum Light Language) pour les dispositifs d'extrémité. Ces modèles comprennent GLM-Edge-1.5B-Chat, GLM-Edge-4B-Chat, GLM...

Introduction générale Exo est un projet open source conçu pour faire fonctionner son propre cluster d'IA en utilisant des appareils de tous les jours (par exemple iPhone, iPad, Android, Mac, Linux, etc.). Grâce au partitionnement dynamique des modèles et à la découverte automatisée des appareils, Exo est capable d'unifier plusieurs appareils en un...

Introduction générale LocalAI est une alternative open source à l'IA locale conçue pour fournir des interfaces API compatibles avec OpenAI, Claude et d'autres. Il peut fonctionner sur du matériel grand public, ne nécessite pas de GPU et est capable de générer du texte, de l'audio, de la vidéo, des images et de cloner des...

Introduction générale llamafile est un outil du projet Mozilla Builders conçu pour simplifier le déploiement et le fonctionnement du Large Language Model (LLM). En combinant llama.cpp avec Cosmopolitan Libc ...

Introduction générale Petals est un projet open source développé par le BigScience Workshop pour exécuter de grands modèles de langage (LLM) par le biais d'une approche informatique distribuée. Les utilisateurs peuvent exécuter les LLM chez eux en utilisant des GPU grand public ou Google Co...

Introduction générale Le moteur Aphrodite est le moteur dorsal officiel de PygmalionAI, conçu pour fournir un point final d'inférence pour les sites PygmalionAI et pour soutenir le déploiement rapide de modèles compatibles avec Hugging Face. Le moteur utilise le p...

Introduction générale llama.cpp est une bibliothèque implémentée en C/C++ pur, conçue pour simplifier le processus d'inférence pour les grands modèles de langage (LLM). Elle prend en charge un large éventail de plates-formes matérielles, y compris Apple Silicon, les GPU NVIDIA et les GPU AMD, et fournit une variété de quant...