SambaNova : service d'inférence de grands modèles à grande vitesse, LLama gratuit, API de modèles de la série Qwen

Introduction générale

SambaNova Systems est une entreprise qui se consacre à la révolution des charges de travail d'IA, en fournissant la plateforme d'inférence d'IA la plus rapide au monde. Ses produits, notamment la suite SambaNova et les systèmes DataScale, sont conçus pour les entreprises et les organisations gouvernementales afin de fournir des solutions d'IA efficaces, précises et sécurisées.Les innovations de SambaNova, telles que l'unité de streaming de données reconfigurable SN40L (RDU), lui confèrent un avantage significatif dans l'entraînement et l'inférence de modèles d'IA.

Limite de l'API du modèle libre : 20 RPM (requêtes par minute), la limite des jetons est plus sûre, autour de 2000.

Liste des fonctions

• Plateforme d'inférence et de réglage fin de l'IA basée sur une architecture de flux de données
• SambaStudio intégré pour le développement et la gestion de modèles d'IA
• Prise en charge de plusieurs modèles génératifs d'IA (par exemple, Llama 3.1 8B, 70B, 405B)
• Fournir des fonctions de recherche et d'appel de fonctions sur les connaissances de l'entreprise
• Soutien au déploiement rapide de modèles d'IA générative à grande échelle
• Fournit du matériel d'IA haute performance et à faible latence (SN40L RDU)
• Prise en charge du déploiement local et dans le nuage

Utiliser l'aide

Processus d'installation

1. entrepôt de clones

   git clone https://github.com/sambanova/sambanova-suite.git
   

2. Accès au catalogue de l'entrepôt

   cd sambanova-suite
   

3. Installation des dépendances

   npm install
   

4. Définition des variables d'environnement
   Créer un.env.localet définir ce qui suit :

   SAMBANOVA_API_KEY=你的SambaNova API密钥
   

5. Démarrer le serveur de développement

   npm run dev
   

6. Construire des applications web

   npm run build
   

Fonctions d'utilisation

1. Gestion des clés APILa clé API : Entrez la clé API obtenue auprès de SambaNova ou d'un autre fournisseur dans le menu API.
2. Configuration des variables d'environnement: à travers.env.localpour configurer les variables d'environnement telles que la clé API, le domaine du site, etc.
3. Stockage local et synchronisationLe système d'information sur la vie privée : Il permet d'enregistrer automatiquement les données sur un support local et de les synchroniser avec le nuage de données.
4. application de bureau: Propose des applications de bureau à télécharger pour Windows, MacOS et Linux, avec prise en charge hors ligne.
5. Paramètres du modèle personnalisésLa gestion de l'environnement : permet de personnaliser les paramètres du modèle, tels quepresence_penaltyetc., pour répondre aux différents besoins d'utilisation.
6. Gestion des dossiers de chatLe système de messagerie instantanée : il permet d'éditer, de réorganiser et d'insérer n'importe quel message, ce qui facilite la gestion des chats par les utilisateurs.