EXO:利用闲置家用设备运行分布式AI集群,支持多种推理引擎和自动设备发现。

EXO:アイドル状態の家庭用デバイスを使用して分散AIクラスタを実行し、複数の推論エンジンとデバイスの自動検出をサポートする。

一般的な紹介 Exoは、日常的なデバイス(iPhone、iPad、Android、Mac、Linuxなど)を使用して独自のAIクラスタを実行するように設計されたオープンソースプロジェクトです。動的なモデル分割と自動化されたデバイス検出により、Exoは複数のデバイスを1つの強力な...
6ヶ月前
01.9K0
Petals:分布式共享GPU运行和微调大语言模型,像BitTorrent网络一样共享GPU资源

Petals:大規模言語モデルの実行と微調整をGPUで分散共有し、BitTorrentネットワークのようにGPUリソースを共有する。

一般的な紹介 Petalsは、BigScienceワークショップによって開発されたオープンソースプロジェクトで、分散コンピューティングアプローチによって大規模言語モデル(LLM)を実行する。コンシューマーグレードのGPUやGoogle Co...
6ヶ月前
01K0
Aphrodite Engine:高效的LLM推理引擎,支持多种量化格式和分布式推理。

Aphroditeエンジン:複数の数量化形式と分散推論をサポートする効率的なLLM推論エンジン。

概要 アフロディーテエンジンはPygmalionAIの公式バックエンドエンジンで、PygmalionAIのサイトに推論エンドポイントを提供し、Hugging Face互換モデルの迅速な展開をサポートするように設計されています。このエンジンはvLLMのp...
6ヶ月前
01K0
LocalAI:开源的本地AI部署方案,支持多种模型架构,WebUI统一管理模型和API

LocalAI: オープンソースのローカルAIデプロイメントソリューション、複数のモデルアーキテクチャのサポート、モデルとAPIのWebUI統合管理

概要 LocalAIは、OpenAIやClaudeなどと互換性のあるAPIインターフェースを提供するように設計された、オープンソースのローカルAI代替ソフトウェアです。コンシューマーグレードのハードウェアで動作し、GPUを必要とせず、テキスト、オーディオ、ビデオ、画像生成、複数の音声クローンが可能です。
7ヶ月前
01.4K0
RWKV Runner:开源大型语言模型RWKV管理工具

RWKV Runner: オープンソースの大規模言語モデルRWKV管理ツール

概要 RWKV-Runnerは、RWKVモデルのために特別に設計された管理・起動ツールであり、使いやすいRWKV管理・起動ツールの提供を目指しています。完全に自動化されており、サイズも8MBと小さく、OpenAI APIとの両方を提供しています。
7ヶ月前
01.1K0
AIStarter:一键部署各类热门AI开源项目的管理软件

AIStarter:あらゆる種類の一般的なAIオープンソースプロジェクト管理ソフトウェアをワンクリックで導入可能

概要 AIStarterは、AIプロジェクト管理を簡素化するために設計された無料のプラットフォームで、Windows、Mac、Linux上であらゆる種類の一般的なAIオープンソースプロジェクトを簡単にダウンロード、インストール、共有することができます。すぐに使えるパッケージングと共有機能を提供し、強力なコミュニティ...
7ヶ月前
01K0
GaiaNet node:安装和运行自己的本地模型在线代理服务

GaiaNetノード:独自のローカルモデル・オンラインプロキシサービスをインストールし、実行します。

概要 GaiaNet-AI/gaianet-nodeは、Mac、Linux、Windows WSLにデフォルトのノード・ソフトウェア・スタックを1つのコマンドで素早くインストールできるオープンソースプロジェクトです。ユーザはノードの初期化、設定のカスタマイズ、ダウンロード...
9ヶ月前
01.1K0
Pinokio:一键本地部署各类AI开源项目,小白全自动部署

Pinokio:あらゆる種類のAIオープンソースプロジェクトをワンクリックでローカル配備、白人の配備を完全自動化

Pinokio(ピノキオ) 概要 Pinokio(ピノキオ)は、革新的なAIオープンソースプロジェクトデプロイツールで、ビッグモデル関連の様々なアプリケーションをワンクリックで簡単にインストール、実行、プログラム制御することができます。Pinokioは、複数のプラットフォームでサポートされており、最も一般的なA...
10ヶ月前
01.7K0