大規模言語モデリング・エンジニアのツールキット：120以上の有用な図書館資料のセレクション

AIニュース更新：3ヶ月前 シャレーネット
386 0
吐司AI

人工知能の分野では、大規模言語モデリング（LLM）技術が急速に変化しており、様々なツールライブラリが登場している。本稿では、LLM開発の課題をよりよく解決するために、120以上の有用なLLMライブラリを機能カテゴリごとに分類し、エンジニアがすぐに見つけて適用できるようにツールボックスにまとめた。

大型语言模型工程师工具箱：精选120+实用库资源

 

クイックナビゲーション

読者が必要なリソースを素早く見つけられるよう、各カテゴリーのツール・ライブラリへのクイックリンクを紹介する：

LLM 🚀トレーニングと微調整🧱 LLMアプリケーション開発LLM検索強化生成(ラグ)
LLM 推論LLM サービスの展開LLM データ抽出
LLM 🌠 データ生成LLMインテリジェント・ボディ⚖️ LLMアセスメント
ᔍ LLMの監視と制御📅 LLMプロンプト・ワード・エンジニアリングLLM 構造化出力
LLMの安全性LLM 組み込みモデル❇️ その他

 

LLM研修と微調整

図書館名説明リンク
アンロス少ないメモリでLLMを高速に微調整。リンク
ペフト高度なパラメータ効率に優れた微調整ライブラリ。リンク
TRL強化学習によるトレーニング 変流器 言語モデリング。リンク
トランスフォーマーTransformersは、テキスト、視覚、音声など、さまざまなモダリティのタスクを実行するために、事前に訓練された何千ものモデルを提供します。リンク
アホロートル様々なAIモデルの事後学習を簡素化するために設計されたツール。リンク
LLMBox統一されたトレーニングパイプラインと包括的なモデル評価を含む、包括的なLLMライブラリ。リンク
リットGPTLLMを素早く訓練し、微調整する。リンク
メルグー複数のLLMエキスパートを簡単にマージし、マージしたLLMを効率的にトレーニングするためのライブラリ。リンク
ラマ・ファクトリーシンプルで効率的なLLM微調整ツール。リンク
ルートヴィヒカスタムLLM、ニューラルネットワーク、その他のAIモデルを構築するためのローコードフレームワーク。リンク
テキストインストラクターインストラクション・チューニング・モデルをトレーニングするためのフレームワーク。リンク
ラミニLLM推論とチューニングの統合プラットフォーム。リンク
エックスチューリングXTuringは、Mistral、LLaMA、GPT-JなどのオープンソースLLMを高速、効率的、かつシンプルに微調整します。リンク
RL4LMs人間の嗜好に合わせて言語モデルを微調整するためのモジュラーRLライブラリ。リンク
ディープスピードDeepSpeedは、分散学習と推論をシンプル、効率的、効果的に行うディープラーニング最適化ライブラリです。リンク
トーチューンLLMを微調整するために特別に設計されたPyTorchネイティブライブラリ。リンク
パイトーチ 雷LLMの事前学習と微調整のための高レベルインターフェースを提供するライブラリ。リンク

 

LLMアプリケーション開発

図案

図書館名説明リンク
ラングチェーンLangChainは、Large Language Model（LLM）によって駆動されるアプリケーションを開発するためのフレームワークです。リンク
ラマ指数LlamaIndexはLLMアプリケーションのためのデータフレームワークです。リンク
ヘイスタックHaystackはエンド・ツー・エンドのLLMフレームワークで、ユーザーはLLM、Transformerモデル、ベクトル検索などで駆動するアプリケーションを構築することができる。リンク
迅速なフローLLMベースのAIアプリケーションのエンドツーエンドの開発サイクルを簡素化するために設計された開発ツールのセット。リンク
グリップテープAI駆動型アプリケーション構築のためのモジュール式Pythonフレームワーク。リンク
織りWeaveは生成AIアプリケーションを開発するためのツールキットである。リンク
ラマ・スタックラマ・アプリを作ろうリンク

複数のAPIアクセス

図書館名説明リンク
LiteLLM100以上のLLM APIコールをOpenAI形式で集めたライブラリ。リンク
AIゲートウェイフェンシングを統合した高速AIゲートウェイ。200以上のLLM、50以上のAIフェンスに1つの高速でフレンドリーなAPIを介してルーティングします。リンク

ルータ

図書館名説明リンク
ルートLLMLLMルータのサービスと評価のためのフレームワーク - 品質を損なうことなくLLMのコストを削減 OpenAIクライアントを直接置き換えることで、より単純なクエリをより安価なモデルにルーティング。リンク

あんき

図書館名説明リンク
メモ0AIアプリケーション用のメモリ層。リンク
メモリピーコンテキストを意識したアプリケーションのための、短期・長期記憶、セマンティック・クラスタリング、オプションのメモリ減衰を備えたAIメモリ層。リンク

インターフェース

図書館名説明リンク
ストリームライトStreamlitを使えば、Pythonスクリプトを数分でインタラクティブなウェブアプリケーションに変えることができます。リンク
グラディオPythonで楽しい機械学習アプリケーションを構築し、共有しましょう。リンク
AI SDK UIチャットとジェネレーティブ・ユーザー・インターフェースの構築リンク
AI-グラジオさまざまなAIプロバイダーがサポートするAIアプリケーションを作成する。リンク
シンプライチャット強力な機能と最小限のコードでチャットアプリケーションと簡単にやりとりするためのPythonパッケージ。リンク
チェーンライトすぐに使える会話型AIアプリを数分で構築。リンク

ローコード

図書館名説明リンク
ラングフローLangFlowはRAGやマルチエージェントAIアプリケーションのためのローコードアプリケーションビルダーです。Pythonをベースとしており、モデルやAPI、データベースとは独立しています。リンク

(キャッシュ

図書館名説明リンク
GPTCacheLLMクエリ用のセマンティックキャッシュを作成するためのライブラリ。LLM APIのコストを10倍Ὃ低減し、速度を100倍向上。LangChainおよびLlamaIndexと完全に統合。リンク

 

LLM RAG

図書館名説明リンク
FastGraph RAG合理的で迅速なFast GraphRAGフレームワークは、解釈可能で高精度のエージェント駆動型検索ワークフローのために設計されている。リンク
チョンキーRAGチャンキング・ライブラリ、軽量、超高速、使いやすい。リンク
RAGCheckerRAGを診断するためのきめ細かいフレームワーク。リンク
ラグ・トゥ・リッチ高度な検索機能付き生成アプリケーションを構築、拡張、展開。リンク
ビヨンドLLMBeyond LLMは、RAG（Retrieval Augmented Generation）システムの実験、評価、展開のためのオールインワンのツールキットを提供する。リンク
SQLite-Vecどこでも動作するベクトル検索 SQLite 拡張！リンク
ファスト・ラグfastRAGは、高度なLLMと情報検索技術を組み合わせた、効率的で最適化されたエンハンスドジェネレーションパイプラインの検索を行うための研究フレームワークである。リンク
フラッシュラグ効率的なRAG調査のためのPythonツールキット。リンク
エルムウェア小規模な専用モデルを使用してエンタープライズRAGパイプラインを構築するための統一フレームワーク。リンク
リランカー様々な並び替えモデルのための軽量な統一API。リンク
ベクタラAgentic RAGアプリケーションを構築する。リンク

 

LLM推論

図書館名説明リンク
LLMコンプレッサー様々な圧縮アルゴリズムをLLMに適用して展開を最適化するためのTransformers互換ライブラリ。リンク
ライトLLMPythonベースのLLM推論・サービスフレームワークで、軽量設計、スケーラビリティの容易さ、高速性能で知られている。リンク
ブイエルエルエムLLMのための高スループットでメモリ効率の良い推論・サービスエンジン。リンク
トーチチャットPyTorch LLMをサーバー、デスクトップ、モバイルデバイスでローカルに実行する。リンク
TensorRT-LLMTensorRT-LLMは、Large Language Model (LLM)推論を最適化するためのライブラリです。リンク
WebLLM高性能なブラウザ内LLM推論エンジン。リンク

 

LLMサービス展開

図書館名説明リンク
ラングコーンFastAPI を使用して、LangChain LLM アプリケーションとエージェントのサービスを自動化します。リンク
ライトサーブあらゆるサイズのAIモデルに対応する超高速サービスエンジン。バッチ処理、ストリーミング、GPUオートスケールなどの機能でFastAPIを強化します。リンク

 

LLMデータ抽出

図書館名説明リンク
クロール4AIオープンソースのLLMフレンドリーなWebクローラーとクローリングツール。リンク
ScrapeGraphAILLMとダイレクトグラフロジックを使って、ウェブサイトやローカルドキュメント（XML、HTML、JSON、Markdownなど）のクローリングパイプラインを作成するウェブクローリングPythonライブラリ。リンク
ドクリングDoclingは、文書を解析し、簡単かつ迅速に希望の形式にエクスポートします。リンク
ラマ・パースGenAIネイティブドキュメントパーサーは、下流のLLMユースケース（RAG、エージェント）のために複雑なドキュメントデータを解析することができます。リンク
PyMuPDF4LLMPyMuPDF4LLMライブラリは、LLMとRAG環境で必要とされる形式でPDFコンテンツを抽出することを容易にします。リンク
クローリーウェブクローラーとブラウザ自動化ライブラリ。リンク
メガパース文書タイプごとのパーサー。リンク
エクストラクトシンカーLLMのためのドキュメント・インテリジェンス・ライブラリー。リンク

 

LLMデータ作成

図書館名説明リンク
データドリーマーDataDreamerは、プロンプト、合成データ生成、トレーニングワークフローのための強力なオープンソースのPythonライブラリです。リンク
ファブリケーター大規模言語モデルを使用してデータセットを生成するための柔軟なオープンソースフレームワーク。リンク
プロンプトライト合成データセット生成ライブラリ。リンク
イージーインストラクト大規模な言語モデル命令を処理するための使いやすいフレームワーク。リンク

LLMインテリジェント・ボディ

図書館名説明リンク
クルーAIロールプレイをする自律型AIエージェントを編成するためのフレームワーク。リンク
ラングラフエラスティック言語エージェントをグラフとして構築する。リンク
アグノ記憶、知識、ツール、推論機能を持つAIエージェントを構築。美しいエージェントUIを使って、彼らとチャットしましょう。リンク
オートジェンAIエージェントシステム構築のためのオープンソースフレームワーク。リンク
スモラージェンツ数行のコードで強力なエージェントを構築するためのライブラリ。リンク
パイダンティックAIPythonエージェントフレームワークは、生成AIを使用してプロダクショングレードのアプリケーションを構築するためのものです。リンク
グラジオツールLLMベースのエージェントがタスクを完了するために利用できるツールにGradioアプリケーションを変換するためのPythonライブラリ。リンク
コンポジオAIエージェントのための量産可能なツールセット。リンク
アトミック・エージェントAIエージェントをアトミックに構築する。リンク
メマリー自律型エージェントのためのオープンソースのメモリ層。リンク
ブラウザの使用AIエージェントがアクセスできるサイトにする。リンク
オープンウェブエージェント大規模言語モデルでウェブプロキシ機能を実現するオープンなツールキット。リンク
ラーゲントLLMベースのエージェントを構築するための軽量フレームワーク。リンク
LazyLLMマルチエージェントLLMアプリケーション構築のためのローコード開発ツール。リンク
大群エンタープライズクラスのプロダクション対応マルチエージェント・オーケストレーションのためのフレームワーク。リンク
チャットアリーナChatArenaは、マルチエージェント言語ゲーム環境を提供し、自律LLMエージェントとその社会的相互作用の研究を促進するライブラリです。リンク
スウォーム人間工学に基づいた、軽量なマルチエージェント・オーケストレーション教育フレームワークの探求。リンク
エージェントスタック強力なAIエージェントを構築する最速の方法。リンク
アーチグインテリジェント・エージェント・ゲートウェイリンク
フローAIエージェントを構築するための軽量タスクエンジン。リンク
エージェント・オプスAIエージェント監視のためのPython SDK。リンク
ラングロイドマルチエージェントのフレームワーク。リンク
エージェンタリウムAI主導のエージェントを投入するシミュレーションを作成・管理するためのフレームワーク。リンク
アップソニックアジュバント エムシーピー 信頼性の高いAIエージェントのためのフレームワーク。リンク

 

LLMアセスメント

図書館名説明リンク
ラガスRagasは大規模言語モデル（LLM）アプリケーションの評価と最適化のための究極のツールキットです。リンク
ギスカードMLとLLMシステムのためのオープンソースの評価とテストツール。リンク
ディープエヴァルLLM評価の枠組みリンク
ライトヴァルLLMを評価するためのオールインワンのツールキット。リンク
トルレンスLLM実験の評価・追跡ツールリンク
プロンプトベンチ大規模言語モデリングのための統一された評価フレームワーク。リンク
ラングテスト安全で有効な言語モデルを提供精度、バイアス、公平性、ロバスト性などの観点からLLMとNLPモデルを比較するための60以上のテストタイプ。リンク
エバルプラスLLM4Codeの厳密な評価フレームワーク。リンク
ファストチャット大規模な言語モデルに基づくチャットボットのトレーニング、サービス、評価のためのオープンプラットフォーム。リンク
審査員LLMの審査員は少ない。リンク
エバルズEvalsは、LLMとLLMシステムを評価し、オープンソースのレジストリをベンチマークするためのフレームワークである。リンク
エージェント・エヴァルスエージェントのパフォーマンスを評価するための評価ツールとユーティリティ。リンク
LLMBox統一されたトレーニングパイプラインと包括的なモデル評価を含む、包括的なLLMライブラリ。リンク
オピックオープンソースのエンドツーエンドのLLM開発プラットフォームで、LLM評価も含まれています。リンク

 

LLMモニタリング

図書館名説明リンク
MLフローLLMアプリケーションを追跡、評価、監視するためのオープンソースのエンドツーエンドMLOps/LLMOpsプラットフォーム。リンク
オピックオープンソースのエンドツーエンドのLLM開発プラットフォームで、LLMモニタリングも含まれています。リンク
ラングスミスLLMアプリケーションの文書化、監視、改善のためのツールを提供します。リンク
ウェイト バイアス（W&B）W&BはLLMのパフォーマンスを追跡する機能を提供している。リンク
ヘリコーン開発者のためのオープンソースLLM観測可能性プラットフォーム。モニタリング、メトリクス、評価、エージェントトラッキング、キュー管理、プレイグラウンドなどを1行で統合できます。リンク
明らかにオープンソースのMLおよびLLM観測可能性フレームワーク。リンク
フェニックス実験、評価、トラブルシューティングのために設計されたオープンソースのAI観測可能性プラットフォーム。リンク
オブザーバーAI可観測性のための軽量ライブラリ。リンク

 

LLM キュー・ワード・エンジニアリング

図書館名説明リンク
ピーシーツールキット大規模言語モデルのための統合プラグアンドプレイヒント圧縮ツールキット。リンク
選択的コンテキスト選択的コンテキストは、ユーザーのプロンプトとコンテキストを圧縮し、LLM（ChatGPTなど）が2倍のコンテンツを処理できるようにします。リンク
LLMLinguaLLM推論を高速化するためにヒントを圧縮するライブラリ。リンク
ベタープロンプトLLMプロンプトを本番環境にプッシュする前にテストするためのスイート。リンク
プロンプティファイLLMで自然言語処理問題を解決し、PromptifyでGPT、PaLMなどの一般的な生成モデル用のさまざまな自然言語処理タスクプロンプトを簡単に生成します。リンク
プロンプトソースPromptSourceは、自然言語プロンプトを作成、共有、使用するためのツールキットです。リンク
DSPyDSPyは、（プロンプトではなく）言語モデルをプログラミングするためのオープンソースのフレームワークです。リンク
パイプリオンプトデザイン・ライブラリーの出番だ。リンク
プロンプティマイザーライブラリを最適化するヒントリンク

 

LLM構造化出力

図書館名説明リンク
講師大規模言語モデル（LLM）の構造化出力を処理するためのPythonライブラリ。Pydanticの上に構築され、シンプルで透過的でユーザーフレンドリーなAPIを提供します。リンク
X文法効率的で柔軟かつポータブルな構造体生成のためのオープンソースライブラリ。リンク
概要強力な（構造化）テキスト生成リンク
ガイダンスガイダンスとは、言語モデルを導くために使われる有効なプログラミングパラダイムである。リンク
LMQL制約ブートストラップと効率的なLLMプログラミングのための言語。リンク
Jsonformer言語モデルから構造化JSONを生成するフールプルーフ・メソッド。リンク

 

LLMセキュリティ

図書館名説明リンク
脱獄評価脱獄の試みを評価するための自動化された評価者のコレクション。リンク
イージー脱獄敵対的脱獄ヒントを生成するための使いやすいPythonフレームワーク。リンク
ガードレール大規模な言語モデルにガードレールを追加する。リンク
LLMガードLLMインタラクティブ・セキュリティ・ツールキット。リンク
監査NLGAuditNLGは、言語生成AIシステムの使用に関連するリスクを軽減するのに役立つオープンソースライブラリです。リンク
NeMoガードレールNeMo Guardrailsは、LLMベースの対話システムにプログラマブルなガードレールを簡単に追加するためのオープンソースのツールキットです。リンク
ガラクLLM脆弱性スキャナーリンク

 

LLM組み込みモデル

図書館名説明リンク
センテンス・トランスフォーマー高度なテキスト埋め込みモデルリンク
モデル2Vec高速で高度な静的埋め込みモデルリンク
テキスト埋め込み推論TEIは、FlagEmbedding、Ember、GTE、E5を含む最も一般的なモデルのための高性能な抽出を可能にします。リンク

 

その他

図書館名説明リンク
テキスト・マキナ検出、帰属、境界検出などのMGT関連タスクのロバストモデルを構築するための、高品質で偏りのないデータセットの作成を支援するように設計された、モジュール式で拡張可能なPythonフレームワーク。リンク
LLMリージョナーズ高度な大規模言語モデル推論のためのライブラリ。リンク
イージーエディット大規模言語モデルのための使いやすい知識編集フレームワーク。リンク
コードTFCodeTF: 高度なコードLLMのためのワンストップTransformerライブラリ。リンク
スペースllmこのパッケージは、ラピッドプロトタイピングとキューイングのためのモジュラーシステムを持つspaCyに大規模言語モデル（LLM）を統合し、様々な自然言語処理タスクのためのロバストな出力に非構造化応答を変換します。リンク
パンダ会ユーザーのデータベース（SQL、CSV、pandas、polars、MongoDB、NoSQLなど）とチャット。リンク
LLM透明性ツールTransformerベースの言語モデルの内部構造を分析するためのオープンソースのインタラクティブなツールキット。リンク
バンナユーザのSQLデータベースとチャット。RAGのLLMを使用した正確なテキストからSQLへの生成。リンク
マージキット事前に訓練された大規模言語モデルをマージするためのツール。リンク
マークLLMLLM電子透かしオープンソースツールキット。リンク
LLMSanitize自然言語処理データセットと大規模言語モデル（LLM）における汚染検出のためのオープンソースライブラリ。リンク
アノタテイLLMを使用して論文に自動的に注釈を付ける。リンク
LLMリーゾナーOpenAIのようなLLMをo1とする。 ディープシーク R1のように考える。リンク
© 著作権表示
この記事は著作権で保護されており、許可なく複製することは禁じられている。
AiPPT

関連記事

コメントなし

なし
コメントはありません

厳選されたAIツール

最新記事