Groq：AI大規模モデル推論アクセラレーションソリューションプロバイダー、高速無料大規模モデルインターフェース

1.6K 0

Groq総論

カリフォルニア州マウンテンビューに本社を置くGroq社は、GroqChip™とLanguage Processing Unit™（LPU）を開発した。低レイテンシーのAIアプリケーション向けに開発されたテンソル処理ユニットで知られる。

Groqは2016年に設立され、その名前は同年に正式に商標登録された。Groqの主要製品は言語処理ユニット（LPU）であり、AIモデルを訓練するためではなく、それらを迅速に実行するために設計された新しいクラスのチップである。GroqのLPUシステムは、新世代のAIアクセラレーションを先導し、シーケンシャルデータ（例えば、DNA、音楽、コード、）自然言語）を処理し、GPUを凌駕するように設計されています。

Groqは、PyTorch、TensorFlow、ONNXなどの標準的な機械学習フレームワークをサポートしている。Groqは、PyTorch、TensorFlow、ONNXなどの標準的な機械学習フレームワークをサポートしている。これに加えて、Groq Compilerなどのワークロードのカスタム開発や最適化のためのツールを含むGroqWare™スイートも提供している。

Groq 機能リスト

リアルタイムAIアプリケーション処理
標準的な機械学習フレームワークをサポート
SaaSおよびPaaSの軽量ハードウェアのサポート
高速で正確なAIパフォーマンスを提供
カスタム最適化ワークロードのためのGroqWare™スイート
正確でエネルギー効率に優れ、再現可能な大規模推論性能を確保

Groq ヘルプ

開発者はGroqCloud上のPlaygroundを通じて開発者アクセスをセルフサービスできる
現在OpenAI APIを使用している場合、Groqに変換するために必要なのは、Groq APIキー、エンドポイント、モデルの3つだけです。
データセンター・スケールで最速の推論が必要なら、私たちはこう話すべきです。

できる。ここをクリックAPIKEYを無料で申し込み、申し込み完了後に機種を選択する：

チャット完了

身分証明書	1分あたりのリクエスト数	1日あたりのリクエスト数	トークン毎分	トークン/日
ジェマ7bイット	30	14,400	15,000	500,000
ジェマ2-9b-イット	30	14,400	15,000	500,000
llama-3.1-70b-versatile	30	14,400	20,000	500,000
ラマ3.1-8b-インスタント	30	14,400	20,000	500,000
llama-3.2-11b-text-preview	30	7,000	7,000	500,000
llama-3.2-1b-プレビュー	30	7,000	7,000	500,000
llama-3.2-3b-プレビュー	30	7,000	7,000	500,000
llama-3.2-90b-text-preview	30	7,000	7,000	500,000
ラマガード-3-8b	30	14,400	15,000	500,000
ラマ3-70b-8192	30	14,400	6,000	500,000
ラマ3-8b-8192	30	14,400	30,000	500,000
llama3-groq-70b-8192-tool-use-preview	30	14,400	15,000	500,000
llama3-groq-8b-8192-tool-use-preview	30	14,400	15,000	500,000
llava-v1.5-7b-4096-preview	30	14,400	30,000	(制限なし）
ミックストラル-8x7b-32768	30	14,400	5,000	500,000

テキストへのスピーチ

身分証明書	1分あたりのリクエスト数	1日あたりのリクエスト数	オーディオ秒/時	1日あたりのオーディオ秒数
ディスティル・ウィスパー・ラージ-V3-エン	20	2,000	7,200	28,800
ウィスパーラージ-V3	20	2,000	7,200	28,800

次にcurl形式を例にとると、このインターフェイスはOPENAIのインターフェイス形式と互換性があるので、Groqを利用するだけでなく、OPENAI APIをカスタマイズできるインターフェイスがあれば、想像力を働かせてください。

curl -X POST "https://api.groq.com/openai/v1/chat/completions" \
-H "Authorisation: Bearer $GROQ_API_KEY" \ \
-H「Content-Type: application/json」。
-d '{"messages": [{"role": "user", "content": "低遅延LLMの重要性を説明する"}], "model": "mixtral-8x7b-32768"}'.