AI Blueprints

仮想大規模言語モデル（vLLM）と呼ばれる オープンソース・インターフェース・エンジンを使用して、大規模言語モデル（LLM）とビジョン言語モデル（VLM）の導入を簡素化します。カスタム・モデルを導入するか、Hugging Faceの様々なオープン・モデルからお選びください。

MLCommonsの方法を使用して、ファインチューニングのためのインフラストラクチャのベンチマークを効率化します。量子化されたLlama-2-70Bモデルを標準データセットでファインチューニングします。

OCI AI Blueprintsは、LLMファインチューニングの非常に効率的な手法である低ランク適応（LoRA）を使用して、効率的なモデルのチューニングを実現します。カスタムLLMをファインチューニングするか、Hugging Faceのほとんどの開放性LLMを使用してください。

本番または調査ワークロードを導入する前に、堅牢な事前チェックのブループリントを使用してGPUの健全性を徹底的に検証し、問題を先行的に検出して対処することができます。シングルノード環境とマルチノード環境間で、GPUインフラストラクチャが高負荷のエクスペリエンスに対応していることを確認します。

Mistral、Gemmaなど、さまざまなサポート・モデルを使用しているOllamaプラットフォームを使用して、CPU上でLLMを提供する包括的なフレームワークを導入します。

このブループリントを使用することにより、通常1つまたは複数のGPUを搭載した複数のコンピューティング・ノードにわたり、推論サービングを分散させることができます。たとえば、vLLMとLeaderWorkerSetを使用して、複数のH100ノ ードにわたってLlama 405BサイズのLLMをRDMAで導入します。

推論レイテンシなどのアプリケーション指標を使用して複数のGPUやノードにスケールするKEDAを使用して、自動スケーリングでLLMを提供します。

NVIDIAのマルチインスタンスGPUを使用して、LLMをGPUの一部に導入し、vLLMでそれらを提供します。