AI BlueprintsのFAQ

FAQのトピック

概要と可用性

OCI AI Blueprintsが使用される理由

Oracle Cloud Infrastructure AI Blueprintsは、OCIのためにあらかじめパッケージ化され検証されたブループリント・スイートであり、可観測性を組み込んだGenAIワークロードの一貫した反復可能な導入を数分で提供します。

OCI AI Blueprintsはお客様のために何ができますか。

Oracle Cloud Infrastructure AI Blueprintsは、AIワークロードを数分で導入、拡張、監視できるよう支援します。AIブループリントは、OCIによって検証された、一般的な生成AIワークロード用のコード不要の導入ブループリントです。これには、NVIDIA GPUによる明確なハードウェア推奨、NVIDIA NIMのようなソフトウェア・スタック・コンポーネント、およびパッケージ化された可観測性ツールが含まれます。これにより、ソフトウェア・スタックの意思決定やインフラストラクチャのプロビジョニングを手動で行うことなく、AIワークロードの導入が実現できます。また、マルチインスタンス GPU や推論のレイテンシに基づく自動スケーリングなど、AI Blueprints の高度なインフラストラクチャ機能も、シンプルな構成変更で活用できます。これらの機能により、スケーリングされたミッションクリティカルな導入のためのGPUオンボーディングを数週間から数分に短縮します。

OCI AI Blueprintsの使用には、どのようなコストがかかりますか。

OCI AI Blueprintsは、OCIユーザーであればどなたでも無料でご利用いただけます。

OCI AI Blueprintsを使い始める

OCI AI Blueprintが入手できう場所を教えてください。

OCI AI Blueprintsは、GitHubにあります。GitHubページでは、次の方法に関する指示に従います。

  1. テナントにOCI AI Blueprintsプラットフォームをインストールし、OCI AI BlueprintsのUI/APIにアクセスします。
  2. AIブループリントの導入とモニター
  3. 完了したら、ブループリントを解除します。

テナンシでOCI AIブループリントをテストする最も安全な方法はどれですか。

OCI AIブループリントをテストするには、個別のコンパートメントとOCI Kubernetes Engineクラスタを作成します。新しく作成された区画にOCI AI Blueprintsを導入することで、テナントへの潜在的な影響が隔離されます。

どのコンテナやリソースがテナントに導入されますか。

テナンシに導入されているコンテナおよびリソースは次のとおりです:

  1. OCI AI Blueprintsのフロントエンド・コンテナとバックエンド・コンテナ
  2. GrafanaとPrometheus(監視)
  3. MLflow (実験追跡)
  4. KEDA (アプリケーションベースの自動スケーリング)
  5. Kueue
  6. KubeRay

ブループリントの全リストが確認できる場所を教えてください。

使用可能なすべてのブループリントは、こちらから一覧をご確認いただけます。

OCI AI Blueprintsを用いた運用

LLM推論ベンチマークを実行することができる方法を教えてください。

推論ベンチマーク・ブループリントを実行するには、vLLM ブループリントを導入し、LLMPerf などのツールを使用して推論エンドポイントに対してベンチマークを実行するだけです。

トラブルシューティングのためのログの確認方法を教えてください。

kubectl を使用して、Oracle Kubernetes Engine クラスタのポッドログを検査します。kubectl を使用して、Oracle Kubernetes Engine クラスタのポッドログを検査します。

OCI AI Blueprintsは自動スケーリングをサポートしていますか。

はい、OCI AIブループリントは、アプリケーション主導の自動スケーリングにKEDAを活用しています。詳細については、ドキュメントをご覧ください。

互換性のあるGPUを教えてください。

A10、A100、H100など、OCIリージョンで利用可能なNVIDIA GPUのいずれとも互換性があります。

既存のOracle Kubernetes Engineクラスタに導入できますか。

はい、こちらの手順に従って、OCI AI ブループリントを既存のクラスタに導入できます。

複数のブループリントを同じノードで実行する方法を教えてください。

複数のブループリントを同じノードで実行するには、共有ノードプールを有効にすることを推奨します。続きを読む

OCIデータサイエンス/クイック・アクションとAIブループリントの違いを教えてください。

Oracle Cloud Infrastructure Data ScienceおよびOracle Cloud Infrastructure Data Science Quick Actionsは、マネージド・コンピュート・インスタンス上でのAIアプリケーションの構築と導入を支援することを目的としたPaaSです。AI BlueprintsはIaaSブースターです。OCI AI Blueprintsは、テナント内の予約済みインスタンスに生成AIワークロードを導入するお客様に最適です。カスタマー・ジャーニーの初期段階において、AIブループリントはプリセールスPOC、LLMベンチマーク、検索拡張生成（RAG）などのエンドツーエンドのAIアプリケーションの迅速なプロトタイピングを支援します。後の段階では、お客様は自動スケーリングや分散推論などの高度な構成を備えたKubernetesクラスタ上の本番ワークロードにAIブループリントを使用することができます。

OCI生成AIサービスとAIブループリントの違いを教えてください。

OCI Generative AIサービスは、PaaS製品です。AI BlueprintsはIaaSブースターです。OCI AI Blueprintsは、テナント内の予約済みインスタンスに生成AIワークロードを導入するお客様に最適です。カスタマー・ジャーニーの初期段階において、AIブループリントはプリセールスPOC、LLMベンチマーク、RAGなどのエンドツーエンドのAIアプリケーションの迅速なプロトタイピングを支援します。後の段階では、お客様は自動スケーリングや分散推論などの高度な構成を備えたKubernetesクラスタ上の本番ワークロードにAIブループリントを使用することができます。

OCI AI Blueprintsで導入できるモデルを教えてください。

モデルがvLLMと互換性がある限り、カスタムLLMや Hugging Faceで利用可能なほとんどのモデルをvLLMブループリントで導入できます。

マルチモーダル・モデルを導入できますか。

はい。

vLLM以外の推論エンジンでLLMを提供することは可能ですか。

はい。Ollama、TensorRT、NIMなどの他のソリューションを使用できます。

まだGPUを持っていない場合はどうでしょうか。AIブループリントを使用してLLMをCPUに導入できますか。

はい。CPU上でOllamaを実行するCPU推論専用のブループリントがあります。

AIブループリントをNIMやNeMoで使用することはできますか。

はい。

AI ブループリントにはコマンドライン・インターフェース(CLI)とAPIがあるののでしょうか。

AI Blueprints は現在 PIを提供しています(CLIは開発中です)。Kueue CLIをAI Blueprintsのジョブ・オーケストレーションとスケジューリングに活用することもできます。

AIブループリントはどのような価値を提供しますか。

OCI AI Blueprintsを使用すると、次のようなメリットがあります。

  • ブループリントと明確なガイダンスによる簡素化されたセットアップ・フローにより、生成AIワークロードを数分で導入できます。
  • 初期設定と継続的なメンテナンスに費やす時間を削減することで、OCI Compute for GenAIの製品化までの期間を短縮し、価値実現までの期間を短縮します。
  • 幅広いドキュメントと、使いやすいポータルとAPIによるエンドユーザー・エクスペリエンスに重点を置いた、生成AI向けGPUへのセルフサービス・オンボーディングを使用しています。