使用 OCI Kubernetes 引擎大規模的 NVIDIA NIM 推論微服務

簡介

如何大規模地為大型語言模型提供推論要求，並加速 AI 部署？在 Oracle Cloud Infrastructure (OCI) Kubernetes Engine (OKE) 上部署符合企業級需求的解決方案 NVIDIA NIM。在本示範中，我們將示範如何在 OKE 上部署 NVIDIA NIM 與 OCI Object Storage 代管的模型儲存庫。使用 Helm 部署，根據推論要求的數量輕鬆縱向擴展和縮減複本數目，並輕鬆監控。運用 OCI Object Storage 從任何地方部署模型，並支援各種類型的模型。在 NVIDIA GPU 的支援下，充分利用 NIM，協助您獲得推論要求的最大輸送量和最小延遲。

展示

先決條件與設定

1. Oracle Cloud 帳戶 — 註冊頁面
2. 存取由單一 NVIDIA A10 Tensor Core GPU 支援的 VM.GPU.A10.1 — 服務限制
3. 實例主參與者—說明文件
4. NVIDIA AI Enterprise，為 OCI Marketplace 的一部分 — 文件
5. 具有使用者存取權杖的 HuggingFace —文件
6. OCI Kubernetes Engine — 文件

開始使用

• GitHub 上的詳細步驟和範例程式碼