AI Blueprints 常见问题解答

什么是 OCI AI Blueprints？

Oracle Cloud Infrastructure AI Blueprints 是一套预打包且经过验证的 OCI 蓝图，可在数分钟内提供一致且可重复的生成式 AI 工作负载部署，并具有内置的观测功能。

OCI AI Blueprints 可为客户带来哪些优势？

Oracle Cloud Infrastructure AI Blueprints 可帮助您在几分钟内部署、扩展和监控生产环境中的 AI 工作负载。这些 AI Blueprints 是经过 OCI 验证的无代码部署蓝图，适用于常用生成式 AI 工作负载，其中包括针对 NVIDIA GPU 的明确硬件推荐、有明确推荐配置的软件栈组件（例如 NVIDIA NIM）以及预打包的观测工具。因此，您无需做出软件栈决策或手动预配基础设施，即可部署 AI 工作负载。您还可以利用 AI Blueprint 的高级基础设施功能，例如多实例 GPU 或基于推断延迟的自动缩放，并进行一些简单的配置更改。借助这些功能，我们将 GPU 在大规模关键任务部署中的上线时间，从数周缩短到几分钟。

使用 OCI AI Blueprint 的成本是多少？

OCI AI Blueprint 免费提供给所有 OCI 用户。

在哪里可以找到 OCI AI Blueprints？

您可以在 GitHub 上找到 OCI AI Blueprints。在 GitHub 页面中，您可以按照指示执行以下操作：

1. 在您的租户中安装 OCI AI Blueprints 平台，并访问 OCI AI Blueprints 的 UI 或 API
2. 部署和监控 AI 蓝图
3. 任务完成后，取消部署蓝图

如何在我的租户中安全地测试 OCI AI Blueprints？

如需测试 OCI AI Blueprints，请创建单独的区间和 OCI Kubernetes Engine 集群。在新创建的区间中部署 OCI AI Blueprints 可防止对租户造成任何潜在影响。

哪些容器和资源将会部署在我的租户中？

以下是租户中部署的容器和资源：

1. OCI AI Blueprints 前端和后端容器
2. Grafana 和 Prometheus（监控）
3. MLflow（实验跟踪）
4. KEDA（基于应用的自动缩放）
5. Kueue
6. KubeRay

在哪里可以看到完整的蓝图列表？

请点击此处查看所有可用的蓝图。

如何运行 LLM 推断基准测试？

如需运行推理基准测试蓝图，您只需部署一个 vLLM 蓝图，然后使用 LLMPerf 等工具针对推理端点运行基准测试。

如何查看日志以进行故障排除？

使用 kubectl，检查 Oracle Kubernetes Engine 集群中的 pod 日志。或者，在 AI Blueprints 门户中检查日志。

OCI AI Blueprint 是否支持自动缩放？

OCI AI Blueprints 利用 KEDA 实现应用驱动的自动缩放。请参阅文档，了解更多详情。

OCI AI Blueprint 与哪些 GPU 兼容？

支持 OCI 区域中提供的所有 NVIDIA GPU，例如 A10、A100 或 H100。

是否可以部署到现有的 Oracle Kubernetes 引擎集群？

可以，您可以按照此处的说明将 OCI AI Blueprints 部署到现有集群。

如何在同一节点上运行多个蓝图？

如需在同一节点上运行多个蓝图，我们建议您启用共享节点池。有关更多信息，请点击这里。

OCI Data Science/Quick Actions 与 AI Blueprints 有何区别？

Oracle Cloud Infrastructure Data Science 和 Oracle Cloud Infrastructure Data Science Quick Actions 是 PaaS 产品，旨在帮助您在托管计算实例上构建和部署 AI 应用。AI Blueprints 是 IaaS 助推器。OCI AI Blueprints 非常适合那些需要将生成式 AI 工作负载部署到租户中的预留实例的客户。在客户旅程的初始阶段，AI Blueprints 可帮助进行售前 POC、LLM 基准测试以及端到端 AI 应用（例如检索增强生成 (RAG)）的快速原型设计。在后面的阶段，客户可以使用 AI Blueprints 来处理 Kubernetes 集群上的生产工作负载，并采用自动缩放和分布式推断等高级配置。

OCI Generative AI 服务与 AI Blueprints 有何区别？

OCI Generative AI 服务属于一种 PaaS 产品。AI Blueprints 是 IaaS 助推器。OCI AI Blueprints 非常适合那些需要将生成式 AI 工作负载部署到租户中的预留实例的客户。在客户旅程的初始阶段，AI Blueprints 可帮助进行售前 POC、LLM 基准测试以及端到端 AI 应用（例如 RAG）的快速原型设计。在后面的阶段，客户可以使用 AI Blueprints 来处理 Kubernetes 集群上的生产工作负载，并采用自动缩放和分布式推断等高级配置。

OCI AI Blueprints 支持部署哪些模型？

只要模型与 vLLM 兼容，您就可以使用我们的 vLLM 蓝图部署自定义 LLM 或 Hugging Face 上可用的大多数模型。

是否可以部署多模态模型？

可以。

是否可以使用 vLLM 以外的推断引擎来部署 LLM？

可以，您可以使用其他解决方案，例如 Ollama、TensorRT 和 NIM 等。

如果我还没有 GPU，是否可以使用 AI Blueprints 将 LLM 部署到 CPU？

可以，我们有一个专门针对 CPU 推断的蓝图，可基于 CPU 运行 Ollama。

是否可以将 AI Blueprints 与 NIM 和 NeMo 一起使用？

可以，

AI Blueprints 是否具有命令行界面 (CLI) 和 API？

AI Blueprints 目前仅提供一个 API（CLI 尚在开发中）。您还可以利用 Kueue CLI 通过 AI Blueprints 进行作业编排和调度。

AI Blueprints 提供了哪些价值？

借助 OCI AI Blueprints，您可以通过以下方式获益：

• 通过简化的设置流程，按照蓝图和清晰的指示，在几分钟内部署 GenAI 工作负载。
• 通过减少初始设置和持续维护所花费的时间，缩短生产时间，加速实现生成式 AI 的 OCI 计算价值。
• 通过丰富的文档、易于使用的门户和 API 的最终用户体验，以自助方式为生成式 AI 配置 GPU。