菜单联系我们登录 Oracle Cloud

AI Blueprints

Oracle Cloud Infrastructure (OCI) AI Blueprints 可助您在短短数分钟内部署、扩展并监控生成式 AI 工作负载。立即获取经 OCI 验证的预打包部署蓝图，包括推荐硬件、软件组件以及开箱即用的监控工具。

试用 OCI AI Blueprints

为什么要选择 OCI AI Blueprints？

利用经 OCI 验证的优秀实践，自信地完成部署

利用基于 OCI 验证优秀实践构建的蓝图，轻松解决 AI 工作负载部署难题，更便于实现大规模部署、判断驱动程序和应用程序的兼容性，并做出可观测性与管理相关的决策。

报名参加下一场网络研讨会
简化生成式 AI 部署

借助经过验证的硬件、软件和开箱即用的监控功能，在数分钟内即可部署和监控关键任务生成式 AI 工作负载。

阅读开发人员博客
轻松解决 AI 监控和观测问题

借助与 Prometheus、Grafana 和 MLflow 等第三方观测应用的预构建连接，轻松应对 AI 工作负载中的监控和观测问题。

立即试用 OCI AI Blueprints

OCI AI Blueprints 的常见使用场景

Blueprints

使用 vLLM 进行 LLM 和 VLM 推断

使用称为虚拟大语言模型 (vLLM) 的开源接口引擎，简化大语言模型 (LLM) 和视觉语言模型 (VLM) 的部署。在 Hugging Face 上部署自定义模型或从各种开放模型中进行选择。
Blueprints

性能微调基准测试

使用 MLCommons 方法，简化基础设施基准测试以进行微调。它使用标准数据集来微调量化的 Llama-2-70B 模型。
Blueprints

LoRA 微调

OCI AI Blueprints 支持使用低阶自适应 (LoRA) 参数高效微调模型，这是一种高效的 LLM 微调方法。您可以选择微调定制 LLM 或使用来自 Hugging Face 的大多数开放 LLM。
Blueprints

运行状况检查

在部署生产或研究工作负载之前，您可以使用强大的预检查蓝图进行全面的 GPU 运行状况验证，主动检测和解决问题。验证您的 GPU 基础设施是否已准备好在单节点和多节点环境中进行高需求实验。
Blueprints

CPU 推断

通过 Ollama 平台以及 Mistral、Gemma 等各种受支持的模型，为 CPU 上的 LLM 提供全面的框架。
Blueprints

具有 RDMA 和 vLLM 的多节点推断

借助此蓝图，您可以将推断服务分布在多个计算节点上，每个节点通常配备一个或多个 GPU。例如，使用 vLLM 和 LeaderWorkerSet，在具有 RDMA 的多个 H100 节点中部署 Llama 405B 大小的 LLM。
Blueprints

使用 vLLM 进行缩放推断

使用 KEDA 为 LLM 提供自动缩放服务，通过应用指标（例如推断延迟）扩展到多个 GPU 和节点。
Blueprints

具有 MIG 的 LLM 推断

使用 NVIDIA 的多实例 GPU 将 LLM 部署到 GPU 的一小部分，并使用 vLLM 为其提供服务。

利用 OCI AI Blueprints 支持您的技术

借助专属硬件建议、预打包的软件栈以及开箱即用的观测工具，快速高效地运行 AI 应用。

经过验证的硬件建议

使用在推荐的 OCI GPU、CPU 和网络配置上测试的预打包蓝图，满怀信心地部署生成式 AI 工作负载，从而避免耗时的性能基准测试和猜测。
有明确推荐配置的预打包软件栈

为 RAG、微调和推理等常用 AI 使用场景提供必要的框架、库和模型配置，或根据您的业务需求定制主要成就。
内置的观测和自动缩放功能

通过监控、日志记录和扩展等自动化 MLOps 任务，简化基础设施管理。快速开始使用 Prometheus、Grafana、MLflow 和 KEDA 等预安装工具，轻松获得生产级环境。