Kubernetes Engine (OKE)

OKE 为 OCI AI 服务提供支持

Kubernetes 是部署 AI 工作负载的理想平台。OKE 为 Oracle Cloud Infrastructure (OCI) AI 服务提供支持。

AI 模型构建

— AI 项目的初始构建阶段涉及定义问题和准备数据以创建模型。

— Kubernetes 集群可以通过授予昂贵且通常有限的 GPU 资源的共享访问权限，同时提供安全且集中管理的环境，以此显著提高效率。

— 与 Kubernetes 相关的开源项目 Kubeflow 提供了一个全面的框架，旨在简化模型的构建、训练和部署。

适用于 AI 模型构建的 OKE

OKE 基于 OCI 构建而成，提供一整套专为 AI/ML 工作负载而设计的高性能基础设施，例如：

— 全系列 NVIDIA GPU，包括 H100、A100、A10 等。

— 超高速 RDMA 网络

通过使用 OKE 自托管节点，您可以在 Kubernetes 集群上运行 AI/ML 构建工作负载。

OKE 为 OCI AI 服务提供支持

Kubernetes 是部署 AI 工作负载的理想平台。OKE 为 OCI AI 服务提供支持。

AI 模型训练

— 在模型训练中，数据科学家会选择算法，并使用之前准备好的数据启动训练作业。此阶段需要复杂的调度系统来高效处理作业。

— 诸如 Volcano 和 Kueue 等 Kubernetes 项目可帮助处理此类需求并高效利用计算资源。

大规模的分布式训练需要集群中低延迟的内部节点通信。此时就需要具有远程直接内存访问 (RDMA) 的专用超高速网络。这种网络允许数据直接移出/移入应用的内存，绕过了 CPU，因此可以缩短延迟时间。

适用于 AI 模型训练的 OKE

OKE 基于 OCI 构建而成，提供一整套专为 AI/ML 工作负载而设计的高性能基础设施，例如：

— 全系列 NVIDIA GPU，包括 H100、A100、A10 等。

— 低延迟、超高性能 RDMA 网络

通过使用 OKE 自托管节点，您可以在 Kubernetes 集群上进行 AI/ML 训练。

OKE 为 OCI AI 服务提供支持

Kubernetes 是部署 AI 工作负载的理想平台。OKE 为 OCI AI 服务提供支持。

AI 模型推理（服务）

— AI 模型推理是 Kubernetes 真正擅长的领域。Kubernetes 可以根据需求自动增加或减少推理 pod 的数量，从而确保高效使用资源。

— Kubernetes 提供复杂的资源管理，包括能够为容器指定 CPU 和内存限制。

适用于 AI 模型推理的 OKE

OKE 以韧性为核心设计，可利用 Kubernetes 的内置云池自动缩放功能，根据使用情况扩展 worker 节点。Worker 节点分布在多个容错域和/或可用性域中，以实现高可用性。

OKE 虚拟节点可提供无服务器 Kubernetes 体验。只需在 pod 级别进行扩展，而无需扩展 worker 节点。这可以加快扩展速度，实现更经济的管理模式，因为服务费是根据所使用的 pod 来计算的。

虚拟节点非常适合推理工作负载，并且可以使用 Arm 处理器，这对于 AI 推理（尤其是当 GPU 供应不足时）来说，是一个更具吸引力的选择。

通过迁移到 OCI 和 OKE，让现有应用从中受益

OKE 可降低总拥有成本并加速市场投放。

OKE 通过以下方式简化大规模操作：

• 直接迁移；无需重新设计架构
• 通过自动化减轻运营负担
• 节省基础设施管理时间
• 提高资源利用率和效率
• 提高敏捷性、灵活性、正常运行时间和韧性
• 降低合规风险，加强安全保护

微服务比单体应用具有更多优势

借助以 OKE 为中心的微服务架构，确保您的应用面向未来。

• 架构现代化
• 加快创新步伐
• 部署自动化
• 并行开发
• 更易于扩展
• 可靠性更高
• 灵活性更高
• 敏捷性更高