1. 甲骨文中国
  2. Cloud
  3. 人工智能
  4. 解决方案
AI 解决方案

在 OCI 上使用 Hugging Face 和 Kubernetes 部署 LLM

AI 解决方案主题

介绍

大语言模型 (LLM) 在文本生成、问题解决和遵循说明方面取得了重大进展。随着企业使用 LLM 开发尖端解决方案，对可扩展，安全和高效部署平台的需求变得越来越重要。Kubernetes 已成为其可扩展性、灵活性、可移植性和弹性方面的首选。

在本演示中，我们将演示如何在 Oracle Cloud Infrastructure Kubernetes Engine (OKE) 上部署经过微调的 LLM 推断容器，这是一种托管式 Kubernetes 服务，可简化企业大规模的部署和运营。利用该服务，他们可以在自己的租户中保留定制模型和数据集，而无需依赖第三方推断 API。

我们将使用文本生成推理 (TGI) 作为推理框架来公开 LLM。

演示

演示：使用 Hugging Face 和基于 OCI 的 Kubernetes 部署 LLM (1:30)

先决条件和设置

  1. Oracle Cloud 账户 - 注册页面
  2. Oracle Cloud Infrastructure — 文档
  3. OCI Generative AI — 文档
  4. OCI Kubernetes Engine — 文档

快速入门

注：为免疑义，本网页所用以下术语专指以下含义：

  1. 除Oracle隐私政策外，本网站中提及的“Oracle”专指Oracle境外公司而非甲骨文中国 。
  2. 相关Cloud或云术语均指代Oracle境外公司提供的云技术或其解决方案。