概要
大規模言語モデル(LLM)は、テキスト生成、問題解決、および以下の手順において大きな進歩を遂げました。企業がLLMを使用して最先端のソリューションを開発するにつれて、スケーラブルで安全かつ効率的なデプロイメント・プラットフォームの必要性がますます重要になっています。Kubernetesは、スケーラビリティ、柔軟性、移植性、および回復力の優先オプションとなっています。
このデモでは、企業の導入と運用を大規模に簡素化するマネージドKubernetesサービスであるOracle Cloud Infrastructure Kubernetes Engine (OKE)にファインチューニングLLM推論コンテナをデプロイする方法を示します。このサービスにより、サードパーティの推論APIに依存することなく、カスタム・モデルおよびデータ・セットを独自のテナンシ内に保持できます。
LLMを公開する推論フレームワークとして、テキスト生成推論(TGI)を使用します。
デモ
前提条件および設定
- Oracle Cloudアカウント—サインアップ・ページ
- Oracle Cloud Infrastructure—ドキュメンテーション
- OCIの生成AI—ドキュメント
- OCI Kubernetes Engine - ドキュメント