簡介
大型語言模型 (LLM) 在文字生成、解決問題和遵循指示方面取得了重大進展。隨著企業使用 LLM 開發尖端解決方案，對可擴展、安全和高效的部署平台的需求變得越來越重要。Kubernetes 已成為其擴展性、彈性、可攜性和抗逆力的首選選項。
在這個示範中，我們示範如何在 Oracle Cloud Infrastructure Kubernetes Engine (OKE) 上部署微調的 LLM 推論容器，這是一項可大規模簡化企業部署和作業的託管 Kubernetes 服務。此服務可讓他們保留自己租用戶中的自訂模型和資料集，而不需要仰賴第三方推論 API。
我們將使用文字產生推論 (TGI) 作為推論架構來公開 LLM。
展示
