LLM's implementeren met Hugging Face en Kubernetes in OCI
Inleiding
Grote taalmodellen (LLM's) hebben aanzienlijke vooruitgang geboekt bij het genereren van tekst, het oplossen van problemen en het volgen van instructies. Naarmate bedrijven LLM's gebruiken om geavanceerde oplossingen te ontwikkelen, wordt de behoefte aan schaalbare, veilige en efficiënte implementatieplatforms steeds belangrijker. Kubernetes is de voorkeursoptie geworden vanwege de schaalbaarheid, flexibiliteit, draagbaarheid en veerkracht.
In deze demo laten we zien hoe we afgestemde LLM-inferentiecontainers kunnen implementeren op Oracle Cloud Infrastructure Kubernetes Engine (OKE), een beheerde Kubernetes-service die implementaties en bewerkingen op schaal vereenvoudigt voor ondernemingen. Met deze service kunnen ze het aangepaste model en de gegevenssets behouden in hun eigen tenancy zonder afhankelijk te zijn van een inferentie-API van derden.
We gaan Text Generation Inference (TGI) gebruiken als het inferentieframework om de LLM's weer te geven.
-demonstratie
Vereisten en instellingen
- Oracle Cloud account: aanmeldingspagina
- Documentatie over Oracle Cloud Infrastructure
- OCI Generative AI: documentatie
- OCI Kubernetes Engine – documentatie