OKE stuurt OCI AI-services aan

Kubernetes is hét platform voor het implementeren van AI-workloads. OKE stuurt Oracle Cloud Infrastructure (OCI) AI-services aan.

AI-modellen bouwen

- De eerste fase in het bouwen van een AI-project bestaat uit het definiëren van het probleem en het voorbereiden van gegevens om modellen te maken.

- Kubernetes-clusters kunnen de efficiëntie aanzienlijk verbeteren door gedeelde toegang te bieden tot dure en vaak beperkte GPU-resources en tegelijkertijd veilige en centraal beheerde omgevingen te bieden.

- Kubeflow, een open-sourceproject gerelateerd aan Kubernetes, biedt een uitgebreid framework dat is ontworpen om het bouwen, trainen en implementeren van modellen te stroomlijnen.

OKE voor het bouwen van AI-modellen

OKE is gebouwd bovenop OCI en biedt een complete stack met krachtige infrastructuur die is ontworpen voor AI/ML-workloads, zoals:

- De volledige reeks NVIDIA GPU's, waaronder H100, A100, A10 enz.

- Ultrasnelle RDMA-netwerken

Met zelfbeheerde OKE-knooppunten kunt u AI/ML-opbouwworkloads in uw Kubernetes-clusters draaien.

OKE stuurt OCI AI-services aan

Kubernetes is hét platform voor het implementeren van AI-workloads. OKE stuurt OCI AI-services aan.

AI-modellen trainen

- Bij modeltraining selecteren datawetenschappers een algoritme en initiëren ze trainingstaken met behulp van voorbereide gegevens. Deze fase vereist geavanceerde planningsystemen om de taken efficiënt af te handelen.

- Kubernetes-projecten zoals Volcano en Kueue helpen zulke vereisten aan te pakken en maken efficiënt gebruik van rekenresources.

- Grootschalige gedistribueerde training vereist interne communicatie met lage latentie in de cluster. Hier is een gespecialiseerd ultrasnel netwerk met directe geheugentoegang op afstand (RDMA) nodig. Hiermee kunnen gegevens direct van of naar het geheugen van een applicatie worden verplaatst, waarbij de CPU wordt overgeslagen om de latentie te verminderen.

OKE voor het trainen van AI-modellen

OKE is gebouwd bovenop OCI en biedt een complete stack met krachtige infrastructuur die is ontworpen voor AI/ML-workloads, zoals:

- De volledige reeks NVIDIA GPU's, waaronder H100, A100, A10 enz.

- RDMA-netwerken met lage latentie en ultrahoge prestaties

Met zelfbeheerde OKE-knooppunten kunt u AI/ML-opbouwworkloads in uw Kubernetes-clusters draaien.

OKE stuurt OCI AI-services aan

Kubernetes is hét platform voor het implementeren van AI-workloads. OKE stuurt OCI AI-services aan.

AI-modelinferencing (serveren)

- AI-modelinferencing is waar Kubernetes echt in uitblinkt. Kubernetes kan het aantal inferentiepods automatisch op-of afschalen op basis van de vraag, waardoor efficiënt gebruik van resources wordt gegarandeerd.

- Kubernetes biedt geavanceerd resourcebeheer, inclusief de mogelijkheid om CPU- en geheugenlimieten voor containers op te geven.

OKE voor AI-modelinferentie

OKE is ontworpen met veerkracht als kern en maakt gebruik van de ingebouwde pod autoscaling-functie van Kubernetes om workernodes op basis van gebruik te schalen. Workernodes kunnen voor hoge beschikbaarheid over meerdere fout- en/of beschikbaarheidsdomeinen worden gedistribueerd.

Virtuele OKE-knooppunten bieden een serverloze Kubernetes-ervaring. Ze hoeven alleen op podniveau te worden geschaald, zonder ooit workernodes te schalen. Hierdoor kan er sneller geschaald worden en is het beheer voordeliger omdat de servicekosten alleen op de gebruikte pods gebaseerd zijn.

Virtuele knooppunten zijn zeer geschikt voor inferentieworkloads en kunnen Arm-processors gebruiken, die een veel aantrekkelijkere optie worden voor AI-inferentie, vooral wanneer GPU's schaars zijn.

Bestaande applicaties kunnen hiervan profiteren door naar OCI en OKE te migreren.

OKE biedt lagere totale eigendomskosten en een snellere marktintroductie.

OKE vereenvoudigt schaalvergroting op de volgende manieren:

• Lift en shift, niet nodig om de architectuur opnieuw te ontwerpen
• Minder operationele lasten met automatisering
• Tijdsbesparing met infrastructuurbeheer
• Hoger gebruik en meer efficiëntie van resources
• Betere flexibiliteit, veerkracht, uptime en weerbaarheid
• Minder compliance-risico's en betere beveiliging

Microservices bieden veel voordelen ten opzichte van monolithische applicaties

Maak uw applicaties toekomstbestendig met een OKE-gerichte microservicesarchitectuur.

• Gemoderniseerde architectuur
• Snellere innovatie
• Automatisering van implementaties
• Parallelle ontwikkeling
• Eenvoudigere schaalbaarheid
• Hogere betrouwbaarheid
• Meer flexibiliteit
• Betere wendbaarheid