Häufig gestellte Fragen zu AI Blueprints

Was sind OCI AI Blueprints?

Oracle Cloud Infrastructure AI Blueprints ist eine Sammlung vordefinierter und geprüfter Blueprints für OCI, mit denen sich GenAI-Workloads innerhalb von Minuten konsistent und wiederholbar bereitstellen lassen – inklusive integrierter Beobachtbarkeit.

Was bietet OCI AI Blueprints für Kunden?

Mit OCI AI Blueprints können Sie KI-Workloads in Produktionsumgebungen innerhalb weniger Minuten bereitstellen, skalieren und überwachen. Die Blueprints sind von OCI geprüft, kommen ohne Code aus und unterstützen gängige GenAI-Workloads. Sie enthalten klare Hardware-Empfehlungen mit NVIDIA-GPUs, eine abgestimmte Software-Stack-Auswahl (z. B. NVIDIA NIM) sowie vorintegrierte Observability-Tools. Dadurch entfällt die Notwendigkeit, einzelne Softwarekomponenten manuell auszuwählen oder Infrastruktur händisch bereitzustellen. Darüber hinaus stehen Ihnen fortschrittliche Infrastrukturfunktionen wie GPUs mit mehreren Instanzen oder automatisches Skalieren basierend auf der Inferenzlatenz zur Verfügung – und das mit nur minimalem Konfigurationsaufwand. So verkürzt sich die GPU-Einführung für skalierte, geschäftskritische Deployments von mehreren Wochen auf wenige Minuten.

Was kostet die Nutzung von OCI AI Blueprints?

OCI AI Blueprints stehen allen OCI-Benutzern kostenlos zur Verfügung.

Wo finde ich die OCI AI Blueprints?

OCI AI Blueprints finden Sie auf GitHub. Auf der GitHub-Seite finden Sie Anleitungen dazu, wie Sie:

1. die OCI AI Blueprints-Plattform in Ihrem Mandanten installieren und auf die Benutzeroberfläche bzw. API von OCI AI Blueprints zugreifen
2. einen AI Blueprint bereitstellen und überwachen
3. den Blueprint nach Abschluss wieder entfernen

Was ist der sicherste Weg, OCI AI Blueprints in meinem Mandanten zu testen?

Um einen OCI AI Blueprint sicher zu testen, erstellen Sie am besten ein separates Compartment und einen eigenen OCI Kubernetes Engine (OKE) Cluster. Durch die Bereitstellung innerhalb dieses neuen Compartments wird sichergestellt, dass mögliche Auswirkungen auf Ihren übrigen Mandanten isoliert bleiben.

Welche Container und Ressourcen werden in meinem Mandanten bereitgestellt?

Folgende Container und Ressourcen werden in Ihrem Mandanten bereitgestellt:

1. Frontend- und Backend-Container der OCI AI Blueprints
2. Grafana und Prometheus (Monitoring)
3. MLflow (Nachverfolgung von Experimenten)
4. KEDA (anwendungsbasiertes automatisches Skalieren)
5. Kueue
6. KubeRay

Wo finde ich die vollständige Liste der Blueprints?

Alle verfügbaren Blueprints werden hier aufgeführt.

Wie kann ich ein LLM-Inferenz-Benchmarking durchführen?

Um ein Inferenz-Benchmarking durchzuführen, stellen Sie einfach ein vLLM-Blueprint bereit und verwenden anschließend ein Tool wie LLMPerf, um Benchmark-Tests gegen Ihren Inferenz-Endpunkt durchzuführen.

Wie kann ich Logs zur Fehlerbehebung einsehen?

Verwenden Sie kubectl, um die Pod-Logs in Ihrem Oracle Kubernetes Engine Cluster zu prüfen. Alternativ können Sie auch direkt über das AI Blueprints-Portal auf die Logs zugreifen.

Unterstützt OCI AI Blueprints die automatische Skalierung?

Ja, OCI AI Blueprints nutzt KEDA für anwendungsbasiertes automatisches Skalieren. Weitere Informationen finden Sie in der Dokumentation.

Welche GPUs sind kompatibel?

Alle NVIDIA-GPUs, die in Ihrer OCI-Region verfügbar sind – darunter A10, A100 oder H100.

Kann ich in einen bestehenden Oracle Kubernetes Engine Cluster bereitstellen?

Ja, Sie können OCI AI Blueprints in einem bestehenden Cluster bereitstellen. Die entsprechenden Anweisungen finden Sie hier.

Wie führe ich mehrere Blueprints auf demselben Knoten aus?

Um mehrere Blueprints auf demselben Knoten auszuführen, wird empfohlen, Shared Node Pools zu aktivieren. Weitere Informationen.

Was ist der Unterschied zwischen Oracle Cloud Infrastructure Data Science, Quick Actions und AI Blueprints?

Oracle Cloud Infrastructure Data Science and Oracle Cloud Infrastructure Data Science Quick Actions sind PaaS-Angebote, die dabei helfen, KI-Anwendungen auf verwalteten Compute-Instanzen zu entwickeln und bereitzustellen. OCI AI Blueprints hingegen ist ein IaaS-Booster. OCI AI Blueprints ist ideal für Kunden, die GenAI-Workloads auf reservierten Instanzen in ihrem eigenen Mandanten ausführen möchten. In der frühen Phase der Customer Journey unterstützen AI Blueprints bei Pre-Sales-POCs, LLM-Benchmarking und der schnellen Entwicklung von End-to-End-KI-Anwendungen, z. B. mit Retrieval-Augmented Generation (RAG). In fortgeschrittenen Phasen lassen sich mit AI Blueprints produktive Workloads auf Kubernetes-Clustern ausführen – mit erweiterten Konfigurationen wie automatischer Skalierung und verteilter Inferenz.

Was ist der Unterschied zwischen dem OCI Generative AI Service und AI Blueprints?

Der OCI Generative AI-Service ist ein PaaS-Angebot. OCI AI Blueprints hingegen ist ein IaaS-Booster. OCI AI Blueprints ist ideal für Kunden, die GenAI-Workloads auf reservierten Instanzen in ihrem eigenen Mandanten ausführen möchten. In der frühen Phase der Customer Journey unterstützen AI Blueprints bei Pre-Sales-POCs, LLM-Benchmarking und der schnellen Entwicklung von End-to-End-KI-Anwendungen, z. B. mit Retrieval-Augmented Generation (RAG). In fortgeschrittenen Phasen lassen sich mit AI Blueprints produktive Workloads auf Kubernetes-Clustern ausführen – mit erweiterten Konfigurationen wie automatischer Skalierung und verteilter Inferenz.

Welche Modelle kann ich mit OCI AI Blueprints bereitstellen?

Mit dem vLLM-Blueprint können Sie benutzerdefinierte LLMs sowie die meisten auf Hugging Face verfügbaren Modelle bereitstellen – vorausgesetzt, sie sind mit vLLM kompatibel.

Kann ich multimodale Modelle bereitstellen?

Ja.

Kann ich LLMs auch mit anderen Inferenz-Engines als vLLM bereitstellen?

Ja. Sie können auch andere Lösungen wie Ollama, TensorRT und NIM verwenden.

Ich habe noch keine GPUs. Kann ich LLMs mit AI Blueprints auch auf CPUs ausführen?

Ja. Es gibt einen speziellen Blueprint für die Inferenz auf CPUs, der Ollama auf CPU-Basis verwendet.

Kann ich AI Blueprints mit NIM und NeMo verwenden?

Ja.

Gibt es für AI Blueprints eine Befehlszeilenschnittstelle (CLI) oder API?

Derzeit steht eine API zur Verfügung (eine CLI ist in Entwicklung). Zusätzlich können Sie die Kueue CLI für Job-Orchestrierung und -Planung in Kombination mit AI Blueprints nutzen.

Welchen Mehrwert bietet AI Blueprints?

Mit OCI AI Blueprints profitieren Sie von folgenden Vorteilen:

• Stellen Sie GenAI-Workloads in wenigen Minuten bereit – dank eines vereinfachten Set-up-Flows mit klar strukturierten Blueprints und verständlicher Anleitung.
• Verkürzen Sie die Time-to-Production und schöpfen Sie den Wert von OCI-Compute für GenAI schneller aus – durch minimalen Aufwand bei der Ersteinrichtung und laufenden Wartung.
• Nutzen Sie Selfservice-Onboarding für GPUs im GenAI-Kontext – mit umfassender Dokumentation und starkem Fokus auf die Benutzererfahrung über leicht zugängliche Portale und APIs.