FAQ sur les modèles d'IA

Qu'est-ce qu'OCI AI Blueprints ?

Oracle Cloud Infrastructure AI Blueprints est une suite de modèles de base prédéfinis et vérifiés pour OCI qui fournissent des déploiements cohérents et reproductibles de workloads de GenAI en quelques minutes avec une observabilité intégrée.

Que font les modèles d'IA OCI pour les clients ?

Oracle Cloud Infrastructure AI Blueprints vous aide à déployer, à faire évoluer et à surveiller les workloads d'IA en production en quelques minutes. Les modèles de base d'IA sont des modèles de déploiement sans code vérifiés par OCI pour les workloads de GenAI populaires. Ils incluent des recommandations matérielles claires avec les GPU NVIDIA, des composants de pile logicielle avisés, tels que NVIDIA NIM, et des outils d'observabilité préemballés. Cela vous permet de déployer des workloads d'IA sans avoir à prendre de décisions de pile logicielle ou à provisionner manuellement l'infrastructure. Vous pouvez également tirer parti des fonctionnalités d'infrastructure avancées des modèles de base d'IA, telles que les GPU multi-instances ou le redimensionnement automatique en fonction de la latence d'inférence, avec quelques modifications de configuration simples. Grâce à ces fonctionnalités, nous réduisons l'intégration des GPU pour des déploiements stratégiques évolutifs de plusieurs semaines à quelques minutes.

Quel est le coût d'utilisation d'OCI AI Blueprints ?

Les modèles de base d'IA OCI sont disponibles gratuitement pour tous les utilisateurs OCI.

Où puis-je trouver OCI AI Blueprints ?

Les modèles de base d'IA OCI sont disponibles sur GitHub. Sur la page GitHub, vous allez suivre les instructions pour :

1. Installer la plateforme OCI AI Blueprints dans votre location et accéder à l'interface utilisateur/API d'OCI AI Blueprints
2. Déployer et surveiller un modèle d'IA
3. Lorsque vous avez terminé, annulez le déploiement d'un modèle de base.

Quel est le moyen le plus sûr de tester les modèles de base d'IA OCI dans ma location ?

Pour tester un modèle de base d'IA OCI, créez un compartiment distinct et un cluster OCI Kubernetes Engine. Le déploiement de modèles de base d'IA OCI dans le compartiment nouvellement créé isole tout impact potentiel sur votre location.

Quels conteneurs et ressources sont déployés dans ma location ?

Les conteneurs et ressources déployés dans la location sont les suivants :

1. OCI AI Blueprints présente les conteneurs frontaux et back-end
2. Grafana et Prométhée (surveillance)
3. MLflow (suivi d'expérience)
4. KEDA (mise à l'échelle automatique basée sur les applications)
5. Kueue
6. KubeRay

Où puis-je voir la liste complète des plans ?

Tous les modèles de base disponibles sont répertoriés ici.

Comment exécuter l'analyse comparative des inférences LLM ?

Pour exécuter un modèle d'analyse comparative d'inférence, déployez simplement un modèle de base vLLM, puis utilisez un outil tel que LLMPerf pour exécuter une analyse comparative par rapport à votre adresse d'inférence.

Comment vérifier les journaux pour le dépannage ?

Utilisez kubectl pour inspecter les journaux de pod dans votre cluster Oracle Kubernetes Engine. Vous pouvez également inspecter les journaux à partir du portail des modèles de base AI.

Les modèles de base d'IA OCI prennent-ils en charge le redimensionnement automatique ?

Oui, OCI AI Blueprints tire parti de KEDA pour le redimensionnement automatique basé sur les applications. Pour en savoir plus, consultez la documentation.

Quels GPU sont compatibles ?

Tous les GPU NVIDIA disponibles dans votre région OCI, tels que A10, A100 ou H100.

Puis-je effectuer un déploiement vers un cluster Oracle Kubernetes Engine existant ?

Oui. Vous pouvez déployer des modèles de base d'IA OCI vers un cluster existant en suivant les instructions ici.

Comment exécuter plusieurs modèles de base sur le même noeud ?

Pour exécuter plusieurs modèles de base sur le même noeud, nous vous recommandons d'activer les pools de noeuds partagés. En savoir plus ici.

Quelle est la différence entre OCI Data Science/Quick Actions et AI Blueprints ?

Oracle Cloud Infrastructure Data Science et Oracle Cloud Infrastructure Data Science Quick Actions sont des offres PaaS destinées à vous aider à créer et à déployer des applications d'IA sur des instances de calcul gérées. AI Blueprints est un booster IaaS. OCI AI Blueprints est idéal pour les clients déployant des workloads de GenAI sur des instances réservées dans leur location. Dans les premières étapes du parcours client, AI Blueprints aide les points de contact avant-vente, l'analyse comparative des LLM et le prototypage rapide des applications d'IA de bout en bout, telles que la génération augmentée de récupération (RAG). Dans les phases ultérieures, les clients peuvent utiliser des modèles de base d'IA pour les workloads de production sur des clusters Kubernetes avec des configurations avancées telles que le redimensionnement automatique et l'inférence distribuée.

Quelle est la différence entre le service OCI Generative AI et les modèles de base d'IA ?

Le service OCI Generative AI est une offre PaaS. AI Blueprints est un booster IaaS. OCI AI Blueprints est idéal pour les clients déployant des workloads de GenAI sur des instances réservées dans leur location. Au cours des premières étapes du parcours client, AI Blueprints facilite les points de contact avant-vente, l'analyse comparative des LLM et le prototypage rapide des applications d'IA de bout en bout, telles que la RAG. Dans les phases ultérieures, les clients peuvent utiliser des modèles de base d'IA pour les workloads de production sur des clusters Kubernetes avec des configurations avancées telles que le redimensionnement automatique et l'inférence distribuée.

Quels modèles puis-je déployer avec OCI AI Blueprints ?

Vous pouvez déployer des LLM personnalisés ou la plupart des modèles disponibles sur Hugging Face avec notre modèle de base vLLM tant que les modèles sont compatibles avec vLLM.

Puis-je déployer des modèles multimodaux ?

Oui.

Puis-je servir des LLM avec des moteurs d'inférence autres que vLLM ?

Oui. Vous pouvez utiliser d'autres solutions telles qu'Ollama, TensorRT et NIM.

Et si je n'ai pas encore de GPU ? Puis-je déployer des LLM vers des CPU avec des modèles de base d'IA ?

Oui. Nous avons un modèle de base spécifique pour l'inférence de CPU qui exécute Ollama sur les CPU.

Puis-je utiliser des modèles de base AI avec NIM et NeMo ?

Oui.

Les modèles de base d'IA disposent-ils d'une interface de ligne de commande et d'une API ?

AI Blueprints fournit actuellement une API (la CLI est en cours de développement). Vous pouvez également tirer parti de l'interface de ligne de commande de Kueueue pour l'orchestration et la planification des travaux avec des modèles de base d'IA.

Quelle valeur les modèles de base d'IA fournissent-ils ?

Avec OCI AI Blueprints, vous pouvez bénéficier des avantages suivants :

• Déployez des workloads de GenAI en quelques minutes via un flux de configuration simplifié avec des modèles de base et des conseils clairs.
• Bénéficiez d'un délai de production plus court et d'une valeur ajoutée plus rapide du calcul OCI pour la GenAI en réduisant le temps consacré à la configuration initiale et à la maintenance continue.
• Utilisez l'intégration en libre-service aux GPU pour la GenAI avec une documentation complète et une grande importance pour l'expérience utilisateur avec des portails et des API faciles à utiliser.