Modèles de base d'IA

Simplifiez le déploiement de grands modèles de langage (LLM) et de modèles de langage de vision (VLM) à l'aide d'un moteur d'interface open source appelé modèle de langage de grande taille virtuel (vLLM). Déployez un modèle personnalisé ou sélectionnez-le parmi une variété de modèles ouverts sur Hugging Face.

Rationalisez l'analyse comparative des infrastructures pour un fine-tuning à l'aide de la méthodologie MLCommons. Il affine un modèle Llama-2-70B quantifié avec un ensemble de données standard.

Les modèles de base d'IA OCI permettent un réglage efficace des modèles à l'aide d'une adaptation de bas niveau (LoRA), une méthode hautement efficace de fine-tuning des LLM. Affinez un LLM personnalisé ou utilisez la plupart des LLM ouverts de Hugging Face.

Avant de déployer des workloads de production ou de recherche, vous pouvez utiliser un modèle de pré-vérification robuste pour une validation complète de l'état des GPU afin de détecter et de résoudre les problèmes de manière proactive. Vérifiez que votre infrastructure GPU soit préparée pour des expériences à forte demande dans des environnements à noeud unique et à plusieurs noeuds.

Adoptez une structure complète pour les LLM sur les CPU à l'aide de la plateforme Ollama avec une variété de modèles pris en charge, tels que Mistral, Gemma et d'autres.

Avec ce modèle de base, vous pouvez répartir l'inférence entre plusieurs noeuds de calcul, chacun étant généralement équipé d'un ou de plusieurs GPU. Par exemple, déployez des LLM de taille Llama 405B sur plusieurs noeuds H100 avec RDMA à l'aide de vLLM et LeaderWorkerSet.

Servez les LLM avec le redimensionnement automatique à l'aide de KEDA, qui s'adapte à plusieurs GPU et noeuds à l'aide de mesures d'application, telles que la latence d'inférence.

Déployez des LLM sur une fraction d'un GPU avec les GPU multi-instances de NVIDIA et servez-les avec un vLLM.