AI Blueprints

Simplifica la implementación de modelos de lenguaje de gran tamaño (LLM) y modelos de lenguaje visual (VLM) utilizando un motor de interfaz de código abierto llamado modelo de lenguaje de gran tamaño virtual (vLLM). Despliega un modelo personalizado o seleccione entre una variedad de modelos abiertos en Hugging Face.

Optimiza la evaluación comparativa de la infraestructura para el ajuste mediante la metodología MLCommons. Ajusta un modelo de Llama-2-70B cuantificado con un conjunto de datos estándar.

Los planes detallados de IA de OCI permiten un ajuste eficiente del modelo mediante la adaptación de bajo rango (LoRA), un método altamente eficiente de ajuste de LLM. Ajusta un LLM personalizado o utiliza la mayoría de los LLM abiertos de Hugging Face.

Antes de desplegar cargas de trabajo de producción o investigación, puedes utilizar un plan detallado de comprobación previa sólido para una validación exhaustiva del estado de la GPU con el fin de detectar y solucionar problemas de forma proactiva. Verifica que la infraestructura de GPU esté preparada para experimentos de alta demanda en entornos de un solo nodo y de varios nodos.

Adopta un marco integral para servir a los LLM en CPU utilizando la plataforma Ollama con una variedad de modelos compatibles, como Mistral, Gemma y otros.

Con este plan, puedes distribuir la inferencia entre varios nodos de cálculo, cada uno equipado normalmente con una o más GPU. Por ejemplo, despliega LLM del tamaño 405B de Llama en varios nodos H100 con RDMA mediante vLLM y LeaderWorkerSet.

Sirve a los LLM con escala automática mediante KEDA, que se escala a varias GPU y nodos mediante métricas de aplicación, como la latencia de inferencia.

Despliegue los LLM en una fracción de una GPU con las GPU de múltiples instancias de NVIDIA y utilícelos con un vLLM.