Preguntas frecuentes sobre AI Blueprints

¿Qué es OCI AI Blueprints?

Oracle Cloud Infrastructure AI Blueprints es un conjunto de planes detallados preintegrados y verificados para Oracle Cloud Infrastructure que proporcionan despliegues consistentes y repetibles de cargas de trabajo GenAI en minutos con capacidad de observación integrada.

¿Qué ventajas tiene OCI AI Blueprints para los clientes?

Oracle Cloud Infrastructure AI Blueprints te ayuda a desplegar, escalar y supervisar cargas de trabajo de IA en producción en minutos. Los planes detallados de IA son planes detallados de despliegue sin código verificados por OCI para cargas de trabajo populares de GenAI. Incluyen recomendaciones claras de hardware con GPU NVIDIA; componentes de pila de software de opinión, como NVIDIA NIM; y herramientas de observación preempaquetadas. Esto le permite desplegar cargas de trabajo de IA sin tener que tomar decisiones sobre la pila de software ni aprovisionar manualmente la infraestructura. También puede aprovechar las funciones avanzadas de infraestructura de AI Blueprints, como las GPU de varias instancias o la escala automática basada en la latencia de inferencia, con algunos cambios de configuración simples. Con estas capacidades, reducimos la incorporación de GPU para implementaciones escaladas y esenciales de semanas a minutos.

¿Cuál es el costo de utilizar OCI AI Blueprints?

OCI AI Blueprints está disponible para cualquier usuario de OCI de forma gratuita.

¿Dónde puedo encontrar OCI AI Blueprints?

Puedes encontrar OCI AI Blueprints en GitHub. En la página GitHub, seguirá las instrucciones sobre cómo:

1. Instalar la plataforma OCI AI Blueprints en tu arrendamiento y acceder a la interfaz de usuario/API de OCI AI Blueprints
2. Despliega y supervisa un AI Blueprint o plan detallado de IA.
3. Una vez hayas terminado, anula el despliegue del plan detallado

¿Cuál es la forma más segura de probar OCI AI Blueprints en mi arrendamiento?

Para probar OCI AI Blueprints, crea un compartimento independiente y un clúster de OCI Kubernetes Engine. El despliegue de OCI AI Blueprints en el compartimento recién creado aísla cualquier impacto potencial que pueda sufrir tu arrendamiento.

¿Qué contenedores y recursos se despliegan en mi arrendamiento?

A continuación se muestran los contenedores y recursos desplegados en el arrendamiento:

1. Contenedores front-end y back-end de OCI AI Blueprints
2. Grafana y Prometheus (supervisión)
3. MLflow (seguimiento de experimentos)
4. KEDA (escala automática basada en aplicaciones)
5. Kueue
6. KubeRay

¿Dónde puedo consultar la lista completa planes detallados?

Todos los planes detallados disponibles se muestran aquí.

¿Cómo puedo ejecutar el benchmarking de inferencia de LLM?

Para ejecutar un plan de evaluación comparativa de inferencia, tan solo debes desplegar un plan detallado de vLLM y, a continuación, utilizar una herramienta como LLMPerf para ejecutar la evaluación comparativa en el punto final de inferencia.

¿Cómo puedo comprobar los logs para solucionar problemas?

Utiliza kubectl para inspeccionar los logs de pod en el clúster de Oracle Kubernetes Engine. También puedes inspeccionar los logs desde el portal AI Blueprints.

¿OCI AI Blueprints admite la ampliación automática?

Sí, OCI AI Blueprints aprovecha KEDA para garantizar una escalabilidad automática basada en aplicaciones. Consulta los documentos para obtener más información.

¿Qué GPU son compatibles?

Cualquier GPU NVIDIA disponible en tu región de Oracle Cloud Infrastructure, como A10, A100 o H100.

¿Puedo realizar el despliegue en un clúster de Oracle Kubernetes Engine existente?

Sí, puedes desplegar los planes detallados de OCI AI en un clúster existente siguiendo las instrucciones que se detallan aquí.

¿Cómo puedo ejecutar varios planes detallados en el mismo nodo?

Para ejecutar varios planes detallados en el mismo nodo, recomendamos activar los pools de nodos compartidos. Sigue leyendo.

¿Cuál es la diferencia entre OCI Data Science/Quick Actions y AI Blueprints?

Las acciones rápidas de Oracle Cloud Infrastructure Data Science y Oracle Cloud Infrastructure Data Science son ofertas PaaS destinadas a ayudarle a crear y desplegar aplicaciones de IA en instancias informáticas gestionadas. AI Blueprints es un potenciador IaaS. OCI AI Blueprints es ideal para clientes que despliegan cargas de trabajo GenAI en instancias reservadas en su arrendamiento. En las etapas iniciales del recorrido del cliente, AI Blueprints ayuda con los POC de preventa, el benchmarking de LLM y la creación rápida de prototipos de aplicaciones de IA de extremo a extremo, como la generación aumentada de recuperación (RAG). En las últimas etapas, los clientes pueden utilizar AI Blueprints para cargas de trabajo de producción en clústeres de Kubernetes con configuraciones avanzadas como la escala automática y la inferencia distribuida.

¿Cuál es la diferencia entre el servicio OCI Generative AI y AI Bluenprints?

El servicio OCI Generative AI es una oferta PaaS. AI Blueprints es un potenciador IaaS. OCI AI Blueprints es ideal para clientes que despliegan cargas de trabajo GenAI en instancias reservadas en su arrendamiento. En las etapas iniciales del recorrido del cliente, AI Blueprints ayuda con los POC de preventa, el benchmarking de LLM y la creación rápida de prototipos de aplicaciones de IA de extremo a extremo, como la RAG. En las últimas etapas, los clientes pueden utilizar AI Blueprints para cargas de trabajo de producción en clústeres de Kubernetes con configuraciones avanzadas como la escala automática y la inferencia distribuida.

¿Qué modelos puedo desplegar con OCI AI Blueprints?

Puedes implementar LLM personalizados o la mayoría de los modelos disponibles en Hugging Face con nuestro plan de vLLM siempre que los modelos sean compatibles con vLLM.

¿Puedo desplegar modelos multimodales?

Sí.

¿Puedo servir LLM con motores de inferencia que no sean vLLM?

Sí. Puede utilizar otras soluciones, como Ollama, TensorRT y NIM.

¿Y si todavía no tengo GPU? ¿Puedo desplegar LLM en CPU con AI Blueprints?

Sí. Tenemos un plan específico para la inferencia de CPU que ejecuta Ollama en CPU.

¿Puedo usar AI Blueprints con NIM y NeMo?

Sí.

¿Tiene AI Blueprints una interfaz de línea de comandos (CLI) y una API?

AI Blueprints actualmente proporciona una API (CLI está en desarrollo). También puedes utilizar la CLI de Kueue para la organización y programación de trabajos con AI Blueprints.

¿Qué valor proporcionan los planes detallados de IA?

Con OCI AI Blueprints, puedes beneficiarte como se detalla a continuación:

• Despliega cargas de trabajo de GenAI en cuestión de minutos mediante un flujo de configuración simplificado con planes detallados y una orientación clara.
• Acelera la producción y la obtención de valor de los recursos informáticos de OCI para GenAI reduciendo la cantidad de tiempo dedicado a la configuración inicial y el mantenimiento continuo.
• Utilice la incorporación de autoservicio a las GPU para GenAI con una amplia documentación y haciendo especial énfasis en la experiencia del usuario final con portales y API de fácil uso.