الخدمة الصغيرة لاستدلال NVIDIA NIM على نطاق واسع باستخدام OCI Container Engine for Kubernetes

مقدمة

كيف يمكنك تقديم طلبات استدلال على نطاق واسع لنموذج لغتك الكبيرة وتسريع نشر الذكاء الاصطناعي؟ من خلال نشر الحل الجاهز للمؤسسات NVIDIA NIM على محرك Kubernetes لـ Oracle Cloud Infrastructure (OCI) (OKE). في هذا العرض التوضيحي، سنعرض كيفية نشر NVIDIA NIM على OKE مع مستودع النماذج المستضاف على OCI Object Storage. باستخدام نشر Helm، يمكنك بسهولة توسيع عدد النسخ المتماثلة لأعلى ولأسفل تبعًا لعدد طلبات الاستدلال، بالإضافة إلى سهولة المراقبة. استفد من تخزين كائنات OCI لنشر النماذج من أي مكان، مع دعم أنواع مختلفة من النماذج. بالاستعانة بوحدات معالجة الرسومات (GPU) من NVIDIA، يمكنك تحقيق أقصى استفادة من NIM لمساعدتك على الحصول على أقصى إنتاجية وأدنى زمن انتقال لطلبات الاستدلال.

العرض التوضيحي

المتطلبات الأساسية والإعداد

1. حساب Oracle Cloud—صفحة التسجيل
2. الوصول إلى VM.GPU.A10.1 المدعوم بوحدة معالجة رسومات NVIDIA A10 Tensor Core—حدود الخدمة
3. مبادئ المثيل—الوثائق
4. NVIDIA AI Enterprise، جزء من سوق OCI—الوثائق
5. HuggingFace مع رموز وصول المستخدم—الوثائق
6. محرك OCI Kubernetes—الوثائق

بدء الاستخدام

• خطوات مُفصّلة ورمز العينة على GitHub