حل الذكاء الاصطناعي
نشر LLMs باستخدام Hugging Face وKubernetes على OCI
مقدمة
حققت نماذج اللغات الكبيرة (LLMs) خطوات كبيرة في إنشاء النصوص وحل المشكلات واتباع التعليمات. مع استخدام الشركات لنماذج اللغة الكبيرة لتطوير حلول متطورة، تصبح الحاجة إلى منصات نشر قابلة للتوسع وآمنة وفعالة ذات أهمية متزايدة. أصبحت Kubernetes الخيار المفضل لقابلية التوسع والمرونة وقابلية النقل والمرونة.
في هذا العرض التوضيحي، نوضح كيفية نشر حاويات استدلال LLM المضبوطة بدقة على Oracle Cloud Infrastructure Kubernetes Engine (OKE)، وهي خدمة Kubernetes مُدارة تبسط عمليات النشر والعمليات على نطاق واسع للمؤسسات. تمكنهم الخدمة من الاحتفاظ بالنموذج المخصص ومجموعات البيانات داخل مثيل قاعدة البيانات المؤجر الخاص بهم دون الاعتماد على واجهة برمجة تطبيقات الاستدلال لجهة خارجية.
سنستخدم استدلال إنشاء النص (TGI) كإطار عمل الاستدلال لعرض نماذج LLM.
العرض التوضيحي
المتطلبات الأساسية والإعداد
- حساب Oracle Cloud—صفحة التسجيل
- Oracle Cloud Infrastructure—الوثائق
- الذكاء الاصطناعي التوليدي لـ OCI—الوثائق
- محرك OCI Kubernetes—الوثائق