מנוע Kubernetes (OKE)

OKE מניע את שירותי הבינה המלאכותית של OCI

Kubernetes הוא הפלטפורמה המומלצת לפריסת עומסי עבודה של בינה מלאכותית. OKE מניע את שירותי הבינה המלאכותית של Oracle Cloud Infrastructure (OCI).

בניית מודלים של בינה מלאכותית

- שלב הבנייה הראשוני של פרויקט בינה מלאכותית כולל את הגדרת הבעיה והכנת נתונים ליצירת מודלים.

- אשכולות Kubernetes יכולים לשפר באופן משמעותי את היעילות במתן גישה משותפת למשאבי GPU יקרים ולעיתים קרובות מוגבלים בסביבות מאובטחות ומנוהלות באופן מרכזי.

- Kubeflow, פרויקט קוד פתוח הקשור ל-Kubernetes, מספק מסגרת מקיפה שנועדה לייעל את הבנייה, ההכשרה והפריסה של מודלים.

OKE לבניית מודלים של בינה מלאכותית

OKE בנוי על OCI ומציע מערך מלא של תשתית עם ביצועים גבוהים שתוכננה עבור עומסי עבודה של בינה מלאכותית/למידת מכונה כגון:

- המגוון המלא של מעבדי GPU של NVIDIA כולל H100, A100, A10, וכו'.

- רשתות RDMA מהירות במיוחד

באמצעות צמתים בניהול עצמי של OKE תוכלו להריץ עומסי עבודה של בניית בינה מלאכותית/למידת מכונה על אשכולות ה-Kubernetes שלכם.

OKE מניע את שירותי הבינה המלאכותית של OCI

Kubernetes הוא הפלטפורמה המומלצת לפריסת עומסי עבודה של בינה מלאכותית. OKE מניע את שירותי הבינה המלאכותית של OCI

אימון מודלים של בינה מלאכותית

- באימון מודלים, מדעני נתונים בוחרים אלגוריתם ומפעילים עבודות אימון באמצעות נתונים מוכנים. שלב זה דורש מערכות תזמון מתוחכמות כדי לנהל את העבודות ביעילות.

- פרויקטים של Kubernetes כמו Volcano ו-Kueue מסייעים לטפל בדרישות אלה ולנצל ביעילות את משאבי המחשוב.

- אימון מבוזר בקנה מידה גדול דורש תקשורת בין צמתים בזמן השבתה קצר באשכול. כאן נדרשת רשת מקצועית ומהירה במיוחד עם גישה מרחוק לזיכרון ישיר (RDMA). היא מאפשרת להעביר נתונים ישירות לזיכרון של היישום או להעביר נתונים ממנו, ובכך לעקוף את ה-CPU כדי לצמצם את זמן ההשבתה.

OKE לאימון מודלים של בינה מלאכותית

OKE בנוי על OCI ומציע מערך מלא של תשתית עם ביצועים גבוהים שתוכננה עבור עומסי עבודה של בינה מלאכותית/למידת מכונה כגון:

- המגוון המלא של מעבדי GPU של NVIDIA כולל H100, A100, A10, וכו'.

- רשתות RDMA בזמן השהיה קצר ובביצועים טובים במיוחד

באמצעות צמתים בניהול עצמי של OKE תוכלו להריץ אימון בינה מלאכותית/למידת מכונה על אשכולות ה-Kubernetes שלכם.

OKE מניע את שירותי הבינה המלאכותית של OCI

Kubernetes הוא הפלטפורמה המומלצת לפריסת עומסי עבודה של בינה מלאכותית. OKE מניע את שירותי הבינה המלאכותית של OCI

יכולת הסקה של מודל בינה מלאכותית (הגשה)

- יכולת ההסקה של מודל בינה מלאכותית היא המקום שבו Kubernetes באמת זורח. Kubernetes יכול להגדיל או להקטין באופן אוטומטי את מספר תאי ההסקה על בסיס דרישה, מה שמבטיח שימוש יעיל במשאבים.

- Kubernetes מספק ניהול משאבים מתוחכם, כולל היכולת לציין מגבלות CPU וזיכרון עבור מכולות.

OKE ליכולת הסקה של מודל בינה מלאכותית

OKE תוכנן בדגש על חוסן בליבתו, תוך מינוף שינוי הגודל האוטומטי של תאים מובנים של Kubernetes כדי להרחיב את צומתי המעבדים על סמך השימוש. ניתן להפיץ צומתי מעבדים בתחומי תקלות ו/או זמינות מרובים כדי להוביל לזמינות גבוהה.

צמתים וירטואליים של OKE מספקים חוויית Kubernetes ללא שרת. הם צריכים להתרחב רק ברמת התא, מבלי להרחיב את צומתי המעבדים. הרחבה זו מאפשרת שינוי גודל מהיר יותר וניהול חסכוני יותר, מכיוון שדמי השירות מבוססים אך ורק על התאים שנמצאים בשימוש.

צמתים וירטואליים מותאמים היטב לעומסי עבודה של יכולת הסקה ויכולים להשתמש במעבדי Arm, שהופכים לאפשרות אטרקטיבית הרבה יותר ליכולת ההסקה של הבינה המלאכותית – במיוחד כאשר אין מספיק יחידות GPU.

יישומים קיימים יכולים להפיק תועלת מהמעבר ל-OCI ול-OKE

OKE מציע עלות בעלות כוללת נמוכה יותר ומשפר את זמן היציאה לשוק.

OKE מפשט את התפעול בקנה מידה גדול בדרכים הבאות:

• הזזה והעברה; אין צורך לתכנן מחדש
• הפחתת נטל התפעול עם אוטומציה
• חיסכון בזמן בניהול התשתית
• הגדלת ניצול המשאבים והיעילות
• שיפור הזריזות, הגמישות, זמן הפעולה התקינה והחוסן
• הפחתת הסיכון בתאימות ושיפור האבטחה

מיקרו-שירותים מציעים יתרונות רבים לעומת יישומים מונוליתיים

הכינו את היישומים שלכם לעתיד עם ארכיטקטורת מיקרו-שירותים ממוקדת OKE.

• מודרניזציה של ארכיטקטורה
• קצב חדשנות מהיר יותר
• אוטומציית פריסה
• פיתוח מקבילי
• יכולת הרחבה קלה יותר
• אמינות רבה יותר
• גמישות רבה יותר
• זריזות רבה יותר