Oracle e AMD hanno annunciato che le GPU AMD Instinct™ MI355X saranno disponibili su Oracle Cloud Infrastructure (OCI) per offrire ai clienti più scelta e un rapporto prezzo/prestazioni due volte migliore per carichi di lavoro di formazione e inferenza AI su larga scala, rispetto alla generazione precedente. Oracle metterà a disposizione cluster AI zettascale, potenziati dai più recenti processori AMD Instinct con fino a 131.072 GPU MI355X, per permettere ai clienti di creare, addestrare ed eseguire inferenze AI su larga scala.

“Con l'obiettivo di aiutare i clienti che affrontano i carichi di lavoro AI più complessi nel cloud, ci impegniamo a mettere a disposizione le proposte di infrastruttura AI più ampie”, ha dichiarato Mahesh Thiagarajan, executive vice president di Oracle Cloud Infrastructure. "Le GPU AMD Instinct, abbinate alle prestazioni, al networking avanzato, alla flessibilità, alla sicurezza e alla scalabilità di OCI, consentiranno di soddisfare le esigenze di inferenza e formazione per i carichi di lavoro AI e le nuove applicazioni agentiche dei nostri clienti".

Per supportare nuove applicazioni AI che richiedono data set più grandi e complessi, le aziende hanno bisogno di soluzioni di calcolo AI progettate specificamente per la formazione sull'intelligenza artificiale su larga scala. In questo senso, OCI Supercluster zettascale con GPU AMD Instinct MI355X risponde appieno a questa esigenza fornendo un'architettura di rete di cluster RDMA con throughput elevato e latenza ultrabassa per un massimo di 131.072 GPU MI355X. AMD Instinct MI355X offre quasi il triplo della potenza di calcolo e un aumento del 50% della memoria a larghezza di banda elevata rispetto alla generazione precedente.

"AMD e Oracle forniscono ai clienti soluzioni aperte per raggiungere performance elevate, efficienza e maggiore flessibilità di progettazione del sistema", ha dichiarato Forrest Norrod, executive vice president e general manager di Data Center Solutions Business Group, AMD. "L'ultima generazione di GPU AMD Instinct e NIC Pollara su OCI aiuterà a supportare nuovi casi d'uso in inferenza, ottimizzazione e formazione, offrendo maggiore scelta ai clienti man mano che l'adozione dell'AI cresce".

AMD Instinct MI355X in arrivo su OCI

Le forme basate su AMD Instinct MI355X sono progettate con un valore superiore, flessibilità cloud e compatibilità open source, e sono ideali per i clienti che eseguono i modelli linguistici e i carichi di lavoro AI più grandi di oggi. Con AMD Instinct MI355X su OCI, i clienti potranno godere dei seguenti vantaggi:

• Aumento significativo delle prestazioni: i clienti migliorano le prestazioni per le implementazioni AI con un throughput fino a 2,8 volte più elevato. Per consentire l'innovazione AI su larga scala, raggiungere risultati più rapidi, latenza inferiore e la possibilità di eseguire carichi di lavoro AI più grandi.
• Memoria più grande e veloce: per eseguire modelli di grandi dimensioni interamente in memoria, migliorando l'inferenza e la velocità di formazione per modelli che richiedono un'elevata larghezza di banda della memoria. Le nuove forme offrono 288 gigabyte di memoria a larghezza di banda elevata 3 (HBM3) e fino a otto terabyte al secondo di larghezza di banda della memoria.
• Nuovo supporto FP4: per implementare moderni modelli linguistici di grandi dimensioni e AI generativa a costi contenuti con il supporto del nuovo standard floating point compute (FP4) a 4 bit. Ciò consente inferenza ultra-efficiente e ad alta velocità.
• Design denso e raffreddato a liquido: per massimizzare la densità delle prestazioni a 125 kilowatt per rack per carichi di lavoro AI impegnativi. Con 64 GPU per rack a 1.400 Watt ciascuno, i clienti possono ottenere tempi di formazione più rapidi con throughput più elevato e latenza inferiore.
• Studiato per la formazione e l'inferenza su scala di produzione: supporta i clienti che implementano nuove applicazioni agentiche con un time-to-first token (TTFT) più rapido e un throughput elevato di token al secondo, per un miglioramento del rapporto prezzo/prestazioni per carichi di lavoro di formazione e inferenza.
• Nodo principale potente: per ottimizzare le prestazioni della GPU consentendo un'orchestrazione efficiente delle mansioni e l'elaborazione dei dati con una CPU ad alta frequenza AMD Turin con un massimo di tre terabyte di memoria di sistema.
• Stack open source: consente ai clienti di sfruttare architetture flessibili e di eseguire facilmente la migrazione del codice esistente senza accordi esclusivi con i fornitori tramite AMD ROCm. AMD ROCm è uno stack software aperto che include modelli di programmazione, strumenti, compilatori, librerie e runtime più diffusi per lo sviluppo di soluzioni AI e HPC sulle GPU AMD.
• Innovazione di rete con AMD Pollara™: offre ai clienti funzionalità RoCE avanzate che consentono design di fabric di rete innovativi. Oracle sarà la prima azienda a implementare le schede NIC AI di AMD Pollara sulle reti backend, fornendo funzioni avanzate RoCE come il controllo della congestione programmabile e il supporto per gli standard del settore aperti dall'Ultra Ethernet Consortium (UEC) per la rete ad alte prestazioni e a bassa latenza.

Risorse aggiuntive

• Scopri di più sull'infrastruttura AI di OCI
• Scopri di più su OCI Compute
• Scopri di più sulle GPU AMD