Oracle 和 AMD 宣布將在 Oracle Cloud Infrastructure (OCI) 上提供 AMD Instinct™ MI355X GPU，為客戶提供更多選擇。與上一代產品相比，大規模 AI 訓練和推論工作負載的性價比將提高兩倍以上。Oracle 將提供最新的 AMD Instinct 處理器加速的 Zettascale AI 叢集，其中搭載多達 131,072 個 MI355X GPU，助力客戶大規模建置 AI，並進行訓練與推論。

Oracle Cloud Infrastructure 執行副總裁 Mahesh Thiagarajan 表示：「我們致力於提供廣泛的 AI 基礎架構產品，以支援在雲端執行嚴苛的 AI 工作負載的客戶。「AMD Instinct GPU 與 OCI 的效能、進階網路、彈性、安全性和規模，可協助滿足客戶對 AI 工作負載和全新代理型應用程式的推論和訓練需求。」

為了支援需要更大、更複雜資料集的新 AI 應用程式，客戶需要專為大規模 AI 訓練而設計的 AI 運算解決方案。搭載 AMD Instinct MI355X GPU 的 zettascale OCI Supercluster 支援多達 131,072 個 MI355X GPU，提供高傳輸量、超低延遲的 RDMA 叢集網路架構，能夠滿足客戶需求。與上一代產品相比，AMD Instinct MI355X 的運算能力幾乎提升了三倍，高頻寬記憶體容量也增加了 50%。

AMD 資料中心解決方案業務集團執行副總裁暨總經理 Forrest Norrod 表示：「AMD 和 Oracle 一直致力於為客戶提供開放式解決方案，以實現高效能、高效率和更高的系統設計靈活性。OCI 上的新一代 AMD Instinct GPU 和 Pollara NIC 將可支援推論、微調和訓練等新用例，隨著 AI 日益普及，為客戶提供更多選擇。」

AMD Instinct MI355X 即將在 OCI 上推出

搭載 AMD Instinct MI355X 的資源配置具備卓越效能、雲端靈活性與開源相容性，特別適合執行當今大規模的語言模型與 AI 工作負載。藉助 OCI 上的 AMD Instinct MI355X，客戶將能夠獲得以下優勢：

• 大幅提升效能： 輸送量可提高多達 2.8 倍，有助客戶提升 AI 部署效能。為了實現規模化的 AI 創新，客戶可以更快地獲得結果、降低延遲，並且能夠執行更大規模的 AI 工作負載。
• 更大、更快的記憶體： 客戶可以完全在記憶體中執行大型模型，從而提升需要高記憶體頻寬的模型的推論和訓練速度。新的資源配置提供 288 GB 的高頻寬記憶體 3 (HBM3) 和高達每秒 8 TB 的記憶體頻寬。
• 全新 FP4 支援： 透過全新 4 位元浮點運算 (FP4) 標準，客戶能夠以符合成本效益的方式部署現代大型語言和生成式 AI 模型，從而實現超高效且高速的推論。
• 高密度液冷設計： 客戶能夠以每個機架 125 千瓦的功耗最大化效能密度，以滿足高要求的 AI 工作負載需求。每個機架配備 64 個 GPU，每個 GPU 功耗為 1,400 瓦，客戶可以獲得更快的訓練時間、更高的輸送量和更低的延遲。
• 專為生產規模的訓練和推論打造： 支援客戶部署新的代理型應用程式，加快首次權杖生成時間 (TTFT)，並提高每秒權杖傳輸量。無論是訓練或推論工作負載，客戶都可預期獲得更高的性價比。
• 強大的頭節點： 透過配備高達 3TB 系統記憶體的 AMD Turin 高頻 CPU 實現高效的作業編排和資料處理，協助客戶提高 GPU 效能。
• 開源堆疊： 透過 AMD ROCm，客戶可靈活運用彈性架構，輕鬆遷移現有程式碼，無需受限於單一供應商。AMD ROCm 是一個開放的軟體堆疊，包含用於在 AMD GPU 上開發 AI 和高效能運算 (HPC) 解決方案的常用程式設計模型、工具、編譯器、函式庫和執行時期。
• AMD Pollara ™ 的網路創新： 為客戶提供進階的 RoCE 功能，推動創新的網路結構設計。Oracle 將率先在後端網路上部署 AMD Pollara AI 網路卡，提供先進的 RoCE 功能，例如可程式化的壅塞控制，並支援超級乙太網路聯盟 (UEC) 的開放產業標準，以實現高效能和低延遲網路。

其他資源

• 深入瞭解 OCI AI infrastructure
• 深入瞭解 OCI Compute
• 深入瞭解 AMD GPUs