什麼是資料湖倉？

資料湖倉、資料湖與資料倉儲的比較

當我們談到「資料湖倉」時，指的是將現有的各種資料儲存平台加以整合運用的概念。

• 資料湖（資料湖倉中的「湖」）：資料湖是一種低成本的儲存庫，主要由資料科學家使用，同時也為商業分析師、產品經理及其他使用者所應用。這是大數據概念。來自組織內各種來源的非結構化原始資料會匯入資料湖中，通常作為中繼階段，用於在載入資料倉儲並建立資料集之前進行暫存與準備。
  
  
  探索資料湖
  
  
• 資料倉儲（資料湖倉中的「倉」）：資料倉儲與資料湖是不同類型的儲存庫。資料倉儲主要用於儲存經過處理與結構化的資料，這些資料依特定目的整理，並以指定格式儲存。 業務使用者通常會透過分析工具查詢這些已準備好的資料，用於報表製作與預測。資料倉儲通常具備資料管理功能，例如資料清理與擷取/載入/轉換 (ETL) 等流程。
  
  
  探索資料倉儲

那麼，資料湖倉是如何結合這兩種概念的呢？整體而言，資料湖倉打破了資料湖與資料倉儲之間的隔閡。這意味著資料可以在低成本且具高彈性的資料湖與資料倉儲之間自由流動。如此一來，使用者能輕鬆運用資料倉儲的管理工具，建立資料結構與治理機制，同時透過機器學習與人工智慧技術進行資料清理。最終，資料湖倉形成一個兼具資料湖「經濟、彈性」與資料倉儲「穩定、結構化」特性的資料儲存體系。資料湖倉讓企業能在彙整多樣資料來源的同時，運用工具將資料轉化為可供業務應用的洞察，大幅加速資料處理流程。從某種角度來看，資料湖倉可被視為誕生於 1980 年代初期的「資料倉儲」的概念，在現今以資料驅動的時代中重新進化的版本。

資料湖倉的功能

在瞭解資料湖倉的基本概念後，我們可以更深入探討其核心要素。資料湖倉結合了傳統資料湖與資料倉儲的特性，並以全新方式融合兩者的優勢，打造出更適合現代數位時代需求的資料平台。

資料管理功能

資料倉儲通常具備多種資料管理功能，如資料清理、資料擷取/載入/轉換 (ETL) 以及資料結構規範。這些功能被引入資料湖倉中，用於加速資料準備流程，使來自不同來源的精選資料能自然整合、協同運作，並為進一步的分析與商業智慧 (BI) 應用做好準備。

開放式儲存格式

採用開放且標準化的儲存格式，能讓來自不同來源的精選資料更容易整合與協作，並能更快速地投入分析與報表製作之中。

彈性儲存

透過將運算資源與儲存資源分離，資料湖倉能依需求彈性擴充儲存容量。

支援串流

許多資料來源會直接從裝置端以即時串流的方式傳送資料。資料湖倉相較於傳統資料倉儲，更能有效支援這類即時資料擷取。隨著物聯網裝置日益普及，即時資料處理的能力也變得愈加關鍵。

多元化工作負載

由於資料湖倉整合了資料倉儲與資料湖的功能，因此能靈活支援多種工作負載。無論是商業報表製作、資料科學分析，或分析工具應用，資料湖倉都能在同一平台中滿足組織內不同工作負載的需求。

資料湖倉的優勢：現代化資料平台

透過建置資料湖倉，組織能以統一的資料平台簡化整體資料管理流程。資料湖倉可取代多個單獨的解決方案，打破不同資料儲存庫之間的孤島，實現資料的整合與協作。這種整合使精選資料的端到端處理流程更加高效，並帶來多項顯著效益。

• 減少管理負擔：使用資料湖倉後，所有連接的資料來源都能被集中存取與整合使用，而不必先從原始資料中擷取並準備以適應資料倉儲。
• 改善資料治理：資料湖倉透過整合資源與資料來源，簡化並改善治理流程。其內建標準化開放式結構，讓使用者能更有效控制安全性、指標、角色存取權限及其他重要管理元素。
• 標準化流程：資料倉儲起源於 1980 年代，當時的連接性極為有限，因此許多組織甚至各部門都建立了各自的本地化資料結構標準。如今，多種資料類型已有開放式結構標準，資料湖倉利用此優勢，透過整合多個資料來源並採用重疊的標準化結構，簡化作業流程。
• 提升成本效益：資料湖倉的基礎架構將運算與儲存分離，可彈性擴充儲存容量，而無需額外增加運算資源。這種設計透過低成本資料儲存即可實現經濟高效的擴展。

部分組織會自行建置資料湖倉，也有組織會選購資料湖倉雲端服務。

探索為什麼 OCI 是建置資料湖倉的理想之選

越來越多的資料來源在全球範圍內傳送大量資料。對於任何組織而言，這種結構化和非結構化資料的組合仍然是一項挑戰。資料湖倉能將這些多樣化的資料整合、關聯與分析，匯聚成單一且易於管理的系統。