データ重複除外とはメソッドと利点

データ重複排除とは、重複したデータやファイルを体系的に排除するプロセスであり、ストレージコストの削減やバージョン管理の改善に役立ちます。すべてのデバイスがデータを生成し、組織全体がファイルを共有する時代において、データの重複除外はIT業務の重要な部分です。また、データ保護と継続性プロセスの重要な部分でもあります。データ複製解除がバックアップに適用されると、重複するファイルおよびブロックが識別および排除され、一意の情報ごとに1つのインスタンスのみが格納されます。これにより、コストを節約できるだけでなく、ネットワーク経由で送信する必要のあるデータが少なくなるため、バックアップとリカバリの時間を短縮することもできます。

データ重複除外とは

データ複製解除は、データベースおよびデータ・ストレージから同じファイルまたはブロックを削除するプロセスです。この処理は、ファイル単位、ブロック単位、さらにはバイト単位など、アルゴリズムによって異なる粒度で実行されます。多くの場合、結果は「データ重複除去率」と呼ばれるものによって測定されます。重複排除を行うことで、組織はより多くの空き容量を確保できるようになりますが、得られる効果の大きさは状況により異なります。特定の業務やファイル形式によって、重複が発生しやすい場合とそうでない場合があるためです。IT部門は定期的に重複をチェックする必要がありますが、重複排除の利点も大きく異なり、さまざまな要因によって左右されます。

主なポイント

• データ複製解除は、重複データをスキャンして削除するプロセスです。
• 重複排除ツールには、ファイル単位からブロック単位やセグメント単位まで、さまざまな精度レベルがあります。
• 精度が高いほど、より多くの計算リソース（コンピュートパワー）を必要とします。
• バックアップおよびアーカイブの場合、データ転送の前または後に複製解除を実行できます。前者の場合は使用する帯域幅が少なくなり、後者の場合は使用する帯域幅が多く、ローカルリソースは少なくなります。

データ複製解除の説明

データ複製解除プロセスでは、ツールはストレージボリュームの重複データをスキャンし、フラグが付けられたインスタンスを削除します。重複を検索するために、各データにアタッチされた一意の識別子(ハッシュ)が比較されます。一致するものが見つかった場合、データのコピーは1つだけ格納され、複製は元のコピーへの参照に置き換えられます。

重複除外システムは、ローカル・ストレージ、データ・カタログなどの管理ツール、およびデータ・ストア内で検索し、構造化データと非構造化データの両方をスキャンします。関連する内容を十分に理解するには、次の用語と定義が重要です。

• データ重複排除率:重複排除プロセスの成功を測定するために使用されるメトリックです。この比率は、元のデータストアのサイズと複製解除後のサイズを比較します。高い比率は有効なプロセスを示しますが、重複排除の頻度、データのタイプ、その他の要因などの変数によって結果が変動することがあります。たとえば、仮想化技術を利用すると、仮想マシンのバックアップやレプリケーションが容易に行えるため、同一データの複数コピーが生成されやすくなります。ただし、こうしたコピーの一部は、冗長性の確保やデータ損失時の復旧のために保持する必要がある場合もあります。
• データ保持:データがストレージに保持される時間の長さ。通常はポリシーによって定義されます。財務レポートは、たとえばEメールよりも長く保持する必要があります。通常、保持期間が長くなるほど、バックアップやデータ転送、仮想マシンの使用を通じてデータが重複するリスクも高まります。
• データ型:記憶域に保持されるデータの形式です。一般的なデータ型は、実行可能ファイル、ドキュメントおよびメディア・ファイルです。ファイルの目的、重要度、アクセス頻度、およびその他の要因によって、ファイルの複製の有無と保持期間が定義されます。
• 変更率:ファイルの更新または変更頻度を測定するメトリック。変更率が高いファイルは、多くの場合、重複頻度が低くなります。
• 場所:場所データが保存されます。データがどこに保存されているかを指します。重複ファイルは、同一ファイルが複数の場所に存在することで発生することがよくあります。これは、意図的（例：バックアップ）である場合もあれば、コピー＆ペースト操作のミスなど、意図せず発生する場合もあります。場合によっては、複数の場所に格納されている仮想マシンに重複するファイルが含まれていることがあります。

データ重複除外が役立つ理由

データの重複除外は、ストレージ領域、計算能力、コストなどのリソースの節約に役立ちます。最も基本的な複製解除は、ストレージボリュームの縮小に関するものです。しかし、すべてのデバイスが大量のデータを生成し、ファイルが部門間で絶えず共有されている今、重複データの影響は広範囲に及ぶ結果になります。たとえば、プロセスの速度低下、ハードウェア・リソースの消費、冗長性の増加、および異なるチームが異なる冗長ファイルを使用する場合の混乱の増大などが考えられます。重複排除は、このすべてに対処するのに役立ちます。そのため、多くの企業がITメンテナンス戦略の一環として、定期的に実施しています。

データ重複排除を行うタイミング

データ重複排除はリソース集約型のデータ管理プロセスであるため、ネットワークの設計や従業員のファイルアクセスのタイミングなど、複数の要素を考慮して適切な実施時期を判断する必要があります。次に、データ複製解除を使用する最も一般的な状況を示します。

汎用ファイル・サーバー

汎用ファイル・サーバーは、個々の従業員のファイル・キャッシュや共有部門フォルダなど、様々なデータ用のストレージおよびサービスを提供します。これらのサーバーは、利用ユーザー数が多く、かつユーザーの役割も多様であるため、重複ファイルが多数存在しやすいという特性があります。原因には、ローカル・ハード・ドライブからのバックアップ、アプリケーションのインストール、ファイル共有などがあります。

仮想デスクトップ・インフラ(VDI)のデプロイメント

仮想デスクトップ・インフラストラクチャ・テクノロジは、リモート・アクセスのために仮想化されたデスクトップを一元的にホスティングおよび管理します。問題は、仮想ハードドライブが同一であることが多く、ストレージを消費する重複ファイルが含まれていることです。さらに、多数のユーザーが始業時間などに一斉に仮想マシンを起動すると、VDIブートストームと呼ばれる現象が発生し、パフォーマンスが著しく低下する、あるいは停止してしまうこともあります。重複排除はこの問題を緩和する手段のひとつであり、アプリケーションリソースをオンデマンドで呼び出す際に、インメモリキャッシュを活用することで対応可能です。

ストレージ・システムおよびバックアップ

バックアップでは、適切な理由でファイルの重複バージョンが作成されます。ただし、同じファイルを永続的にコピーする必要はありません。データ重複排除を活用することで、ひとつの正規バックアップファイルだけを保持し、それ以降のバックアップはこのファイルへの参照として処理されます。これにより、冗長性を実現すると同時に、リソースとストレージ領域を最適化できます。

データ移動

複製解除ツールは、より効率的なデータ転送プロセスを実現します。開始から終了への上書きを実行する代わりに、データ重複排除ツールはファイルをセグメント単位で識別します。ファイル転送プロセスの場合、ツールは更新済セグメントをスキャンし、必要に応じてセグメントを移動します。たとえば、大容量ファイルの新しいバージョンを受け取る場合に、変更がわずかなセグメントにとどまっていれば、そのセグメント部分だけを書き換えることで、転送や上書き処理が迅速に完了します。

アーカイブ・システム

アーカイブ・システムは、どちらも長期データ・ストレージに使用されるため、バックアップと混同されることがよくあります。どちらも長期的なデータ保存に用いられますが、バックアップは災害復旧や障害対策のために生成される一方、アーカイブは日常的に使用されなくなったデータの長期保存を目的としています。重複は、ストレージボリュームを組み合わせたり、アーカイブシステムに新しいセグメントを追加したりするときに生成されます。複製解除プロセスでは、アーカイブの効率が最大化されます。

データ複製解除の仕組み

大局的に見ると、データ重複排除ツールは、ファイルやファイルブロックの「識別用指紋（ハッシュ）」を比較し、重複を検出・排除する仕組みです。重複が確認されると、ログに記録されて消去されます。次に、プロセスの特定のステップの詳細を示します。

チャンク化

チャンク化とは、重複排除プロセスにおいて、ファイルをチャンク（chunk）と呼ばれる小さなセグメントに分割することを指します。これらのセグメントのサイズは、アルゴリズムで計算するか、確立されたガイドラインを使用して設定できます。チャンク化のメリットは、より精度の高い重複検出が可能になる点ですが、その分より多くの計算リソースを必要とします。

ハッシュ処理

複製解除ツールによってデータが処理されると、ハッシュアルゴリズムによってハッシュが割り当てられます。その後、ハッシュが処理済データのログ内にすでに存在するかどうかがチェックされます。データがすでに存在する場合、データは重複として分類され、ストレージ領域を節約するために削除されます。

参照表

複製解除プロセスの結果は、削除されるセグメントまたはファイルと複製される内容を追跡する参照表に格納されます。参照表では、透過性とトレーサビリティを実現するとともに、ストレージボリューム内で各ファイルがどのソースを参照していたかの包括的な記録としても機能します。

データ重複除去アプローチ

組織は、予算、帯域幅、冗長性のニーズに最も適したものに基づいて、複数のデータ重複除外アプローチから選択できます。処理場所、処理時期、処理方法など、これらの要素を組み合わせて、組織に最適化されたソリューションを設計することが可能です。

重複除去方法

• ブロックレベルの重複排除:データをブロック単位で分割し、各ブロックの指紋（ハッシュ）を比較して重複を検出します。これにより、より正確な複製解除が可能になりますが、このプロセスはかなりリソースを消費し、大量の物理ストレージに適用することが困難な場合があります。
• 可変長の複製解除:可変長の複製解除では、アルゴリズムを使用してファイル内のデータ・セグメントのサイズを決定し、複製をチェックします。このプロセスは、ブロックレベルの重複排除に似ており高い精度を持ちますが、ブロックサイズが固定されていない点が異なります。
• ファイル・レベルの重複排除:ブロック単位ではなく、ファイル単位で重複を検出します。ブロックレベルに比べて精度は劣りますが、処理が軽く、高速であり、あらゆる規模のストレージに適用可能です。

重複除去ポイント

• ソース側重複排除:この方法では、ローカルクライアントを重複排除の場所として使用します。バックアップ前にクライアント側で重複排除を行うことで、ネットワーク帯域や転送コストを削減できますが、その分クライアントのリソースを消費します。
• ターゲット側重複排除:この方式では、バックアップデータの送信後に重複排除を実行します。リソースの使い方としてはソース側とは逆で、クライアントへの負荷は軽減される一方で、ネットワーク帯域やターゲット側の処理リソースへの負荷が増大します。

重複除外のタイミング

• インライン複製解除:複製解除がインラインで実行されると、プロセスの実行時にデータがリアルタイムで重複がないかスキャンされます。この方法では、大量のストレージ領域が節約されますが、より多くのローカル・コンピュート・リソースが使用されます。
• ポストプロセス重複排除:データがターゲットに送信されたあとに、比較および消去プロセスが実行されます。この方法では、ターゲットの場所に多くのストレージ領域が必要ですが、転送前に使用するローカルリソースが少なくなります。

データ重複除外の利点

文書を編集して冗長な語句や表現を取り除くことで内容を簡潔にするのと同様に、重複排除によって組織のデータが合理化され、ストレージ・コストの削減、帯域幅の消費の削減、バックアップ効率の向上などの効果を得ることができます。

ストレージの節約

存在するファイルが少なくなると、使用するストレージは少なくなります。れはデータ重複排除の最も明確で実感しやすいメリットの一つであり、バックアップやスキャンのために消費されるストレージ容量や計算資源や帯域幅の削減にもつながります。

災害復旧の迅速化

データ重複排除によってバックアップの実行の負担が軽減されるため、より速く、簡単に障害回復できます。より小さなバックアップをより効率的に作成できるため、災害復旧もより迅速かつ簡易になります。

バックアップ・ウィンドウの短縮

データ重複排除によりバックアップファイルの容量が縮小されることで、ストレージ、処理時間、計算リソースの使用量が削減されます。これにより、組織はバックアップをどのようにスケジュールするかを柔軟に選択できます。

ネットワーク効率

転送する必要があるファイルが少なくなるほど、必要な帯域幅が少なくなります。つまり、転送で使用されるネットワーク・リソースは少なくなります。したがって、データ複製解除では、障害回復のためのバックアップのアーカイブおよびリコールのためのバックアップの転送など、あらゆる転送プロセスの需要を縮小することで、ネットワーク効率を向上させることができます。

経済的メリット

データ量の急増により、あらゆる規模の組織におけるストレージ支出が急速に増加しています。重複除外は、日々のアクティビティとバックアップまたはアーカイブの両方に必要なストレージの量を削減することで、コスト削減に役立ちます。さらに、電力消費、計算処理能力、帯域幅の節約や、重複データの管理・トラブルシューティングにかかる人件費の削減といった二次的なコスト削減効果も期待できます。

データ重複除外の短所と懸念事項

データ重複除外は、リソースの使用を最大化し、コストを削減するための効果的なツールです。しかし、これらの利点にはいくつかの課題があり、その多くは詳細な重複除外に必要な計算能力に関連しています。データ複製解除に関連するもっとも一般的な欠点と懸念点は次のとおりです。

パフォーマンス・オーバーヘッド

データ重複除外は、特にブロック・レベルで実行する場合、リソースを大量に消費します。ITチームは、ネットワーク帯域、業務活動の影響、バックアップ先、実行タイミング、締め切りなど、各組織の運用環境に合わせて、重複排除のスケジューリングと実行方法を慎重に計画する必要があります。

ハッシュ衝突

ハッシュ衝突とは、異なるデータチャンクに同一のハッシュ値が割り当てられてしまう現象を指します。ブロック単位で重複排除を行う際には、各チャンクにハッシュを付与するため、偶発的なハッシュの重複によってデータ破損のリスクが生じる可能性があります。ハッシュ衝突を回避するには、ハッシュ表のサイズを増やすか、連鎖やオープン・アドレス指定などの衝突解決方法を実装します。連鎖には、同じハッシュ・キーを持つ複数の要素がリンク・リストまたは別のデータ構造に格納されるのに対し、オープン・アドレス指定では、ハッシュ表内の別の空き領域に重複要素を配置する必要があります。それぞれの手法には長所と短所があるため、ITチームはハッシュアルゴリズムの長さ・複雑さと回避手段の実装コストを総合的に評価する必要があります。

データの整合性

どんなプロセスにも完全な安全性はなく、重複排除の過程で本来ユニークで重要なデータが誤って削除・改変される可能性もあります。整合性の問題の原因には、ハッシュ衝突、破損したソース・ブロック、ディスク障害、手動エラー、停電などの予期しないイベントによる中断されたプロセス、サイバー攻撃、単純なオペレータ・エラーなどがあります。今日のデータ重複排除ツールとプロトコルの品質を考慮すると、整合性の問題はまれですが、一度発生すると重大な復旧作業が必要となるため、油断は禁物です。

追加されたメタデータ

重複排除プロセスでは、処理された各ブロックに変更ログやデジタル署名といったメタデータが新たに付与されます。これは「指紋ファイル」と呼ばれます。このメタデータにはストレージ領域が必要なだけでなく、独自のデータ整合性の問題も発生する可能性があります。たとえば、破損した場合、リカバリ・プロセスは大幅に困難になります。

実装コスト

データ重複排除は長期的にはストレージコスト削減に寄与しますが、初期導入には一定のコストがかかります。これらのコストには、通常、レコード数に基づいて課金される重複排除ツール自体のライセンス、および重複排除プロセスの設計、実行、および管理に必要なITスタッフの時間が含まれます。

データ重複除外のユースケース

実際の現場で、データ重複排除はどのように活用されているのでしょうか？理論的には、単純なデータ・サイエンスの概念です。重複データを排除して、リソース消費を減らし、浮動するファイルのバージョンが複数ある場合に発生するエラーを最小限に抑えます。しかし、さまざまなセクター、業界、さらには部門には独自の目標とニーズがあります。一般的なユースケースを次に示します。

顧客関係管理: CRMシステム内では、顧客レコード、連絡先情報および取引は、複数のソース、詳細レベルおよびフォーマットを使用して記録されることがあります。これにより、データの一貫性が失われ、1人のマネージャが別のマネージャと若干異なるレコードを持つ場合があります。たとえば、ある連絡先のレコードが複数のデータ・リポジトリに保持され、1人のみが退職後に更新された場合、一部の従業員は古い情報を使用し続ける可能性があります。データ重複排除を行うことで、正確な顧客情報の単一ソースを確保でき、組織全体が常に最新データを用いて可視化や分析を行えるようになります。

データ統合: 2つの組織が買収や内部再編によって合併すると、同じアプリケーションの異なるインスタンスに含まれるデータによって、重複したレコードが作成される可能性があります。たとえば、大企業が中小競合を買収した結果、顧客の40％が重複しており、それが両者のERPシステムに反映されている場合などです。データ重複排除によって、このような冗長なデータを削除し、ストレージ容量を節約すると同時に、組織全体で常に最新の情報だけを活用できるようになります。

仮想コンピューティング:テスト環境や社内システムへのアクセスのために仮想デスクトップを使用する際、大量のユーザーが利用する場合は特に、データ重複排除によって効率性が向上します。仮想マシンにはよく似たデータが含まれているため、ファイルの重複バージョンが多くなります。重複排除を行うことで、仮想マシンによって生成される重複ファイルを削除し、ストレージの過剰使用を防止できます。

銀行業:金融機関内では、異なる部門や支店が顧客情報の重複レコードを保持する場合があります。こうした重複記録は、不正取引や個人情報の盗用といった犯罪の足掛かりになり得ます。また、重複データを調査および処理して不正がないか確認するには、より多くのリソースが必要です。データ重複除外は、銀行と信用組合の効率性とセキュリティを向上させるのに役立ちます。

これはほんの一例に過ぎません。大量のデータを扱うあらゆる組織が、データ重複排除の恩恵を受けることができます。

複製解除テクノロジを選択する際の考慮事項

多数のプロバイダがデータ重複除外ツールを提供していますが、組織に適したものはどれですか。選定時にチームが考慮すべき主な要因は次のとおりです。

• パフォーマンス:重複排除の種類によって必要なリソースは大きく異なります。たとえば、大規模なネットワーク上のソースで実行されるブロックレベルの複製解除では、より限定されたスコープでターゲットで実行されるファイルレベルの複製解除と比較して、かなりのリソースが消費されます。
• スケーラビリティ:スケーラビリティとパフォーマンスは密接に関連しています。パフォーマンスを大きく消費する処理は、スケールアップしにくくなるためです。これは、重複排除に適用され、リソースが集中すればするほど、必要に応じてスケールアップすることが難しくなります。広範囲なスケーラビリティ要件を持つ組織は、重複除外テクノロジを選択する際に、これらのトレードオフを考慮する必要があります。
• 統合:切断されたデータ・ソースにより、重複除去プロセスが複雑になる可能性があります。たとえば、データベースがサイロに存在する場合、重複データの可能性ははるかに高くなります。また、複数のリモートの場所を持つ大規模なネットワークでは、複製解除の前に、より厳密なクレンジングおよび変換プロトコルが必要になる場合があります。複製解除の実装方法を検討する場合、組織はデータ統合の状態を評価する必要があります。
• コスト:重複除去ツールは、複雑さや機能などの要因に基づいてコストが異なります。処理対象のレコードの量に基づいてコストが増加します。業界標準や見積価格を参考に予算を試算し、それが長期的なコスト削減によってどの程度相殺されるかを評価することが推奨されます。

Oracle HeatWaveでデータ重複除外の必要性を排除

データ重複排除の問題を解決する最善の方法は、そもそも重複を発生させないことです。Oracle HeatWaveは、トランザクション、データウェアハウスとデータレイク、機械学習、生成AIにわたるリアルタイム分析を1つのクラウドサービスに統合することで、これを支援します。HeatWave を利用することで、トランザクションデータベースから別の分析用データベースにデータを複製する必要がなくなり、以下のような利点が得られます。

• 異なる目的のために、同じデータを複数のデータ・ストアに格納する必要はありません。
• データ・ストア間でデータを移動するために、複雑で時間がかかり、コストがかかり、エラーが発生しやすい抽出、変換およびロード・プロセスは必要ありません。
• 常に最新のデータに基づいて分析クエリを実行できるため、別の分析用データベースに転送されるまでに古くなってしまうデータを分析するよりも、良い成果が得られます。
• データがデータベース間で転送されないため、転送中にデータが危険にさらされるリスクはほとんどありません。
• HeatWave Lakehouseを使用すると、ユーザーはオブジェクト・ストア内の半ペタバイトのデータを問い合せることができます。また、オプションで、MySQLデータベース内のデータと組み合せることができます。お客様は、MySQLデータベースのトランザクション・データ、オブジェクト・ストレージ内のさまざまな形式のデータ、またはその両方の組み合わせに対して、標準のMySQLコマンドを使用してクエリを実行できます。オブジェクト・ストレージからMySQL Databaseにデータをコピーする必要はありません。

HeatWave AutoMLが組み込まれているため、お客様は、別の機械学習サービスにデータを複製することなく、HeatWave内で機械学習モデルを構築、トレーニング、説明することができます。

HeatWave GenAIは、データベース内大規模言語モデル(LLM)、自動化された、データベース内ベクトル・ストア、スケールアウト・ベクトル処理、自然言語でのコンテキストに応じた対話機能など、統合的で自動化されたセキュアなGenAIを提供します。これにより、お客様はAIの専門知識がなく、データを別のベクトル・データベースに移動することなく、GenAIを利用できます。

HeatWaveを使用すると、トランザクション、分析、機械学習、およびGenAIの複数のクラウド・サービスにわたってデータの重複を排除できるため、お客様はデータ・インフラストラクチャを簡素化し、より多くの情報に基づいた迅速な意思決定を行い、生産性を高め、セキュリティを向上させ、コストを削減できます。さらに、お客様は、公開されているベンチマークで示されているように、分析ワークロードに最適なパフォーマンスとコストパフォーマンスを得ることができます。

データ重複除外に関するFAQ

複製解除の例を教えてください。

重複排除の一例として、バージョン管理されたバックアップやアーカイブを実行する際のケースがあります。これらのアーカイブには、変更されていない同一ファイルが多数含まれることが一般的です。複製解除では、複製ファイルなしでアーカイブの新しいバージョンを作成することによって、バックアッププロセスが合理化されます。代わりに、新しいバージョンには単一のソースへの参照が含まれているため、追加のストレージ領域を使用せずにアーカイブ内に存在できます。

複製解除の理由

重複するレコードによって、ストレージ領域が不必要に消費されます。この追加のストレージ領域では、マルウェア・スキャンなどのプロセス中に、ストレージ・ボリューム、転送帯域幅、コンピュート・リソースなど、より多くのリソースが必要になります。重複排除によってストレージ使用量が削減され、それに伴って帯域幅やリソース使用量も抑えられます。

データの重複とは何ですか。

重複は、データの重複とデータの冗長性の両方によって出現する可能性があります。データの重複とは、ユーザーが重複ファイルをシステム自体に追加する状況を指します。データ冗長性とは、一部の重複するファイルまたはレコードがマージされて重複が作成される状況を指します。

重複除外のデメリットは何ですか。

重複除外により、ストレージ領域が解放され、長期的な効率とコスト削減が可能になります。ただし、複製解除の実際のプロセスはリソースを大量に消費し、計算パフォーマンスや転送帯域幅など、ネットワークのさまざまな部分が遅くなる可能性があります。つまり、IT部門は重複除外のスケジューリングについて戦略的に考える必要があります。