このドキュメントでは、カタログ内のアセットの状態について、カタログへのアセットの登録から削除までのアセットのライフサイクルの基本コンセプトについて説明します。利用者は、この一連の流れを理解することで、カタログの鮮度と正確性を長期的にどのように維持されているか理解することができ、アセットの検索や絞り込みに活用することで、目的のアセットに迅速に到達しやすくなります。
この説明の対象ユーザー
アセットのライフサイクルを知る
カタログでアセットの状態を確認したり、アセット検索で詳細な条件を設定するなど、カタログをより活用するには、アセットのライフサイクルを理解が必要な場合があります。データソースの種類によってアセットのライフサイクルは異なります。
agentデータソースにあるアセットの場合
コネクタがユーザー組織のサービス（例、データウェアハウス）からカタログ化対象のメタデータを取得して、アセットを自動で作成更新する場合です。
下記の図で手動実行となっている操作は、運用者または管理者が行います。
1. コネクタによるデータソース作成
コネクタは初回実行時に新規データソースを作成します。
2. コネクタによるアセットの作成更新と詳細メタデータの更新
コネクタを実行すると、ユーザー組織のサービス（例、データウェアハウス）からカタログ化対象のメタデータを取得し、アセットとしてデータソースに作成されます。また、コネクタが取得したアセットのテクニカルメタデータも更新されます。
データウェアハウスから取得できない詳細メタデータは、運用者がQDICの機能を用いて更新します。
3. コネクタ定期実行
コネクタは定期的に実行されることを想定しています。コネクタ実行によるカタログ化メタデータの取得とアセットの作成、詳細メタデータの更新は、定期的に繰り返される運用を想定しています。
4. 元データ消失アセット
例えば、カタログに存在するテーブルを示すアセットが、最新のコネクタ実行でデータウェアハウスから取得しなかった場合、このアセットは元データ消失として検知され、元データ消失アセットとなります。元データ消失の状態は、ワークスペースにも表示されます。元データ消失となる状況は以下の通りです。
- テーブルがコネクタ実行前に削除されるなど、データウェアハウスに物理的に存在しない場合。
- テーブルがデータウェアハウスに存在するが、管理者や環境運用者の決定によりカタログ化対象から除外した場合。
元データ消失アセットとは、削除可能な状態となったアセットを意味します。
5. アセットの削除
運用者は元データ消失となったアセットを削除します。最新のコネクタ実行で検知された元データ消失アセットを自動で削除する場合もあります。（運用者が決定します）
6. データソースの削除
運用者はデータウェアハウスの状況やカタログの運用管理方針によりデータソースを削除することがあります。
csvデータソースにあるアセットの場合
運用者がユーザー組織のサービス（例、データウェアハウス）からカタログ化対象のメタデータをファイルに出力してアセットを作成更新する場合です。ユーザー組織独自のデータソースをファイルから作成する場合もこれに該当します。
下記の図で手動実行となっている操作は、運用者または管理者が行います。
1. データソース作成
運用者がファイルを用いて手動でテナントに新規データソースを作成し、そこにアセットを作成します。
2. アセット作成とメタデータ更新
運用者はアセット作成とメタデータ更新を定期的に繰り返します。
3. アセットをアーカイブする
運用者は手動操作でアセットをアーカイブできます。アセットのアーカイブは、アセット削除の事前処理の位置づけです。アーカイブしたアセットは、削除前であればアーカイブを解除できます。
4. アーカイブされたアセットを削除
運用者はアーカイブされたアセットを手動操作で削除できます。
5. アセットの一括削除
運用者は手動で特定のアセットを一括で削除することがあります。
6. データソースの削除
運用者はカタログの運用管理方針によりデータソースを削除することがあります。