このドキュメントでは、ユーザー組織のデータソースサービスから取得したメタデータの物理構造と、QDICカタログのアセットの物理構造について、その対応関係について説明します。メタデータの階層構造や親子関係はデータソースサービスによって異なりますが、QDICではサービス間の差異を吸収して関係を定義しています。カタログ上でアセット構造を正しく把握することは、アセットの検索性を高めると共に、運用者にとっては正確なアセット管理を行うための鍵となります。
この説明の対象ユーザー
データソースのデータ構造を示すメタデータと、カタログのアセットの関係を説明します。データソースから取得してカタログに反映されたアセットは、下記の階層または親子関係を持ちます。
- カタログ検索でアセットの種別を指定するとき、下記のアセット構造であることを念頭においてください。
- 管理者および運用者が手動でデータソースを作成するとき、CSVファイルに登録するアセットの階層構造は、それぞれのサービスに基づいた下記の階層構造となるように記入します。
- 管理者および環境運用者は、コネクタから取得したメタデータは、カタログには下記のアセット階層または親子関係で登録されることを念頭においてください。
DBデータ
- DBデータの最上位のアセットは、スキーマです。
- サービス側で、スキーマよりも上位のデータ構造がある場合、それらはすべてスキーマとなります。多くのサービスでは、スキーマよりも上位のデータ構造としてデータベース（Database）がありますが、アセットとしてはこれもスキーマになります。従って、カタログでのアセットの階層表示は、以下の通りとなります。
スキーマ 〉スキーマ 〉テーブル 〉カラム - 上記の理由により、ルールタグの付与やカスタムプロパティ設定において、「データベース（Database）のみを対象とし、スキーマ（Schema）は対象外とする」という設定や条件のルールは作成できません。これはアセットしてはどちらも等しくスキーマであるためです。
- データソースのオブジェクトはすべてテーブルです。ビューもテーブルになります。
Amazon Athena
サポートするコネクタ Metadata Agent
| メタデータ | アセット |
|---|---|
| Data Catalog | スキーマ（Schema） |
| Database | スキーマ（Schema） |
| Table | テーブル（Table） |
| View | テーブル（Table） |
| Column | カラム（Column） |
Amazon Redshift
サポートするコネクタ Metadata Agent Intelligence Agent Scanner - メタデータ・統計情報
| メタデータ | アセット |
|---|---|
| Database | スキーマ（Schema） |
| Schema | スキーマ（Schema） |
| Table | テーブル（Table） |
| View | テーブル（Table） |
| Column | カラム（Column） |
Azure Data Services （Microsoft SQL Serverを含む）
サポートするコネクタ Metadata Agent Scanner - メタデータ
| メタデータ | アセット |
|---|---|
| Database | スキーマ（Schema） |
| Schema | スキーマ（Schema） |
| Table | テーブル（Table） |
| View | テーブル（Table） |
| Column | カラム（Column） |
Databricks
サポートするコネクタ Metadata Agent Intelligence Agent Scanner - メタデータ・統計情報・リネージ
| メタデータ | アセット |
|---|---|
| Catalog | スキーマ（Schema） |
| Schema | スキーマ（Schema） |
| Table | テーブル（Table） |
| View | テーブル（Table） |
| Column | カラム（Column） |
Denodo Virtual DataPort
サポートするコネクタ Metadata Agent Scanner - メタデータ
| メタデータ | アセット |
|---|---|
| Database | スキーマ（Schema） |
| View | テーブル（Table） |
| Column | カラム（Column） |
Google BigQuery
サポートするコネクタ Metadata Agent Intelligence Agent
| メタデータ | アセット |
|---|---|
| Project | スキーマ（Schema） |
| Dataset | スキーマ（Schema） |
| Table | テーブル（Table） |
| View | テーブル（Table） |
| Column | カラム（Column） |
Microsoft Fabric Warehouse
サポートするコネクタ Scanner - メタデータ
| メタデータ | アセット |
|---|---|
| Warehouse | スキーマ（Schema） |
| Schema | スキーマ（Schema） |
| Table | テーブル（Table） |
| View | テーブル（Table） |
| Column | カラム（Column） |
MySQL
サポートするコネクタ Metadata Agent
| メタデータ | アセット |
|---|---|
| Database | スキーマ（Schema） |
| Table | テーブル（Table） |
| View | テーブル（Table） |
| Column | カラム（Column） |
Oracle Database
サポートするコネクタ Metadata Agent Scanner - メタデータ・統計情報
| メタデータ | アセット |
|---|---|
| Database | スキーマ（Schema） |
| Schema （User） | スキーマ（Schema） |
| Table | テーブル（Table） |
| View | テーブル（Table） |
| Column | カラム（Column） |
PostgreSQL
サポートするコネクタ Metadata Agent
| メタデータ | アセット |
|---|---|
| Database | スキーマ（Schema） |
| Schema | スキーマ（Schema) |
| Table | テーブル（Table） |
| View | テーブル（Table） |
| Column | カラム（Column） |
Snowflake
サポートするコネクタ Metadata Agent Intelligence Agent Scanner - メタデータ・統計情報・リネージ
| メタデータ | アセット |
|---|---|
| Database | スキーマ（Schema） |
| Schema | スキーマ（Schema） |
| Table | テーブル（Table） |
| View | テーブル（Table） |
| Column | カラム（Column） |
Teradata
サポートするコネクタ Metadata Agent
| メタデータ | アセット |
|---|---|
| Database | スキーマ（Schema） |
| Table | テーブル（Table） |
| View | テーブル（Table） |
| Column | カラム（Column） |
Treasure Data
サポートするコネクタ Metadata Agent
| メタデータ | アセット |
|---|---|
| Database | スキーマ（Schema） |
| Table | テーブル（Table） |
| Column | カラム（Column） |
BIデータ
- BIデータの最上位のアセットは、BIグループ（BI Group）です。
- サービス側で、ダッシュボードよりも上位のデータ構造がある場合、それらはすべてBIグループとなります。
- 上記の理由により、タグ付与やプロパティ設定において、「プロジェクト（Project）のみを対象とし、ワークブック（Workbook）を対象外とする」という設定ができません。これはアセットしてはどちらも等しくBIグループであるためです。
- ダッシュボードはレポートまたはシートを持ちますが、これらのオブジェクトはすべてシート（Sheet）です。
Microsoft Power BI
サポートするコネクタ Metadata Agent Scanner
| メタデータ | アセット |
|---|---|
| Workspace (Group) | BIグループ（BI Group） |
| App | BIグループ（BI Group） |
| Dashboard | ダッシュボード（Dashboard） |
| Report | シート（Sheet） |
Tableau
サポートするコネクタ Metadata Agent
| メタデータ | アセット |
|---|---|
| Project | BIグループ（BI Group） |
| Workbook | BIグループ（BI Group） |
| Dashboard | ダッシュボード（Dashboard） |
| Sheet | シート（Sheet） |
ETLデータ
Alteryx
| メタデータ | アセット |
|---|---|
| Workflow | ETL |