出力できるデータの種類を知りたい。
はじめに
ファイル入出力は、アセット管理画面のファイル出力、データ一括入力にてQuollio Data Catalogに登録されたアセットの情報をCSVファイルで出力したり、アセット・タグ・ルールに関してCSVファイル(ルールについてはJSONファイル)による一括操作を行うことができます。
アセット管理画面でできる操作概要は以下の通りです。
ファイル出力
項目 | 概要 |
データ | Quollio Data Catalogに登録されたアセットの情報をCSV出力 タグ用語集のCSV出力 ルール設定に登録されたルールのJSON出力 |
アクセスログ |
Quollio Data Catalogへのアクセス状況を指定した日付の範囲(最大過去1年分)でCSV出力 ※アクセスログ上に記載されているユーザーIDはユーザー管理から出力されたユーザーIDとは異なります ※紐付けが必要となる場合には弊社カスタマーサクセスまでご一報ください |
コメント | Quollio Data Catalog上でやり取りされたコメントを指定した日付の範囲(最大過去1年分)でCSV出力 |
データ一括入力
項目 | 概要 |
アセットをCSV形式で作成・編集する | アセットの新規登録、Metadata Agentで登録されたアセットの更新など |
タグをCSV形式で作成・編集する | タグの新規登録、概要の一括編集など |
ルールをJSON形式で作成・編集する | 自動タグ付けを行うルールの新規登録や一括編集など |
アップロード履歴 | アセット・タグ・ルールのアップロードに関する操作を記録 |
アセット管理画面に移動する方法は、まず、Quollio Data Catalog画面右上のユーザーアイコン、設定を順にクリックし、設定画面に移動します。
続いて、設定画面左側のメニューからアセット管理をクリックします。
ファイル出力
ファイル出力 セクションでは、分析などの発展的な用途にメタデータを用いるべく、データ出力を行うことができます。
データ
出力したい項目(アセット、タグ、ルール)を選択し、ダウンロードします。
アセットを選択したときは、はじめに[データ出力]をクリックしてください。ダウンロードの準備が整い次第、[ダウンロード]が選択できるようになります。
アセットを選択してダウンロードした場合
アセットについてダウンロードしたzipファイルを展開すると、各アセットごとにCSVファイルが分割されています。
- ファイル名の規則
ファイル名は、次のような規則に基づいています。
アセット種類_開始レコード番号_終了レコード番号.csv
例)column_5000_5250.csv
項目 | 説明 |
アセット種類 | スキーマの場合:schema テーブルの場合:table カラムの場合:column |
開始レコード番号 | 登録されたアセット数が多い場合、csvファイルは5000個ずつに分割され、その開始の番号+1を意味します。 上記例では、5001個目のカラムから出力されたことを示します。 |
終了レコード番号 | 出力したアセットの最後の番号を意味します。 上記例では、5250個目のカラムまで出力されたことを示します。 |
- CSVファイルの構成
CSVファイルは次のような列で構成されています。
カラム名 | 項目名 | 説明 |
global_id | グローバルID | QDC上で一意なID |
url | URL | QDC上の該当アセットにアクセスできるURL |
object_type | オブジェクトタイプ | オブジェクトのタイプ schema, table, columnのいずれかになります。 |
created_by | 作成者 | アセット作成者のID ※IDと実際のユーザー情報(ユーザー名など)を紐付けしたい場合は、メンバー管理画面でCSV出力したデータを利用します。 |
created_at | 作成日時 | アセット作成日時 |
updated_by | 更新者 | アセット最終更新者のID ※IDと実際のユーザー情報(ユーザー名など)を紐付けしたい場合は、メンバー管理画面でCSV出力したデータを利用します。 |
updated_at | 更新日時 | アセット最終更新日時 |
service_name | サービス名 | サービスの名前 ※Quollio Data CatalogでサポートしているDB/DWH名、もしくはCSVで登録した名称です。 |
path | パス | スキーマ名/テーブル名/カラム名 の階層構造 |
physical_name | 物理名 | 物理名 ※Metadata Agentの場合は自動登録 |
logical_name | 論理名 | 論理名 |
description | 概要 | 概要 |
is_lost | 消失フラグ | 元データが消失しているかどうかを示すフラグ |
is_archived | アーカイブフラグ | 元データがアーカイブ済みかどうかを示すフラグ |
is_csv_imported | CSVインポートフラグ | CSVインポートによって登録されたアセットかどうかを示すフラグ(新規登録がCSVかどうかを示す) |
manual_tags | マニュアルタグ | 手動で付与されたタグ |
rule_tags | ルールタグ | ルールで付与されたタグ |
※各プロパティ項目 | ー | ※設定したプロパティセット名とプロパティ名が表示されます。 例)プロパティセット名=基本情報、プロパティ名=型の場合のカラム名:基本情報/型 |
※QDC = Quollio Data Catalog
タグを選択してダウンロードした場合
1つのCSVファイルで構成されており、項目は下記の通りです。
カラム名 | 項目名 | 説明 |
global_id | グローバルID | QDC上で一意なID |
url | URL | QDC上の該当タグにアクセスできるURL |
object_type | オブジェクトタイプ | オブジェクトのタイプ tag_category, tagのいずれかになります。 |
created_by | 作成者 | 作成者のID ※IDと実際のユーザー情報(ユーザー名など)を紐付けしたい場合は、メンバー管理画面でCSV出力したデータを利用します。 |
created_at | 作成日時 | 作成日時 |
updated_by | 更新者 | 最終更新者のID ※IDと実際のユーザー情報(ユーザー名など)を紐付けしたい場合は、メンバー管理画面でCSV出力したデータを利用します。 |
updated_at | 更新日時 | 最終更新日時 |
is_archived | アーカイブフラグ | タグカテゴリやタグがアーカイブ済みかどうかを示すフラグ |
path | パス | タグカテゴリ名/タグ名 の階層構造 |
name | 名前 | タグカテゴリ名かタグ名 |
description | 概要 | 概要 |
number_of_applied_rule_sets | ルールセット数 | 該当タグが使われているルールの数 オブジェクトタイプがtag_categoryの場合は空欄 |
number_of_attached_assets | アセット数 | 該当タグが付与されているアセットの数 オブジェクトタイプがtag_categoryの場合は空欄 |
※QDC = Quollio Data Catalog
ルールを選択してダウンロードした場合
下記のようなJSONファイルが出力されます。 ルールに関する詳細は、こちらをご参照ください。
アクセスログ
各ユーザーがQuollio Data Catalogにアクセスし各アセット(スキーマ、テーブル、カラム)をクリックした情報についてダウンロードをすることができます。 出力条件として、日付範囲とログの種類を選択します。
- 日付範囲
選択肢 | 説明 |
過去1週間 | ダウンロードをクリックした日を含めた過去1週間分が指定されます。 |
過去1ヶ月 | ダウンロードをクリックした日を含めた過去1ヶ月分が指定されます。 |
過去1年間 | ダウンロードをクリックした日を含めた過去1年間分が指定されます。 |
カスタム | ダウンロードする日付の範囲を指定できます(最大1年分)。 |
- ログの種類
選択肢 | 説明 |
監査用 | 各ユーザーごとに各アセットをクリックした日時について記録したデータ |
分析用 | 各ユーザーごとに各アセットをクリックした回数(日毎)について記録したデータ |
CSVファイルの構成
- 監査用
カラム名 | 項目名 | 説明 |
date |
日付 |
ユーザーがアクセスした日 |
global_id | グローバルID | QDC上のアクセス対象オブジェクト スキーマの場合:schm-で始まる テーブルの場合:tbl-で始まる カラムの場合:clmn-で始まる タグカテゴリの場合:tgct-で始まる タグの場合:tg-で始まる |
user_id | ユーザーID | QDC上のユーザーID |
email_address | メールアドレス | ユーザーのメールアドレス |
family_name | 姓 | ユーザーの姓 |
given_name | 名 | ユーザーの名 |
role | ロール | ユーザーの権限 |
timestamp | タイムスタンプ | UTC ※日本標準時(JST)にする場合は9時間を足してください。 |
method | メソッド | ユーザーの操作 |
status | ステータス | ステータスコード |
user_agent | ユーザーエージェント | ブラウザ等の情報 |
ip | IPアドレス | ユーザー側とAWS側のIPアドレス |
※QDC = Quollio Data Catalog
- 分析用
カラム名 | 項目名 | 説明 |
date | 日付 | ユーザーがアクセスした日 |
global_id | グローバルID | QDC上のアクセス対象オブジェクト スキーマの場合:schm-で始まる テーブルの場合:tbl-で始まる カラムの場合:clmn-で始まる タグカテゴリの場合:tgct-で始まる タグの場合:tg-で始まる |
user_id | ユーザーID | QDC上のユーザーID |
count | カウント | アクセス回数 |
※QDC = Quollio Data Catalog
コメント
各ユーザーがQuollio Data Catalog上で残したコメントについてダウンロードをすることができます。 出力条件として、日付範囲を選択します。選択肢はアクセスログの場合と同様です。
CSVファイルの構成
カラム名 | 項目名 | 説明 |
global_id | グローバルID | QDC上のユニークID |
object_type | オブジェクトタイプ | スレッド(comment_thread)またはコメント(comment) |
created_by | 作成者 | 作成者のID ※IDと実際のユーザー情報(ユーザー名など)を紐付けしたい場合は、メンバー管理画面でCSV出力したデータを利用します。 |
created_at | 作成日時 | 作成日時 |
updated_by | 更新者 | 最終更新者のID ※IDと実際のユーザー情報(ユーザー名など)を紐付けしたい場合は、メンバー管理画面でCSV出力したデータを利用します。 |
updated_at | 更新日時 | 最終更新日時 |
is_resolved | 解決済みフラグ | スレッドを解決済みにしたかどうか |
target_id | ターゲットID | コメント先のアセット |
section_type | セクションタイプ | スポットコメントの場所 タグの場合:tags 概要の場合:description DDLの場合:ddl 統計情報(サイズ)の場合:statistics/size 統計情報(レコード数)の場合:statistics/count |
property_set_id | プロパティセットID | プロパティセットのユニークID |
property_id | プロパティID | プロパティのユニークID |
mention_to | メンション先 | メンション先のユーザーID |
message | メッセージ | コメント内容 |
is_edited | 編集フラグ | コメントを編集した場合true |
is_deleted | 削除フラグ | コメントを削除した場合true |
※QDC = Quollio Data Catalog