ファイル出力

出力できるデータの種類を知りたい。


  1. はじめに
  2. ファイル出力
    1. データ
    2. アクセスログ
    3. コメント

はじめに

ファイル入出力は、アセット管理画面のファイル出力データ一括入力にてQuollio Data Catalogに登録されたアセットの情報をCSVファイルで出力したり、アセット・タグ・ルールに関してCSVファイル(ルールについてはJSONファイル)による一括操作を行うことができます。

アセット管理画面でできる操作概要は以下の通りです。

ファイル出力

項目 概要
データ Quollio Data Catalogに登録されたアセットの情報をCSV出力
タグ用語集のCSV出力
ルール設定に登録されたルールのJSON出力
アクセスログ

Quollio Data Catalogへのアクセス状況を指定した日付の範囲(最大過去1年分)でCSV出力
※ログの種類は、監査用分析用の2種類存在します。
監査用:各ユーザーごとに各アセットをクリックした日時について記録したデータ
分析用:各ユーザーごとに各アセットをクリックした回数(日毎)について記録したデータ

※アクセスログ上に記載されているユーザーIDはユーザー管理から出力されたユーザーIDとは異なります

※紐付けが必要となる場合には弊社カスタマーサクセスまでご一報ください

コメント Quollio Data Catalog上でやり取りされたコメントを指定した日付の範囲(最大過去1年分)でCSV出力

データ一括入力

項目 概要
アセットをCSV形式で作成・編集する アセットの新規登録、Metadata Agentで登録されたアセットの更新など
タグをCSV形式で作成・編集する     タグの新規登録、概要の一括編集など
ルールをJSON形式で作成・編集する 自動タグ付けを行うルールの新規登録や一括編集など
アップロード履歴 アセット・タグ・ルールのアップロードに関する操作を記録

 

アセット管理画面に移動する方法は、まず、Quollio Data Catalog画面右上のユーザーアイコン、設定を順にクリックし、設定画面に移動します。

01

続いて、設定画面左側のメニューからアセット管理をクリックします。

export

ファイル出力

ファイル出力 セクションでは、分析などの発展的な用途にメタデータを用いるべく、データ出力を行うことができます。

exportin

データ

出力したい項目(アセット、タグ、ルール)を選択し、ダウンロードします。

アセットを選択したときは、はじめに[データ出力]をクリックしてください。ダウンロードの準備が整い次第、[ダウンロード]が選択できるようになります。

03-1

アセットを選択してダウンロードした場合

アセットについてダウンロードしたzipファイルを展開すると、各アセットごとにCSVファイルが分割されています。

  • ファイル名の規則

ファイル名は、次のような規則に基づいています。

アセット種類_開始レコード番号_終了レコード番号.csv

例)column_5000_5250.csv

項目 説明
アセット種類 スキーマの場合:schema
テーブルの場合:table
カラムの場合:column
開始レコード番号 登録されたアセット数が多い場合、csvファイルは5000個ずつに分割され、その開始の番号+1を意味します。
上記例では、5001個目のカラムから出力されたことを示します。
終了レコード番号 出力したアセットの最後の番号を意味します。
上記例では、5250個目のカラムまで出力されたことを示します。
  • CSVファイルの構成

CSVファイルは次のような列で構成されています。

カラム名 項目名 説明
global_id グローバルID QDC上で一意なID
url URL QDC上の該当アセットにアクセスできるURL
object_type オブジェクトタイプ オブジェクトのタイプ
schema, table, columnのいずれかになります。
created_by 作成者 アセット作成者のID
※IDと実際のユーザー情報(ユーザー名など)を紐付けしたい場合は、メンバー管理画面でCSV出力したデータを利用します。
created_at 作成日時 アセット作成日時
updated_by 更新者 アセット最終更新者のID
※IDと実際のユーザー情報(ユーザー名など)を紐付けしたい場合は、メンバー管理画面でCSV出力したデータを利用します。
updated_at 更新日時 アセット最終更新日時
service_name サービス名 サービスの名前
※Quollio Data CatalogでサポートしているDB/DWH名、もしくはCSVで登録した名称です。
path パス スキーマ名/テーブル名/カラム名 の階層構造
physical_name 物理名 物理名
※Metadata Agentの場合は自動登録
logical_name 論理名 論理名
description 概要 概要
is_lost 消失フラグ 元データが消失しているかどうかを示すフラグ
is_archived アーカイブフラグ 元データがアーカイブ済みかどうかを示すフラグ
is_csv_imported CSVインポートフラグ CSVインポートによって登録されたアセットかどうかを示すフラグ(新規登録がCSVかどうかを示す)
manual_tags マニュアルタグ 手動で付与されたタグ
rule_tags ルールタグ ルールで付与されたタグ
※各プロパティ項目 ※設定したプロパティセット名とプロパティ名が表示されます。
例)プロパティセット名=基本情報、プロパティ名=型の場合のカラム名:基本情報/型

※QDC = Quollio Data Catalog

タグを選択してダウンロードした場合

1つのCSVファイルで構成されており、項目は下記の通りです。

カラム名 項目名 説明
global_id グローバルID QDC上で一意なID
url URL QDC上の該当タグにアクセスできるURL
object_type オブジェクトタイプ オブジェクトのタイプ
tag_category, tagのいずれかになります。
created_by 作成者 作成者のID
※IDと実際のユーザー情報(ユーザー名など)を紐付けしたい場合は、メンバー管理画面でCSV出力したデータを利用します。
created_at 作成日時 作成日時
updated_by 更新者 最終更新者のID
※IDと実際のユーザー情報(ユーザー名など)を紐付けしたい場合は、メンバー管理画面でCSV出力したデータを利用します。
updated_at 更新日時 最終更新日時
is_archived アーカイブフラグ タグカテゴリやタグがアーカイブ済みかどうかを示すフラグ
path パス タグカテゴリ名/タグ名 の階層構造
name 名前 タグカテゴリ名かタグ名
description 概要 概要
number_of_applied_rule_sets ルールセット数 該当タグが使われているルールの数
オブジェクトタイプがtag_categoryの場合は空欄
number_of_attached_assets アセット数 該当タグが付与されているアセットの数
オブジェクトタイプがtag_categoryの場合は空欄

※QDC = Quollio Data Catalog

ルールを選択してダウンロードした場合

下記のようなJSONファイルが出力されます。 ルールに関する詳細は、こちらをご参照ください。

04

アクセスログ

各ユーザーがQuollio Data Catalogにアクセスし各アセット(スキーマ、テーブル、カラム)をクリックした情報についてダウンロードをすることができます。 出力条件として、日付範囲とログの種類を選択します。

  • 日付範囲
選択肢 説明
過去1週間 ダウンロードをクリックした日を含めた過去1週間分が指定されます。
過去1ヶ月     ダウンロードをクリックした日を含めた過去1ヶ月分が指定されます。
過去1年間 ダウンロードをクリックした日を含めた過去1年間分が指定されます。
カスタム ダウンロードする日付の範囲を指定できます(最大1年分)。
  • ログの種類
選択肢 説明
監査用 各ユーザーごとに各アセットをクリックした日時について記録したデータ
分析用 各ユーザーごとに各アセットをクリックした回数(日毎)について記録したデータ

CSVファイルの構成

  • 監査用
カラム名 項目名 説明
date

日付

ユーザーがアクセスした日
global_id グローバルID QDC上のアクセス対象オブジェクト
スキーマの場合:schm-で始まる
テーブルの場合:tbl-で始まる
カラムの場合:clmn-で始まる
タグカテゴリの場合:tgct-で始まる
タグの場合:tg-で始まる
user_id ユーザーID QDC上のユーザーID
email_address メールアドレス ユーザーのメールアドレス
family_name ユーザーの姓
given_name ユーザーの名
role ロール ユーザーの権限
timestamp タイムスタンプ UTC ※日本標準時(JST)にする場合は9時間を足してください。
method メソッド ユーザーの操作
status ステータス ステータスコード
user_agent ユーザーエージェント ブラウザ等の情報
ip IPアドレス ユーザー側とAWS側のIPアドレス

※QDC = Quollio Data Catalog

  • 分析用
カラム名 項目名 説明
date 日付 ユーザーがアクセスした日
global_id グローバルID QDC上のアクセス対象オブジェクト
スキーマの場合:schm-で始まる
テーブルの場合:tbl-で始まる
カラムの場合:clmn-で始まる
タグカテゴリの場合:tgct-で始まる
タグの場合:tg-で始まる
user_id ユーザーID QDC上のユーザーID
count カウント アクセス回数

※QDC = Quollio Data Catalog

コメント

各ユーザーがQuollio Data Catalog上で残したコメントについてダウンロードをすることができます。 出力条件として、日付範囲を選択します。選択肢はアクセスログの場合と同様です。

CSVファイルの構成

カラム名 項目名 説明
global_id グローバルID QDC上のユニークID
object_type オブジェクトタイプ スレッド(comment_thread)またはコメント(comment)
created_by 作成者 作成者のID
※IDと実際のユーザー情報(ユーザー名など)を紐付けしたい場合は、メンバー管理画面でCSV出力したデータを利用します。
created_at 作成日時 作成日時
updated_by 更新者 最終更新者のID
※IDと実際のユーザー情報(ユーザー名など)を紐付けしたい場合は、メンバー管理画面でCSV出力したデータを利用します。
updated_at 更新日時 最終更新日時
is_resolved 解決済みフラグ スレッドを解決済みにしたかどうか
target_id ターゲットID コメント先のアセット
section_type セクションタイプ スポットコメントの場所
タグの場合:tags
概要の場合:description
DDLの場合:ddl
統計情報(サイズ)の場合:statistics/size
統計情報(レコード数)の場合:statistics/count
property_set_id プロパティセットID プロパティセットのユニークID
property_id プロパティID プロパティのユニークID
mention_to メンション先 メンション先のユーザーID
message メッセージ コメント内容
is_edited 編集フラグ コメントを編集した場合true
is_deleted 削除フラグ コメントを削除した場合true

※QDC = Quollio Data Catalog