ファイル出入力
      ホームに戻る
      1. ユーザーガイド
      2. 機能詳細
      3. ファイル出入力

      アセット

      CSVファイルによるアセットの新規登録方法や論理名、概要、プロパティの編集方法を知りたい

      1. はじめに
      2. アセットの新規作成
      3. アセットの追加
      4. アセットの編集

      ※BIグループ、ダッシュボード、シートの新規作成はCSV経由でできません。

      はじめに

      データ一括入力では、ファイルをアップロードすることによって、アセット・タグ・ルールを設定することができます。 本節では、CSVアップロードによってアセット（スキーマ、テーブル、カラム）を新規に登録する方法と、CSVアップロードによって新規登録されたアセットやMetadata Agentによって登録されたアセットの概要やプロパティなどの情報を更新する方法について記載します。

      Metadata Agentによって登録されるアセットとCSVアップロードによって登録されるアセットは、別のアセットとして認識されます。CSVアップロードによって新規にアセットを登録し、後からMetadata Agentによってそのアセットの情報（統計情報やDDL）を上書き更新することはできません。
      例）AスキーマのBテーブルがMySQLに存在している場合
      はじめにCSVアップロードによってAスキーマのBテーブルを登録し、あとからMySQLのMetadata Agentを構築した場合、別途AスキーマのBテーブルが新規で登録されます。

      アセット管理画面で データ一括入力 を選択すると、図のような画面が表示されます。ここから操作を行います。

      import-1

      手順概要

      各アセットの新規登録から概要・プロパティの登録までの流れは以下の通りです。

      1. 新規作成用のテンプレートをダウンロード
      2. サービス名とアセットの物理名を編集し、CSVアップロード
      3. 編集用のテンプレートをダウンロード
      4. 各アセットの論理名や概要、プロパティの値を編集し、CSVアップロード

      また、既に登録したスキーマに対してテーブルを追加したり、既に登録したテーブルに対してカラムの追加を行う場合は次のような流れになります。

      1. 追加用のテンプレートをダウンロード
      2. 該当スキーマ等にテーブルの物理名やカラムの物理名を追加し、CSVアップロード
      3. 編集用のテンプレートをダウンロード
      4. 追加したアセットの論理名や概要、プロパティの値を編集し、CSVアップロード

      どちらの場合も、手順2のアセットの物理名を登録する手順が存在しています。これは、該当のアセットに対してユニークなID（グローバルID）を付与するためです。

      アセットの新規登録

      一括でアセットの新規登録をする場合に利用します。

      assetcsv

      登録手順

      1. 操作
        新規作成 を選択します。
      2. 対象
        新規作成するアセットの対象を選択します。スキーマ・テーブル 、または スキーマ・テーブル・カラム を同時に登録することができます。
      3. ソース
        新規作成 の場合は、CSV のみの選択となります。
      4. ダウンロード
        テンプレートをダウンロード よりテンプレートになるCSVファイルをダウンロードします。
      5. ご自身でデータの入力
        ダウンロードしたCSVファイルに関して、必要な項目を入力します。
      6. 再アップロード
        入力が完了したCSVファイルに関して、CSVアップロード ボタンよりアップロードを行います。
      7. 登録完了
        アップロードが完了しました のトーストが表示されます。アップロードの進行状況・結果に関しては、別セクション アップロード履歴 から確認することができます。

      新規作成時のテンプレート詳細

      新規作成時に、ダウンロードするテンプレートは次のような構成になっています。

      • 対象がスキーマ・テーブルの場合
      カラム名 項目名 説明 編集対象
      service_name サービス名 登録したいサービスの名称（例：Snowflake、Athena、CSV） ○
      schema_physical_name スキーマの物理名 登録したいスキーマの名称 ○
      table_physical_name テーブルの物理名 登録したいテーブルの名称 ○
      • 対象がスキーマ・テーブル・カラムの場合
      カラム名 項目名 説明 編集対象
      service_name サービス名 登録したいサービスの名称（例：Snowflake、Athena、CSV） ○
      schema_physical_name スキーマの物理名 登録したいスキーマの名称 ○
      table_physical_name テーブルの物理名 登録したいテーブルの名称 ○
      column_physical_name カラムの物理名 登録したいカラムの名称 ◯

      新規登録のデータ例

      カラムまで含めた場合のアップロード用CSVの例を示します。

      service_name,schema_physical_name,table_physical_name,column_physical_name
      CSV,受注,製品別,システムID
      CSV,受注,製品別,購入年月日
      CSV,受注,製品別,製品ID
      CSV,受注,製品別,サポート終了年月日
      CSV,受注,製品別,顧客ID
      CSV,受注,製品別,金額
      CSV,受注,製品別,個数
      CSV,受注,製品別,返品個数
      CSV,受注,製品別,担当営業ID
      CSV,受注,製品別,備考
      CSV,製品,一覧,システムID
      CSV,製品,一覧,製品ID
      CSV,製品,一覧,製品名
      CSV,製品,一覧,販売開始年月日
      CSV,製品,一覧,販売終了年月日
      CSV,製品,一覧,開発部署ID
      CSV,製品,一覧,備考

      • サービス名は、基本的にsnowflakeやAthenaなどのデーターソース名を入力します。データソースがExcelやCSVなど（例えば購入したデータなど）の場合、CSVやExcelというデータソース名を入力します。任意の名称を入力することも可能です。
      • スキーマ名は、データソースがExcelやCSVなどの場合、ファイル名やシステム名などデータを区別できる名称にします。

      一回のCSVファイルのアップロードに対して、同一名称の異なるスキーマを区別して登録することはできません。また、異なるサービス名に対して同一名称のスキーマを1度のアップロードで登録することはできません。（上記テンプレートの入力例で、例えば、service_name：EXCEL、schema_physical_name：製品、の行を追加して同時に登録することはできません。アップロードを2回にわけることで、それぞれ新規に登録することが可能です。）

      アセットの追加

      一括でアセットの追加を行う場合に利用します。

      add

      登録手順

      1. 操作
        追加 を選択します。
      2. 対象
        追加するアセットの対象（どのアセットの配下に追加するか）を選択します。以下の3種類から選択することができます。
          • 新規テーブルを既存スキーマに追加
          • 新規カラムを既存テーブルに追加
          • 新規テーブル・カラムを既存スキーマに追加
      3. ソース
        追加 の場合は、CSV のみの選択となります。
      4. ダウンロード
        テンプレートをダウンロード よりテンプレートになるCSVファイルをダウンロードします。
      5. ご自身でデータの入力
        ダウンロードしたCSVファイルに関して、必要な項目を入力します。
      6. 再アップロード
        入力が完了したCSVファイルに関して、CSVアップロード ボタンよりアップロードを行います。
      7. 登録完了
        アップロードが完了しました のトーストが表示されます。アップロードの進行状況・結果に関しては、別セクション アップロード履歴 から確認することができます。

      追加時のテンプレート詳細

      追加時に、ダウンロードするテンプレートは次のような構成になっています。

      • 対象が、新規テーブルを既存スキーマに追加の場合
      カラム名 項目名 説明 編集対象
      parent_schema_id スキーマのグローバルID 親となるスキーマのグローバルID  
      url URL QDC上の該当スキーマにアクセスできるURL  
      path パス スキーマ名/テーブル名/カラム名 の階層構造
      この場合、スキーマ名のみ表示されます。      		  
      table_physical_name テーブルの物理名 各スキーマに登録するテーブルの物理名 ◯

      ※QDC = Quollio Data Catalog

      • 対象が、新規カラムを既存テーブルに追加の場合
      カラム名 項目名 説明 編集対象
      parent_table_id テーブルのグローバルID 親となるテーブルのグローバルID  
      url URL QDC上の該当テーブルにアクセスできるURL  
      path パス スキーマ名/テーブル名/カラム名 の階層構造
      この場合、スキーマ名/テーブル名、が表示されます。      		  
      column_physical_name カラムの物理名 各テーブルに登録するカラムの物理名 ◯

      ※QDC = Quollio Data Catalog

      追加時のデータ例

      新規登録で示した例のschema_physical_name：製品、table_physical_name：一覧、に対してカラム（金額、タイムスタンプ）を追加する場合は、次のようになります。

      parent_table_id,url,path,column_physical_name
      tbl-xxx,https://app.quollio.com/data-catalog/table/tbl-xxx,製品/一覧,金額
      tbl-xxx,https://app.quollio.com/data-catalog/table/tbl-xxx,製品/一覧,タイムスタンプ

      アセットの編集

      編集 を行う場合を説明します。ユーザーは、QDC上に既に登録されたアセットに関して、一括で編集を行うことができます。

      edit

      登録手順

      1. 操作
        編集 を選択します。
      2. 対象
        編集するアセットの対象を選択します。スキーマ・テーブル・カラム・BIグループ、ダッシュボード、シート、もしくは指定のテーブルから複数選択することができます。
      3. ソース
        編集 の場合は、CSV・Metadata Agent から複数選択が可能です。
      4. ダウンロード
        • テンプレートをダウンロード よりテンプレートになるCSVファイルをダウンロードします。
        • CSVファイルはスキーマ、テーブル、カラムごとに別れています。
      5. ご自身でデータの入力
        ダウンロードしたCSVファイルに関して、必要な項目を入力します。
      6. 再アップロード
        入力が完了したCSVファイルに関して、CSVアップロード ボタンよりアップロードを行います。
      7. 登録完了
        アップロードが完了しました のトーストが表示されます。アップロードの進行状況・結果に関しては、別セクション アップロード履歴 から確認することができます。

      編集時のテンプレート詳細

      編集時に、ダウンロードするテンプレートは、対象の選択項目に関わらず、次のような構成になっています。

      カラム名 項目名 説明 編集対象
      target_id ターゲットID 編集を行う対象アセットのグローバルID
      スキーマの場合：schm-で始まる
      テーブルの場合：tbl-で始まる
      カラムの場合：clmn-で始まる      		  
      url URL QDC上の該当アセットにアクセスできるURL  
      parent_schema_id 親スキーマID 編集を行う対象アセットの、親スキーマのグローバルID  
      path パス スキーマ名/テーブル名/カラム名 の階層構造  
      service_name サービス名 編集を行う対象アセットのサービス名  
      object_type オブジェクトタイプ 編集を行う対象アセットのオブジェクトタイプ
      スキーマの場合：schema
      テーブルの場合：table
      カラムの場合：column      		  
      is_csv_imported CSVインポートフラグ 編集を行う対象アセットがCSVでインポートされたかどうかを示すフラグ  
      logical_name 論理名 編集を行う対象アセットの論理名 ◯
      description 概要 編集を行う対象アセットの概要 ◯
      プロパティセット名/プロパティ名 ー 設定したプロパティセット名とプロパティ名が表示されます。
      プロパティセット名=基本情報、プロパティ名=型の場合のカラム名：基本情報/型      		 ◯

      ※QDC = Quollio Data Catalog

      編集時のデータ例

      カラムの場合は、次のようになります。プロパティセットに対し基本情報、プロパティに対し桁・型・備考を設定している例です。

      target_id,url,parent_schema_id,path,service_name,object_type,is_csv_imported,logical_name,description,基本情報/型,基本情報/桁,基本情報/備考
      clmn-xxx,https://app.quollio.com/data-catalog/column/clmn-xxx,schm-xxx,製品/一覧/システムID,CSV,column,true,,システムを区別するユニークなID,文字列,12,
      clmn-xxx,https://app.quollio.com/data-catalog/column/clmn-xxx,schm-xxx,製品/一覧/製品ID,CSV,column,true,,製品を区別するユニークなID,文字列,12,
      clmn-xxx,https://app.quollio.com/data-catalog/column/clmn-xxx,schm-xxx,製品/一覧/製品名,CSV,column,true,,,文字列,255,sから始まる製品は・・・

      例のように、logical_nameや基本情報/備考に対して空欄があっても問題ありません。

      プロパティに設定する種類によっては、入力内容に制限が生じます。例えば、単一選択が設定されていた場合、プロパティ設定で定義された選択肢の値のみが登録できます。
      プロパティの種類については、種類とユーザー入力の関係をご確認ください。

      プロパティの部分に入力する値については、下記をご参照ください。

      種類 記入方法 例
      単一選択 選択肢の設定内容のいずれか1つの値を入力します。 a, b, cを選択肢として設定していてaを入力する場合：a
      ※その他の値を入力した場合は、エラーが発生
      複数選択 選択肢の設定内容のいずれかの値を入力します。 a, b, cを選択肢として設定していてa, bを入力する場合："a,b"（a, bを入力する）
      ※その他の値を入力した場合は、エラーが発生
      自由入力 任意の文字列を入力します。  
      ユーザー QDC上のユーザーメールアドレスを入力します。 abcd@quollio.com
      アセット QDC上のアセットのグローバルIDを入力します。 clmn-12345678-xxxx-xxxx-1234-123456789012
      日時 日付と時刻を入力します。 2023-01-18T02:58:34.387923936Z
      URL URLを入力します。 https://quollio.com

      ※QDC = Quollio Data Catalog