CSVファイルによるデータソース管理 - 旧ドキュメント

  • 更新
フォローする

この機能を使用できるユーザー

admin-line.png
管理者・運用者

 

CSVファイルによるデータソース管理

データソース管理から、ファイルをインポートすることで、以下の情報を作成・更新・編集できます。

  • アセット
    • 概要
    • 論理名
    • カスタムプロパティ
    • 他

ファイルによるアセット管理では、Metadata Agentによって登録されたアセットの概要、プロパティ等を更新することもできます。

 

データソース管理へのアクセス

プロパティ設定画面は、設定 » アセット管理 » データソース管理 を選択します。

 

アセットの新規作成

BIグループ、ダッシュボード、シートの新規作成は、ファイルインポートではできません。

 

データソースの追加

  1. 画面右上の新規データソースの追加ボタンをクリックします。
  2. テンプレートをダウンロードボタンをクリックします。次にテンプレートに含める情報を選択して、ダウンロードボタンをクリックします。
  3. ブラウザを開いているPCにテンプレートがダウンロードされます。
  4. ダウンロードしたテンプレートにアセットの必要情報を記入して保存します。
  5. 再び、画面右上の新規データソースの追加ボタンをクリックします。
  6. テンプレートをダウンロードボタンをクリックし、サービス名を入力します。ファイルを選択ボタンをクリックして、手順４で作成したファイルを選択します。
  7. テンプレートをアップロードボタンをクリックして、データソースを作成し、アセットを登録します。
  8. データソース管理画面に、作成したデータソースが表示されることを確認します。

 

アセットの新規作成で使用するテンプレートについて

データソースの追加ボタンをクリックしてダウンロードするテンプレートは、次の構成です。

 

対象がスキーマ・テーブルの場合

カラム名 項目名 説明 編集対象
service_name サービス名

データソースのサービス名

Snowflake、Athena、CSV、Othersなど

 ✓
schema_physical_name スキーマの物理名 登録するスキーマの物理名 ✓
table_physical_name テーブルの物理名 登録するテーブルの物理名 ✓

 

対象がスキーマ・テーブル・カラムの場合

カラム名 項目名 説明 編集対象
service_name サービス名

データソースのサービス名

Snowflake、Athena、CSV、Othersなど

 ✓
schema_physical_name スキーマの物理名 登録するスキーマの物理名 ✓
table_physical_name テーブルの物理名 登録するテーブルの物理名 ✓
column_physical_name カラムの物理名 登録するカラムの物理名 ✓
 
 

 

新規追加のデータ例

カラムまで含めた場合の、アップロード用CSVファイルの例を示します。

service_name,schema_physical_name,table_physical_name,column_physical_name
CSV,受注,製品別,システムID
CSV,受注,製品別,購入年月日
CSV,受注,製品別,製品ID
CSV,受注,製品別,サポート終了年月日
CSV,受注,製品別,顧客ID
CSV,受注,製品別,金額
CSV,受注,製品別,個数
CSV,受注,製品別,返品個数
CSV,受注,製品別,担当営業ID
CSV,受注,製品別,備考
CSV,製品,一覧,システムID
CSV,製品,一覧,製品ID
CSV,製品,一覧,製品名
CSV,製品,一覧,販売開始年月日
CSV,製品,一覧,販売終了年月日
CSV,製品,一覧,開発部署ID
CSV,製品,一覧,備考

留意事項

スキーマ名は、データソースをQDICがサポートするデータソース以外の場合、ファイル名やシステム名などデータを区別できる名称にします。

一回のCSVインポートに対して、同一名称の異なるスキーマを区別して登録することはできません。また、異なるサービス名に対して同一名称のスキーマを、１回のインポートで登録することはできません。インポートを複数回に分けることで、それぞれ新規に追加できます。

 

データソースの管理からできること

アセットの更新を含むデータソースの管理は、対象のデータソースの [アクション] から、それぞれ次のアイコンをクリックして行います。

  • CSV出力
    • データソースから、アセット情報をCSV形式でエクスポート（出力）します。出力したCSVファイルをテンプレートとして使用してデータを編集します。
  • CSV入力
    • データソースに、アセット情報をCSV形式でインポート（入力）します。ここからの入力は、アセットの部分更新です。更新できるのは、アセットの部分更新です。アセットの新規登録はできません。
  • 設定
    • データソースの設定を管理します。

 

アセットの追加

CSVのエクスポート（出力）

  1. 種類がagent以外のデータソースから、CSV出力アイコンをクリックします。CSV出力画面が表示されます。
  2. 出力対象のアセットを選択し、次へボタンをクリックします。次にテンプレートに含める情報と出力するCSVファイルの文字コード（エンコード）を選択して、CSV形式で出力ボタンをクリックします。
  3. 追加対象のデータソースをクリックします。
  4. エクスポート履歴をクリックして、今実行したリクエスト（エクスポート）のステータスが完了になるまで待ちます。
  5. ステータスが完了になった後、アクションからダウンロードアイコンをクリックして、CSVファイルをダウンロードします。ブラウザを開いているPCにCSVファイルがダウンロードされます。
  6. ダウンロードしたテンプレートにアセットの必要情報を記入して保存します。

CSVのインポート（入力）

  1. 種類がagent以外のデータソースから、CSV出力アイコンをクリックします。テンプレートをアップロード画面が表示されます。
  2. ファイルを選択ボタンをクリックし、CSVのエクスポート（出力）手順６で作成したファイルを選択して、テンプレートをアップロードボタンをクリックします。
  3. 確認画面が表示されるので、問題がなければ、続行してください。CSVのインポートが行われます。
  4. インポート履歴をクリックして、今実行したリクエスト（インポート）のステータスが完了になるまで待ちます。
 

アセットの追加で使用するテンプレートについて

CSV出力アイコンをクリックしてダウンロードするテンプレートは、次の構成です。

 

 

新規カラムを既存のテーブルに追加する場合

カラム名 項目名 説明 編集対象
parent_table_id テーブルのグローバルID

親となるテーブルのグローバルID

  
url URL 該当テーブルにアクセスできるURL  
path パス スキーマ名/テーブル名/カラム名 の階層構造
この場合、スキーマ名/テーブル名、が表示されます。		  
column_physical_name カラムの物理名 登録するカラムの物理名 ✓
 

追加のデータ例

新規追加例のschema_physical_name：製品、table_physical_name：一覧、に対してカラム（金額、タイムスタンプ）を追加する場合は、次のようになります。

parent_table_id,url,path,column_physical_name
tbl-xxx,https://app.quollio.com/data-catalog/table/tbl-xxx,製品/一覧,金額
tbl-xxx,https://app.quollio.com/data-catalog/table/tbl-xxx,製品/一覧,タイムスタンプ

 

アセットの編集

CSVのエクスポート（出力）

  1. CSV出力アイコンをクリックします。CSV出力画面が表示されます。
  2. 出力対象のアセットを選択し、次へボタンをクリックします。次にテンプレートに含める情報と出力するCSVファイルの文字コード（エンコード）を選択して、CSV形式で出力ボタンをクリックします。
  3. 編集対象のデータソースをクリックします。
  4. エクスポート履歴をクリックして、今実行したリクエスト（エクスポート）のステータスが完了になるまで待ちます。
  5. ステータスが完了になった後、アクションからダウンロードアイコンをクリックして、CSVファイルをダウンロードします。ブラウザを開いているPCにCSVファイルがダウンロードされます。
  6. ダウンロードしたテンプレートにアセットの必要情報を記入して保存します。

CSVのインポート（入力）

  1. CSV出力アイコンをクリックします。テンプレートをアップロード画面が表示されます。
  2. ファイルを選択ボタンをクリックし、CSVのエクスポート（出力）手順６で作成したファイルを選択して、テンプレートをアップロードボタンをクリックします。
  3. 確認画面が表示されるので、問題がなければ、続行してください。CSVのインポートが行われます。
  4. インポート履歴をクリックして、今実行したリクエスト（インポート）のステータスが完了になるまで待ちます。

 

アセットの追加で使用するテンプレートについて

CSV出力アイコンをクリックしてダウンロードするテンプレートは、次の構成です。

 

既存の情報を編集する場合

カラム名 項目名 説明 編集対象
target_id グローバルID

編集対象アセットのグローバルID

  
url URL 該当テーブルにアクセスできるURL  
parent_schema_id 親スキーマID 編集対象アセットの親スキーマのグローバルID  
path パス スキーマ名/テーブル名/カラム名 の階層構造  
service_name サービス名 編集対象アセットのサービス名  
object_type オブジェクトタイプ

編集を行う対象アセットのオブジェクトタイプ

  • スキーマの場合：schema
  • テーブルの場合：table
  • カラムの場合：column
  
is_csv_imported CSVインポートフラグ 編集対象アセットがCSVでインポートされたか示すフラグ  
logical_name 論理名 編集対象アセットの論理名 ✓
description 概要 編集対象アセットの概要 ✓
プロパティセット名/プロパティ名   設定したプロパティセット名とプロパティ名
プロパティセット名=基本情報、プロパティ名=型の場合のカラム名：基本情報/型		 ✓
 

編集のデータ例

カラムを編集する場合は、次のようになります。プロパティセットに対し基本情報、プロパティに対し桁・型・備考を設定している例です。

target_id,url,parent_schema_id,path,service_name,object_type,is_csv_imported,logical_name,description,基本情報/型,基本情報/桁,基本情報/備考
clmn-xxx,https://app.quollio.com/data-catalog/column/clmn-xxx,schm-xxx,製品/一覧/システムID,CSV,column,true,,システムを区別するユニークなID,文字列,12,
clmn-xxx,https://app.quollio.com/data-catalog/column/clmn-xxx,schm-xxx,製品/一覧/製品ID,CSV,column,true,,製品を区別するユニークなID,文字列,12,
clmn-xxx,https://app.quollio.com/data-catalog/column/clmn-xxx,schm-xxx,製品/一覧/製品名,CSV,column,true,,,文字列,255,sから始まる製品は・・・

 

留意事項

例のように、論理名、基本情報/備考に空欄（設定無し）を含むことは問題ありません。

プロパティに設定する種類によっては、入力内容に制限が生じます。例えば、単一選択が設定されていた場合、プロパティ設定で定義された選択肢の値のみが登録できます。

プロパティの入力例
プロパティの種類 例とエラー発生パターン
単一選択

a, b, cを選択肢として設定している場合

入力例：a

a, b, c以外を入力するとエラーが発生します。
複数選択

a, b, cを選択肢として設定している場合

a, bを入力する場合：""a,b""（a, bを入力する）
※その他の値を入力した場合は、エラーが発生します。
自由入力 任意の文字列
ユーザー QDIDに登録されているユーザーのメールアドレスを入力
アセット アセットのグローバルIDを入力
日時

日付と時刻を、以下の書式で入力

2023-01-18T02:58:34.387923936Z
URL URLを入力します。

 

留意事項

Metadata Agentが登録したアセットと、CSVインポートで新規に登録するアセットは、別のアセットとして認識されます。つまり、CSVインポートで新規に登録したアセットに対し、後からMetadata Agentで、当該アセットの情報（統計情報やDDL）を上書き更新することはできません。

この記事は役に立ちましたか？
0人中0人がこの記事が役に立ったと言っています

関連記事