Metadata Agent for Databricksに必要なCloudFormationテンプレート、Parameter Storeの情報、および取得するメタデータについて
CloudFormationテンプレート
テンプレートのご利用には、Quollio Data Intelligence Cloudへの事前登録が必要です。詳しくは、お問い合わせ | 株式会社Quollio Technologies ページよりご連絡ください。
※基盤環境は全てのAgentから共通で使用するため、すでに存在している場合は構築不要です。
※「QT」は会社としてのQuollio Technologies、「QDIC」は製品のQuollio Data Intelligence Cloudを指します。
Parameter Store一覧
| パラメータストア名 | 概要 |
|---|---|
| /quollio/company_id | QTから提供されるCompany ID |
| /quollio/databricks/default/host | Databricksのワークスペースのドメイン。例）dbc-xxxxxxx-xxxxx.cloud.databricks.com |
| /quollio/databricks/default/warehouse_id | SQL WarehouseのID。例）c12b34567f891011 |
| /quollio/databricks/default/client_id | Service PrincipalのClient ID |
| /quollio/databricks/default/client_secret | Service PrincipalのClient Secret |
アセット種別の対応関係
| Databricks | Quollio Data Intelligence Cloud |
|---|---|
| Catalog | Schema（スキーマ） |
| Schema | Schema（スキーマ） |
| Table | Table（テーブル） |
| View | Table（テーブル） |
| Column | Column（カラム） |
取得するメタデータ
| INFORMATION_SCHEMA | 取得するメタデータ |
|---|---|
| CATALOGS |
CATALOG_NAME, COMMENT |
| SCHEMATA |
CATALOG_NAME, SCHEMA_NAME, COMMENT |
| TABLES |
TABLE_CATALOG, TABLE_SCHEMA, TABLE_NAME, TABLE_TYPE, COMMENT |
| COLUMNS |
TABLE_CATALOG, TABLE_SCHEMA, TABLE_NAME, COLUMN_NAME, ORDINAL_POSITION, DATA_TYPE, COMMENT |
| SQL | 取得するメタデータ |
|---|---|
| SHOW CREATE TABLE | DDL statement |
| DESCRIBE TABLE | table size, row count |