Metadata Agent for Athenaに必要なCloudFormationテンプレート、Parameter Storeの情報、および取得するメタデータについて
CloudFormationテンプレート
CloudFormationテンプレートのご利用には、Quollio Data Intelligence Cloudへの事前登録が必要です。詳しくは、お問い合わせ | 株式会社Quollio Technologies ページよりご連絡ください。
※基盤環境は全てのAgentから共通で使用するため、すでに存在している場合は構築不要です。
※既存のワークロードと分離させるために、テンプレートの中でMetadata Agent専用のワークグループが作成されます。
※「QT」は会社としてのQuollio Technologies、「QDIC」は製品のQuollio Data Intelligence Cloudを指します。
Parameter Store一覧
| パラメータストア名 | 概要 |
|---|---|
| /quollio/company_id | Quollioから提供されるCompany ID |
アセット種別の対応関係
| Amazon Athena | Quollio Data Intelligence Cloud |
|---|---|
| Data Catalog | Schema（スキーマ） |
| Database | Schema（スキーマ） |
| Table | Table（テーブル） |
| View | Table（テーブル） |
| Column | Column（カラム） |
取得するメタデータ
| APIリクエスト | 取得するメタデータ |
|---|---|
| ListDataCatalogs | CatalogName |
| ListDatabases |
Description Name |
| ListTableMetadata *3 |
Name TableType Columns.Name Columns.Comment Columns.Type Parameters["comment"] Parameters["sizeKey"] Parameters["recordCount"] |
| SQL | 取得するメタデータ |
|---|---|
| SHOW CREATE TABLE <table>; | DDL statement |
| SHOW CREATE VIEW <view>; | DDL statement |
- *3: 主にAWS Glueをデータソースとしたテーブルのメタデータを取得します