Amazon Redshift

Metadata Agent for Redshiftに必要なCloudFormationテンプレート、Parameter Storeの情報、および取得するメタデータについて

CloudFormationテンプレートのご利用には、Quollio Data Intelligence Cloudへの事前登録が必要です。詳しくは、お問い合わせ | 株式会社Quollio Technologies ページよりご連絡ください。

※基盤環境は全てのAgentから共通で使用するため、すでに存在している場合は構築不要です。

※エンドポイント経由でプライベートサブネットのRedshiftクラスタにアクセスする場合、基盤環境で作成されたセキュリティグループのIDに対してポートの解放が必要です。

※「QT」は会社としてのQuollio Technologies、「QDIC」は製品のQuollio Data Intelligence Cloudを指します。

パラメータストア名	概要
/quollio/company_id	QTから提供されるCompany ID
/quollio/redshift/default/host	Redshiftクラスタのエンドポイントから、ポートとデータベース名を除いたもの。例）example.123456abcdef.ap-northeast-1.redshift.amazonaws.com
/quollio/redshift/default/port	Redshiftクラスタのポート
/quollio/redshift/default/username	Redshiftのユーザー名。カタログ化するデータベースやスキーマに対してRead権限があるユーザーを選択します。
/quollio/redshift/default/password	Redshiftのユーザーのパスワード
/quollio/redshift/default/database	Redshiftクラスタのデータベース名。ジョブ開始時に最初に仕様するデータベースを指定するためのパラメータであり、実際はクラスタ内でそのユーザーがアクセスできる全てのデータベースがカタログ化されます。

Amazon Redshift	Quollio Data Intelligence Cloud
Database	Schema（スキーマ）
Schema	Schema（スキーマ）
Table	Table（テーブル）
External Table	Table（テーブル）
View	Table（テーブル）
Materialized View	Table（テーブル）
Column	Column（カラム）

System Views / Catalog Tables	取得するメタデータ
SVV_REDSHIFT_DATABASES	database_name
SVV_ALL_SCHEMAS	database_name schema_name
SVV_REDSHIFT_TABLES	database_name schema_name table_name remarks table_type
SVV_TABLES	table_catalog table_schema table_name remarks
SVV_EXTERNAL_TABLES	redshift_database_name schemaname tablename
SVV_REDSHIFT_COLUMNS	database_name schema_name table_name column_name remarks
SVV_EXTERNAL_COLUMNS	database_name schema_name table_name column_name
SVV_COLUMNS	table_catalog table_schema table_name column_name data_type character_maximum_length ordinal_position remarks
PG_DATABASE_INFO	datname
pg_catalog.pg_namespace	oid nspname
pg_catalog.pg_class	oid relname relpages reltuples relnamespace relkind
pg_catalog.pg_description	objoid description