Intelligence Agent for Databricksに必要なCloudFormationテンプレート、Parameter Storeの情報、および取得するメタデータについて
CloudFormationテンプレート
テンプレートのご利用には、Quollio Data Intelligence Cloudへの事前登録が必要です。詳しくは、お問い合わせ | 株式会社Quollio Technologies ページよりご連絡ください。
※基盤環境は全てのAgentで共通して利用可能なため、すでに存在している場合は構築不要です。
※「QT」は会社としてのQuollio Technologies、「QDIC」は製品のQuollio Data Intelligence Cloudを指します。
Parameter Store一覧
| パラメータストア名 | 概要 |
|---|---|
| /quollio/company_id | QTから提供されるCompany ID (テナントID) |
| /quollio/qdc_api_url | Quollio External APIのURL |
| /quollio/databricks/default/qdc_client_id | QDIC側で発行したクレデンシャルのクライアントID |
| /quollio/databricks/default/qdc_client_secret | QDIC側で発行したクレデンシャルのクライアントシークレット |
| /quollio/databricks/default/client_id | DatabricksのサービスプリンシパルID |
| /quollio/databricks/default/client_secret | Databricksのサービスプリンシパルのシークレット |
| /quollio/databricks/default/host | Databricksのワークペース名 |
| /quollio/databricks/default/http_path | Databricksで使用するSQL WarehouseのHTTP Path |
| /quollio/databricks/default/target_catalog | Intelligence agentで作成するビューのカタログ |
| /quollio/databricks/default/target_schema |
Intelligence agentで作成するビューのスキーマ |
| /quollio/databricks/default/target_tables |
Intelligence agentで作成するビュー名。以下の中から選択する
|
| /quollio/databricks/default/monitoring_table_suffix | 統計情報を格納するテーブルのサフィックス。デフォルト値として_profile_metricsを利用する |
Intelligence agent利用にあたり、下記の前提条件を満たす必要があります。
| 種類 | 前提条件 | リンク |
| 共通 | Unity Catalogを有効化する | |
| 記述統計 | レイクハウスモニタリングの機能を使用して、統計情報テーブルを作成する | |
| リネージ | システムテーブルを有効化して、lineageテーブルを作成する。 |
|
実行コマンドと必要な権限
| コマンド | 実行内容 | 必要な権限 |
|---|---|---|
| build_view |
intelligence agentで利用するビューを作成します。 作成されるビューの一覧は、下記を参照してください。 |
下記テーブルへのselect権限が必要となります。
|
| load_lineage | lineageデータをQDICに反映します。 |
下記ビューへのselect権限が必要となります。
|
| load_stats |
統計データをQDICに反映します。 |
レイクハウスモニタリングの機能を使用して作成したテーブルへのselect権限が必要となります。 |
build_viewコマンドで作成されるビューの一覧
| ビュー名 | 内容 | 元となるテーブル |
|---|---|---|
| quollio_lineage_table_level |
クエリ履歴から、テーブル(ビュー)間のリネージデータを生成します。 |
下記テーブルへのselect権限が必要となります。
|
| quollio_lineage_column_level | クエリ履歴から、カラム間のリネージデータを生成します。 |
下記テーブルへのselect権限が必要となります。
|
ソースコード
Intelligence Agentの実際のソースコードやSQLについては、以下のレポジトリをご確認ください。