Metadata Agent本体のセットアップについて
はじめに
Quollioが提供する各種Agentは、AWS Batchを中心としたAWSリソース群で構成されており、それらを「共通基盤環境」と「Agent本体」の2つのAWS CloudFormationのテンプレートを使用して環境構築を行います。
本ガイドでは、Snowflakeを例として「Metadata Agent本体」のセットアップを行います。「Metadata Agent本体」は、対象とするデータソース1つにつき、基本的に1つ構築が必要です。
CloudFormationテンプレートのご利用には、Quollio Data Catalogへの事前登録が必要です。詳しくは、お問い合わせ | 株式会社Quollio Technologies ページよりご連絡ください。
パラメータストアにパラメータを登録する
Metadata Agent本体を構築する前に、データベースへの接続情報をAWS Systems Managerのパラメータストアに保存します。以下のリンクに記載されているパラメータを すべて 登録していきます。
AWS Systems Managerの画面より パラメータストア を選択し、 パラメータの作成 をクリックします。
名前 の欄にパス名、タイプは 安全な文字列 を選択し、 値 に対応する接続情報を入力してパラメータを作成します。
上記を繰り返し、必須の接続情報をすべて登録してください。
CloudFormationスタックの作成
Parameter Store設定後、下記のリンクをクリックし、CloudFormationスタック作成画面を開きます。
パラメータの入力画面では、パブリックIP割り当ての有効化やバッチジョブのスケジュールをcron形式で設定できます。（パラメータの種類は、データソースごとに異なります。）
"OverrideLogicalNameWithComment" というパラメータの詳細については、以下の表をご覧ください。
| 選択肢 | 説明 |
| ALWAYS | データソース側のコメント情報をサービス側の論理名として、バッチジョブ実行に毎回上書きする。データソース側のコメントを論理名のSSOT（Single Source of Truth）として運用しており、Quollio上では論理名の編集を全く行わない場合に選択。 |
| ONLY_NEW_ASSET | 新しいアセット（スキーマやテーブル、カラム）が追加されたタイミングでのみ、コメント情報を論理名として反映させる。データソース側のコメントは、論理名の参考情報として扱い、基本的にQuollio上で論理名の管理や修正を行いたい場合に選択。 |
| FALSE | 反映を行わない。（デフォルト値） |
上記のスタックが構築できれば、セットアップは完了です。
AWS Batchジョブの手動実行
試しにAWS Batchを手動で起動し、アセットを登録してみます。AWS Batchの左メニューより ジョブ定義 をクリックし、先ほど構築した quollio-snowflake をクリックします。
ジョブ定義の詳細が開いたら、右上の 新しいジョブを送信 をクリックします。
名前 の欄には任意の文字列を入力します。ジョブ定義 や ジョブキュー は今回構築したものを選択します。 以降のパラメータは全てデフォルト値のまま ジョブを作成 をクリックします。
画面が ジョブの詳細 に切り替わり、ジョブが開始されます。ステータスが SUCCEEDED になれば正常終了です。実行ログ ログストリーム名 から確認できます。
Quollioの画面に戻り、データソース側のスキーマやテーブル情報が登録されていることを確認してください。
以上でMetadata Agent本体のセットアップは完了です。