Metadata Agentとは？

Metadata Agentの概要や仕組みについて

Metadata Agent は、データソース内のメタデータを抽出してカタログに登録するコンテナイメージと、その実行環境となるAWS Batchを中心としたAWSリソース群のことを総称したヘッドレスアプリケーションです。お客様のAWSアカウント内に構築されたMetadata Agentから、Quollio Data Intelligence CloudへメタデータをPushすることで、データソース側にはインバウンドトラフィックの解放を必要としない、One-wayのインテグレーションを実現しています。

Metadata Agentは、以下を留意して設計されています。

• データソースへの接続情報やクレデンシャルは、お客様側のAWS Systems Manager Parameter Storeに登録し、Quollioでは管理を行わない。

• Assume Roleを使用したお客様側のAWS環境からQuollio側のAWS環境へアカウントレベルでのアクセスコントロールを強制。

• 主にInformation SchemaやSystem viewから取得できるメタデータのみをREFERENCE権限で収集。集計処理などデータソースへの負荷をかけ、SELECT権限を必要とする処理はできるだけ避ける。

• Quollio提供のCloudFormationテンプレートを使用し、作成するAWSリソースを透明化、および構築コストを軽減。