このドキュメントでは、当社が提供するサービス「Quollio Data Intelligence Cloud」の概要と、このドキュメントサイトでも頻出する基本用語について説明します。
この説明の対象ユーザー
当社サービスについて
Quollio Data Intelligence Cloud(QDIC)
当社(株式会社Quollio Technologies)が提供する、エンタープライズ向けメタデータ管理ソリューションのサービスをいいます。略称をQDICといい、このドキュメントサイトでもサービスを示す用語として「QDIC」と表記します。
QDICでは、主に以下の機能を提供しています。
- データカタログによるメタデータ管理、ビジネスメタデータの管理と運用
- データリネージとデータ品質の可視化
- 運用の自動化とワークフローによりデータガバナンスのシステム化を支援
- コネクタによる、ユーザー組織が管理するサービスに存在するテクニカルメタデータの連携
QDICは、当社が管理するクラウド環境でユーザー組織に割り当てられた論理的に分離された専用の領域(これを「テナント」といいます。)からインターネット経由でSaaS(サービスとしてのソフトウェア)として提供されています。コネクタはユーザー組織のクラウドまたはオンプレミス環境に配置され、ユーザー組織の管理者または環境運用者が管理しています。
サービス構成 - 全体概要とデータのフロー
以下の図は、ユーザー組織のサービスからテナントへのメタデータ反映のフローを示しています。QDICのユーザーとその役割分類も示しています。
サービスの構成 - テナントから提供される機能
当社はテナントから以下の機能を提供しています。
カタログ
ユーザー組織内のメタデータが登録される領域をいいます。カタログに登録されたメタデータの管理は、管理者または運用者が行っています。
ワークスペース
利用者がカタログを参照したり、運用者がカタログに登録されたメタデータを更新するなど維持管理を行うユーザーインタフェース(画面)です。ユーザーPCのWebブラウザからアクセスします。
管理者または運用者は、テナント設定の管理もワークスペースから行います。
コネクタは当社が提供するプログラムですがテナントに配置されません。
サービスの構成 - ユーザー組織で運用する機能
コネクタ
ユーザー組織が管理する製品またはサービス(データウェアハウス、ビジネスインテリジェンス等)から、メタデータを取得しカタログに反映するプログラムです。コネクタの種類は以下の通りです。
- ユーザー組織が管理するAWS VPCにサービス別に構築されるエージェント
- ユーザー組織が管理するクラウドコンピューティング環境またはオンプレミス環境に構築されるスキャナ
コネクタは、サービスからテクニカルメタデータを取得してカタログに反映します。一部のサービスからは、後述のリネージおよび統計情報を取得してカタログに反映します。
コネクタの動作環境の構築やコネクタの運用管理は、ユーザー組織の管理者または環境運用者が行っています。(コネクタは当社が提供するプログラムですがテナントに配置されず、当社は運用管理を行いません。)
役割によるユーザーの分類
QDICではユーザーを役割によって分類しています。役割は、ユーザーが所属するユーザーグループに設定されます。詳細は、以下を参照してください。各ユーザーの役割
利用者
原則としてカタログを利用するユーザーの総称で、具体的にはコントリビュータ、閲覧者、ゲスト閲覧者の3つの役割に分類されます。利用者は、カタログからアセットやメタデータを探索し参照します。
利用者を市民ユーザーともいいます。
運用者
アセットおよびメタデータを運用管理する役割を担い管理者を支援するユーザーの総称で、具体的にはデータスチュワード、データスチュワード補佐、開発者の3つの役割に分類されます。カタログに関する利用者からの問い合わせに対応する役割も担います。
運用者を統制ユーザーともいいます。
管理者
カタログに対する全ての操作と、すべてのテナント設定の操作が可能なユーザーです。
管理者を統制ユーザーともいいます。
環境運用者
コネクタをユーザー組織の環境に構築したり、コネクタを運用管理するユーザーです。テナントに登録されるユーザーではないため、QDICに該当する役割名はありませんが、管理者の役割を持つユーザーが環境運用者となることを想定しています。QDICのユーザーではない人が環境運用者となる場合は、管理者と協業してコネクタとその動作環境を保守します。
ワークスペースから参照できる情報
以下の図は、カタログにある主な情報を示しています。ユーザーは、ワークスペースからこれらの情報を参照します。(カスタムカテゴリはカタログの構成要素ではありませんが、便宜上、カタログ内に表記しています。)
サービス
後述のアセットの供給元をサービスといい、QDICが対応する製品またはサービスを示しています。例えばデータソースがSnowflake社のデータウェアハウスサービスである場合、サービス名はSnowflakeとなり、ワークスペースにログインするとアセット総数と共にホーム画面に表示されます。
サービスは1つ以上の接続元ホストまたはデータウェアハウスに基づくデータソースで構成されています。
アセット
カタログで管理される対象物をいいます。スキーマ、テーブル、カラム、ダッシュボード、シートなど、ユーザー組織のサービスで定義されたデータの論理的な構造を示すメタデータがアセットに相当します。
メタデータ
アセットに関する情報です。ユーザー組織のサービスから取得したテクニカルメタデータの他、運用者がQDICの機能を用いて更新した詳細メタデータ(概要、所有者、作成日、更新日など)の他、後述するリネージ、統計情報、カスタムプロパティを用いて更新したビジネスメタデータも含みます。
プロパティ
アセットの属性情報で、ユーザーがニーズに応じて独自に属性を定義し値を設定するカスタムプロパティをいいます。プロパティもメタデータの一種です。
リネージ
アセット間のデータの流れや変換を追跡する系譜情報を示すメタデータで、カタログからアセットを参照することで確認できます。ビューがどのテーブルから生成されたか、また、テーブルやビューがどのレポートで利用されているかなど、上流(アップストリーム)と下流(ダウンストリーム)の関係性を可視化した情報です。前掲の図ではカタログ内の青色太線がリネージに該当します。
統計情報
統計計算によって算出されたデータの特徴や傾向を示すメタデータで、カタログからアセットを参照することで確認できます。統計情報は、データ分析や意思決定の根拠のひとつとして利用されます。また履歴から異常値を検出するなど、データ品質の確認にも利用されます。
タグ
アセットを分類し整理するためのラベルです。タグはグループ化され、かつ親子階層を持っています。タグもメタデータの一種です。
カスタムカテゴリ
アセットを付与されたタグに基づきグループ化したものです。利用者はワークスペースからカスタムカテゴリにアクセスすると、運用者が定義した分類に従ってアセット群にまとめてアクセスできます。