このドキュメントでは、当社が提供するサービス「Quollio Data Intelligence Cloud」の概要と、このドキュメントサイトでも頻出する基本用語について説明します。
この説明の対象ユーザー
当社サービスについて
Quollio Data Intelligence Cloud(QDIC)
株式会社Quollio Technologies(以下、当社)が提供する、エンタープライズ向けのデータカタログソリューション(略称として、QDICと呼ばれます。)です。データカタログとは、組織内に散在するデータについての説明情報(データのデータ、これをメタデータといいます)を収録し、検索できる状態で一元管理する仕組みです。
QDICは、主に次の機能を提供しています。
- メタデータの管理、およびビジネスメタデータの管理と運用(ビジネスメタデータの継続的な更新を含む)
- データリネージとデータ品質の可視化
- 運用自動化と一連の処理によるデータガバナンスのシステム化
- コネクタによる、ユーザー組織が管理するサービス内のテクニカルメタデータとの連携
QDICは、当社が管理するクラウド環境上で、インターネット経由のSaaS(サービスとしてのソフトウェア)として提供されます。ユーザー組織には、この環境内で論理的に分離された専用の領域が割り当てられます。これを「テナント」といいます。
コネクタは、ユーザー組織自身のクラウドまたはオンプレミス環境に配置され、ユーザー組織の管理者または環境運用者が管理します。
サービス構成
以下の図は、当社サービスの全体概要を示しています。
テナントで提供する機能
当社は、テナントで以下の機能を提供しています。
カタログ
ユーザー組織内のメタデータが収録される領域です。メタデータは、管理者または運用者が管理します。
ワークスペース
利用者がカタログを閲覧したり、運用者がメタデータを更新したりするための、ユーザーインタフェース(画面)です。ユーザーPCのWebブラウザからアクセスします。
管理者または運用者は、カタログの管理や、テナントの設定もワークスペースから行います。
ユーザー組織で運用する機能
コネクタ
コネクタとは、当社が提供するプログラムで、ユーザー組織が管理する製品またはサービス(データウェアハウス、ビジネスインテリジェンス等)から、メタデータを取得しカタログに収録します。
コネクタには、次の2種類があり、いずれもユーザー組織の環境に配置します。(テナントには配置されません。)
-
エージェント
ユーザー組織が管理するAWS環境(VPC)に、サービス毎に構築します。 -
スキャナ
ユーザー組織が管理するクラウドコンピューティング環境(クラウドベンダーを問いません)またはオンプレミス環境に構築します。
役割によるユーザーの分類
QDICではユーザーを役割によって分類しています。役割は、ユーザーが所属するユーザーグループに設定されます。詳細は、以下を参照してください。各ユーザーの役割
利用者
原則としてカタログを利用するユーザーの総称で、具体的にはコントリビュータ、閲覧者、ゲスト閲覧者の3つの役割に分類されます。利用者は、カタログからアセットやメタデータを探索し、参照します。
利用者を市民ユーザーともいいます。
運用者
アセットおよびメタデータの運用管理を担い、管理者を支援するユーザーの総称です。具体的には、データスチュワード、データスチュワード補佐、開発者の3つの役割に分類されます。カタログに関する利用者からの問い合わせに対応する役割も担います。
管理者
カタログに対するすべての操作と、すべてのテナント設定の操作が可能なユーザーです。
運用者と管理者を合わせて、統制ユーザーといいます。
環境運用者
他の3つの役割とは異なり、テナントに登録される役割ではありません。コネクタをユーザー組織の環境に構築したり、運用管理したりするユーザーを指します。QDICに該当する役割名はありませんが、管理者の役割を持つユーザーが環境運用者となることを想定しています。QDICのユーザーではない人が環境運用者となる場合は、管理者と協業して、コネクタとその動作環境を保守します。
ワークスペースから閲覧できる情報
以下の図は、カタログにある主な情報を示しています。ユーザーは、ワークスペースからカタログに収録された情報を閲覧します。(カスタムカテゴリはカタログの構成要素ではありませんが、便宜上、カタログ内に表記しています。)
サービス
アセットの供給元となる、ユーザー組織が管理する製品またはサービス(データウェアハウス、ビジネスインテリジェンス等)を示しています。例えばデータソースがSnowflake社のデータウェアハウスである場合、サービス名はSnowflakeとなり、ワークスペースにログインするとアセット総数と共にホーム画面に表示されます。
アセット
カタログで管理される対象物(エンティティ)です。ユーザー組織の製品またはサービス(データウェアハウス、ビジネスインテリジェンス等)に存在するスキーマ、テーブル、カラム、ダッシュボード、シートなどが該当します。
メタデータ
アセットに関する情報です。次の3種類に分類されます。
-
テクニカルメタデータ
データの構造や定義を説明する情報です。テーブル定義、カラム名、データ型、キー情報のほか、データ型やカラム定義に付随する静的な統計情報(最大値、最小値など)、および後述するリネージも含まれます。 -
オペレーショナルメタデータ
データの運用に関する履歴や状態を説明する情報です。アクセスログ、処理件数、実行時間、最終更新日時のほか、再計算される動的な統計情報(欠損率、分布の歪みなど)も含まれます。 -
ビジネスメタデータ
データの意味、定義、背景、利用ルール等、データの文脈(コンテキスト)を説明する情報です。アセットの詳細として収録される他、タグやカスタムプロパティによって付与されます。
プロパティ
アセットの属性情報です。ユーザーがニーズに応じて独自に属性を定義し値を設定することから、カスタムプロパティとも呼ばれます。プロパティは、ビジネスメタデータの一種です。
リネージ
アセット間のデータの流れや変換を追跡する系譜情報を示すテクニカルメタデータです。テーブルがどのテーブルから生成されたか、また、テーブルがどのレポートで利用されているかなど、データがどこから発生し、どのような加工や変換を経て、最終的にどこで使われているかを示すデータの経路です。
統計情報
統計計算によって算出されたデータの特徴や傾向を示すテクニカルメタデータ、またはオペレーショナルメタデータです。統計情報は、データ分析や意思決定の根拠のひとつとして利用されます。また履歴から異常値を検出するなど、データ品質の確認にも利用されます。
タグ
アセットを分類し整理するためのラベルです。タグはグループ化され、かつ親子階層を持っています。タグもビジネスメタデータの一種です。
カスタムカテゴリ
アセットを付与されたタグに基づきグループ化したものです。利用者はワークスペースからカスタムカテゴリにアクセスすると、運用者が定義した分類に従ってアセット群にまとめてアクセスできます。