tech系

5分で読める

2019/08/05 2022/02/18

【Next’19 Tokyo レポート】次世代BI Lookerによる新しいデータプラットフォームへの転換

こちらの記事は弊社技術ブログに掲載していた内容となります。一部を除き、投稿当時の情報となりますので、紹介内容の最新情報については別途公式情報等をご参照下さい。

7/30~8/1に行われたGoogle Cloud Next ’19 Tokyoというイベントに参加してきました。
このイベントはGoogle Cloudに関する様々な発表、ハンズオンラボ、交流の場となっています。本記事は会場で数多く行われたセッションの一部のレポート記事です。

本記事で紹介するセッションは8/1に行われたLookerの小澤さんの「次世代BI Lookerによる新しいデータプラットフォームへの転換」です。

セッション情報

8/1 13:20~14:00＠ザ・プリンスパークタワー東京
speaker:小澤正治（Looker vice president）
発表動画→こちら

LookerのミッションはGoogleと似ている？！

「データをスマートに活用することによりユーザがより多くの事を行えるようにする」
Googleのミッションである「世界中の情報を整理し、世界中の人々がアクセスできて使えるようにすること」と非常に似ていることが印象的でした。

データ分析民主化≠視覚化

本セッションのメインテーマとなる重要なことが
データ分析民主化≠視覚化です。
多くの方がフォーカスしがちなデータの視覚化はLookerにとっては最重要ではないようです。

データの視覚化の重要度は意外と低い

データ周りの工程は
ETL、Modeling、Measure 80％
Dashboards,Delivery（実際の視覚化） 20％！！！
視覚化は工程において少なめであり、その前の処理パイプラインが非常に重要であることを示唆しています。

データ民主化の前提としてデータは常に変化する

データソースは変化するものである。
ボリュームは増え、利用者も増え、データ活用方法も変化する。

データボリューム、データソース、データガバナンス

データは常に収集されているものの、69％の企業がデータを十分に活用できていないと感じている。

データの肥大化

2025年までに世の中に存在するデータは175ゼタバイトに肥大化すると予測されています。増大したデータどう使いこなすのかが重要となってくる。
2018年〜2023年までに5億個の新しいビジネスアプリケーションが生まれる。また、データ収集が前提としたアプリが多く現れ、特にSaaSアプリの増大すると予想されています。

エンタープライズと呼ばれる規模の企業では1,100以上のSaaSアプリケーション使用しています。小さな会社でも多くのアプリケーションを利用しています。その中で、一個のアプリを前提とした動きではなく、全体を俯瞰して、適切な場合に適切なアプリケーションを使うことが必要となってきます。

データハングリー

データの利用は特定部門から、すべての職種へと拡大します。
– 使う人の増大
– ユースケースの増大

これは非常に共感します。営業などの職種でもデータを活用することで業績を上げている方は多いのではないでしょうか？

データの品質

【業務課題：データ民主化によるデータ定義の反乱、データの一貫性の維持】

色んな人が一貫性のないオペレーションをすることで、データが一貫性を保てなくなる。
例えば一部に編集が加えられたデータやコピーデータなどが社内に氾濫することが例として挙げられるかと思います。
これにより、データの品質が保てなくなります。

データ活用の高度化

データを活用している企業は収益が増大します。
（ユニコーン企業のIPOが参考：Uberなど）

分析機能の組み込みは自然な流れ？

経済合理性：開発コストと「組み込み」コストの比較
が重要となる。
テック領域のビジネスインパクトで考えると以下のようにすることが合理的です。
– エンジニアリソースをコアバリューに集中
– 自社サービスが生み出すデータの価値を最大化
– アプリケーション間遷移を減らし、ワークフローを簡素化
– 付加価値向上によるサービス定着化
– コミュニケーションコストの低減

データ俯瞰のニーズ

ブレインパッドの事例を紹介されました。

変貌する働き方への対応

労働時間の減少を目指すも実際の生産性はどうなのか？が焦点となる。

生産性の向上

労働効率・労務費削減を目指す企業が多いと思います。
そのためにはアプリケーションに縛られず、最適なワークフローの構築を目指す必要があります。

将来のための指針

データドリブンな従業員
SaaSアプリケーションの浸透
いろんなアプリに柔軟に対応する。
最新のデータウェアハウス
性能は自社で使っているデータベースの性能に依存するはず。

以上の3点がデータの観点から見た変化する働き方への対応に必要なこととして紹介されました。

Lookerの特徴

ここから実際にLookerの説明に入りました。
– Noデータアップロード
BIツールのパフォーマンス改善、ユーザの自社データベースの利用する。
– LookMLでデータロジックの一元管理
データの一貫性を担保する。
データ定義のメンテナンスコストの削減する。
– 共有・コラボレーション
既存コラボツール（Slackなど）を中心としたワークフローの設計を可能とする。

LookML

SQLの抽象化でLookerに情報を提供してくれます。
データベースとユーザ間にモデルレイヤーを作成(ハブレイヤー)することで、ブラックボックス化しつつあった指標群を中央管理可能にした。

データデリバリー

コネクタは一切なし。コネクタをそれぞれのプロダクト用に準備するのは非効率のため無しとなった。
基本的にAPIを叩くことで利用します。
110％のAPIカバレッジを謳っていたことが印象的でした。

事例紹介

リクルートマーケティングパートナーズの事例
– LookMLで可読性と検索性の向上、更にデータ指標定義が一元化
– コストメリット・データガバナンスとデータの民主化
– 不要なDWHの二重投資
– Slackで社内コミュニケーションが簡潔
– API連携
– ユーザレポート活用で、業務定着を可視化

構成に導入されたハブレイヤー

データの流れ
スキルやカルチャーとのFit
運用のFit
以上を重視したためにハブレイヤーの導入を行った。

Lookerの特徴まとめ

データ加工、定義化に特化し、視覚化・分析・外部レポーティングなど様々なユースケースを実現しています。データベースを持たないため、Looker側が分析パフォーマンスボトルネックにならないアーキテクチャとなっています。
LookMLでSQLを抽象化したデータ定義することで、ビジネスユーザはSQLを意識せずにデータ加工などを利用可能にしています。
また、Git連携により、データ定義の透明化、属人性を排除しています。

まとめ

データ分析の民主化に向けて以下のことが重要であると述べていました。
– データソースも利用者も含めて、データ活用方法は移り変わることを意識する
– データの可視化はゴールではなく出発点。過去データを見て終わりではなく、正確なデータをリアルタイムに捉え、サービスへ転換する
– ツールにワークフローを含めるのではなく、理想的なワークフローにツールを寄せる

感想

6月にGoogleに買収され、話題となったLookerのセッションを聴きに行きました。
本セッションでテーマとなったのはデータ分析民主化です。データを中心としたビジネスフローが増えるはずの社会のなかで、データの可視化ではなく、加工など含めたデータの流れ全体を重要視する視点を持つことは非常に重要だと感じています。
Google Cloud Nextのセッションの中で働き方改革まで言及された貴重なセッションでした。

この記事を共有する