- tech系
忙しい人のための 【Google Cloud Next ’19 in Tokyo サマリー：BigQuery を活用した既存データ分析サービスのマイグレーションと新規事業開発事例】
目次
こんにちは。クラウドエース編集部です。
7/31 – 8/1で行われた Google Cloud Next ’19 in Tokyo。
YouTube で動画も続々とアップロードされていますが、動画を観る時間がない…要約だけ知りたい…
という方向けのセッションサマリーとなります。
本セッションは、クラウドエース会長の吉積、CTOの高野も登壇いたしました。
ブレイクアウト セッション – 40 分 • D1-5-S04
BigQuery を活用した既存データ分析サービスのマイグレーションと新規事業開発事例
YouTube はこちら
BigQuery の可能性
クラウドエース株式会社 取締役CTO：高野 遼（宮崎県出身、30歳）
BQは高スケーラビリティで、コスト効率に優れたサーバーレスデータウェアハウス
データを BQ にアップロードだけでok
BQ の登場により、「当たり前」が変わった
- 全企業、個人までも高品質なDWHを低コストで保有可能
- MLをいつでも開始可能
- ランニングコストも使わなければゼロ
BQ：サーバーレス、高性能、BI Toolsとの協力な連携、リアルタイム分析
BigQueryMLできました。
- サーバーレスだからデータの収集や分析に注力できる！
- ペタバイト単位でシームレスにスケーリング
- 超高速インメモリ分析 BQ BI Engine
- 高速ストリーミング挿入APIで…
BQ BI Engine メモリ上で処理ができます＝サクサク動く（従来は小さなクエリでも数秒かかっていた）
BigQuery ML
- テーブルデータを用意して、
- 好きなものを予測
- 今あるデータを使ってトレーニング
- 活用
まとめ
- だれでもDWHを持てる
- データ活用のために基盤を整備する必要性
- 一度データが集まればすぐにMLを開始
→これを活用できるかどうかで、生まれる差についてどう捉えるか？
活用事例：パーソルキャリア様
パーソルキャリア株式会社 プラットフォーム事業本部 データ戦略統括部 データソリューション部 エキスパート：橋本 久
カウンセリング音声のビジネス活用
an、LINEバイト、 doda などなど…
ミッション
社内に蓄積された膨大なデータとAI
テクノロジーを使ってデータを価値あるものに変えていく
各事業部の課題解決や新規ビジネスの企画開発を行っている部署
ビジネスxアナリティクスxエンジニア
ビジネス課題
カウンセリングにおいてキャリアアドバイザーの会話は転職希望者のマインドを醸成
カウンセリングの内容は可視化できなかった
2人の音声を切り分け、集音するマイクを活用し
音声を収集、蓄積、テキスト化することが可能。
AIスピーカーでリアルタイムで音声を集音
音声の情報についてセキュリティ要件をクリアしている
音声を集合してテキスト化するアプリケーションを開発
→クラウドエースと3ヶ月かけて基盤を開発
音声データの活用①
ハイパフォーマーの音声を共有→育成担当者の教育時間を削減
音声データの活用②
カウンセリング履歴入力の削減→テキスト履歴入力の効率化
マッチングへの活用
Natural Langurage API を使って、転職理由・希望要件等を会話の中から自動的に内容を捉えて、BQ で職種別に分析、可視化している
転職希望者に実際に応募してもらったのかどうかを確認して、どのような提案がアドバイザーがしたのかとかを分析してより使い安い予測モデルを BigQuery を使って開発
希望条件を自動抽出→マッチング精度向上
データポータルを使った活用もできる
BQ 使った半年くらいだけど、検索もサクサクできて、可視化もできるメリットがある。
ディスカッション
導入のポイント【PERSOLキャリア様】
【高野Q】 今回のPJはデータの中でも非構造化データ（音声）で面倒かなと思いますが、弊社を選んだポイントは？
【Persol様】 難しいPJですが、ソフトウェアだけではなく、デバイスの扱いも難しかったです。CAはAIスピーカーの知見もあるということで一緒に進めておりました。
メリットは大きく２つ：
- 音声認識は導入ハードが高い。GCP™️ を使うことによってイニシャルコストがかからない。クラウドを使うことへの知見ができた。
- 間接的コストをコストを気にしなければならないので、CAのような技術パートナーとどうゆるく繋がっていけるか
- CAの GCP のノウハウがよかった
- 3ヶ月間に要件定義から入ってもらった。短い時間で早く開発ができた。
- Feed Backから更にCreativeな意見をもらえたのでInnovation開発ができた。
キャリアアドバイザーから新しいアイディアも出てきた。現場に新しいイノベーションを出していきたい（Persol様）
高野：クラウドの案件は最初の摩擦係数が高いので、滑り出しをいかにサポートするかを考えています。
活用事例:Truedata様、「Eagle Eye」
株式会社 True Data データマーケティング部・リーダー：竹村 博徳
株式会社 True Data IT戦略室・室長：池田 陽一
- 購買行動データ商用分析サービス
- 日本最大級ID-POS標準データベース
- ポイントカード購買履歴を持ってる会社
- 6000店舗、5000万人、過去15年分！
- 日本最大級のID-POS標準データベース
- データ量：13年で100倍！
- 2004：数億
- 2017：数百億
- Eagle Eye
- ID-POS分析の業界標準を備えたSaaS
- 導入メーカー100社
- 1社500名超の活用も実現
- 急成長の理由は？
- 誰でも使えるSaaSへ進化
- 操作性
- スキルレス
- ビジュアライズ
- BQ で、高速に大量データでも対応できるSaaSへ進化
- 取り扱えるデータ量が1000倍に拡大
- 10億超のスキャン分析に耐えることができる
- 数分（2〜3分）で結果が返ってくる
- True data IT transformation
- 先頭を行こう→GCP、BQ ヘ移行を決断。
- システムの課題
- 増え続けるデータ量と処理量
↕
- 最大スケールに合わせた環境と様々な制約
- 優先順位
- 基幹サービスEagle Eyeから着手（2019/4 以降完了）
Why BQ?
理由は…
- 環境制約からの脱却
- データ鮮度
- 将来性
- スケールの極大化
- データ洗い換えが用意
- 分析なら Google™️
懸念点
- 料金
- クセがある
- 安定稼働
- 従量課金：安いというが、スケールによって増える費用を管理できるか心配だった
- シンプル。独特なArchitecture
- マネージドサービス（答えが必ず出るものではないのも理解していた）
- パートナー
- クラウドエースと共に！
- GCP の伝道師と二人三脚で BQ の特性を活かし切った開発を実施
- 料金
- 技術面：BQ 適合設計、実装
- サービス面：BQ 適合メニュー提供
- ※フラットレート未使用
癖
シャーディング、パーティショニングを正しく活用
１日でデータ入れかえ。データの鮮度が良い。
チューニングの結果、非常にシンプルに実装することができた。
安定稼働
シェアしている環境
リトライ在りきで処理、サービス構築
答えが返せないことはある＝リトライすればいい
すぐ再実行できる仕組みにしている。
ただ、そういった場面になることは稀。
ディスカッション
【高野Q】どれくらい早くなったの？
【True Data】
例えばBIでライセンス数とか気にして、処理が集中したときに答えが返せない時があったが、それがなくなった。数時間かかってたものが数十分にもなった。
大量の処理を効率よく処理。
【高野Q】導入後の効果やこれからの展望は？
【True Data】
導入後の効果→オンプレの時には予想していなかったユーザー数を獲得できた＋安定している。
今後の展望→「新商品好きな県ってどこでしょうデータ」を持ってるのですが、そのデータをいろんな業種に使えるようにしたい
→Eagle Eyeにのせて、分析できるようにしたい。商品別にもできます。
【高野Q】データの取り込みを担当されたと思うが今後の展望について？
【True Data】
購買データを扱っているが、ポイントとかポス周りの変化もあり、そういうデータも必要になってきた。さらに広くデータを取らなければならないので、そういうときに GCP をつかえば、日本中のデータが来てもクラウドエースと BigQuery でなんとか取り扱えるのではないかとおもってます。
メッセージ
池田様：BQ のお役に立てればいいかと思っている。ドキドキには力強いパートナーが必要なのでCAおすすめします。GCP どんどんつかいましょう。
パーソル様：GCP を使わない手はない！
この記事を共有する
