クラウド道場

BigQuery BI Engineで Data Portal(Data Studio)を高速化する

Author
kosaka
Lv:6 Exp:17738

2017年10月入社 営業部所属です。

異業種からLinuxなにそれ?状態で何故かクラウドエースに入社してしまって、四苦八苦しながら営業をしています。

こっそりGCPの資格3種(Cloud Architect/Data Engineer/Assosiate Cloud Engineer)取得済み。

最近はDataStudio&BigQueryにハマっているマン。

BigQuery BI Engineで Data Portal(Data Studio)を高速化する

2019年4月にサンフランシスコで開催されたGoogle Cloud Next ’19において、「BigQuery BI Engine」のβリリースが発表されました。

本稿では
・BigQuery BI Engine を使った場合、Data Portal(Data Studio) 上でどれだけ表示が高速化されるのか
・BigQuery BI Engine の料金
などをお伝えいたします。

BigQuery BI Engine はBIツールから BigQuery を利用する際に利用できる、インメモリ型の分析サービスとなります。

ざっくりというと Google が無償で提供しているBIツールである Data Portal(Data Studio) の表示を超高速化してくれる機能です。

私はエンジニアではないので詳細な技術解説等をお求めの方はこちらの公式ドキュメントをご覧ください。

忙しい人用に簡単にまとめておきます。
・BigQuery BI Engine の設定は超簡単
・BigQuery BI Engine を使うと5倍ぐらい DataPortal(DataStudio)の表示が高速化される
・BigQuery BI Engine の料金はここ(今は無料)
・BigQuery BI Engine を使うと BigQuery のクエリコストやマート作成の工数が削減できる
・今後 Tableau / Looker でも使えるようになる予定

1.BigQuery BI Engine の設定方法

早速ですが BigQuery BI Engine の利用方法を説明します。

請求先アカウントの開設・プロジェクトの作成・ BigQuery 有効化・BigQuery データセット/テーブル作成は済んでいることを前提に説明致しますので、それらの情報は下記公式ドキュメントをご覧ください。

請求先アカウントの作成
プロジェクトの作成
BigQuery 有効化
データセットの作成
テーブルの作成

今回私は検証用のデータセットとして、Google が提供している一般公開データセットの中から、natality サンプルテーブルのデータを利用しました。

BI Engine はプロジェクトに紐づくリソースであるため、機能を利用するためにプロジェクト内にデータセット・テーブルを作成する必要があります。ですので、以下のSQLを実行して自身のプロジェクトのデータセット内にテーブルを作成します。

CREATE TABLE
  `プロジェクト名.データセット名.テーブル名` AS
SELECT
  *
FROM
  `bigquery-public-data.samples.natality`

テーブルの情報は下記の通りでそこそこのサイズのテーブルです。

検証用のテーブル作成が完了したので、実際に BI Engine の設定をしていきます。
まず BigQuery の WebUI 上の BI Engine と表示されている部分をクリックします。

そうすると以下のページが表示されるので「+ CREATE RESERVATION」をクリックします。

すると以下のページが表示されるので、プロジェクトの選択、BigQuery BI Engine を利用するLocationを設定します。この際 Location は必ずデータセット・テーブルと同じリージョンを選択してください。違うリージョンを選択してしまうと BigQuery BI Engine によるインメモリ分析が実行されず、表示が高速化されません。

Capacity は確保するメモリの量です。今回は 1GB を選択しました。

これらの設定が完了したら「 NEXT 」をクリックします。

すると上記のように BigQuery BI Engine の料金が表示されます。問題なければ「 NEXT 」をクリックしてください。

CREATE するまで課金は発生しませんよ、月額料金がかかるのでそれに同意してくださいね、Google Cloud Platform の利用規約に同意してから進んでください、的なことが書いてあります。しっかりと読んだ上で問題なければ「 CREATE 」を選択してください。

これで BigQuery BI Engine の設定は完了です。

既に Data Portal(Data Studio)のレポート表示が高速化されているはずですので、Data Portal(Data Studio)を利用中の方はそちらで試してみてください。

まだ Data Portal(Data Studio)を利用されていない方は以下を参考にしてレポートを作成してみてください。

・BigQueryにエクスポートしたGCPの課金データをDataStudioで見える化する

2.BigQuery BI Engine アリ・ナシでの表示速度比較

言葉で説明するより動画を見ていただいたほうが早いので、下記動画をご覧ください。

左側の表が BigQuery BI Engine を有効化したもの、右側が有効化していないものです。

有効化したものが2〜3秒で表示されているのに対して、有効化していないものは20秒以上表示に時間がかかっています。

かなり高速化されており、ストレスなくレポートを見ることが可能になりました。

私は普段営業をしているのですが、実際にお客様ごとの利用状況の確認と分析に BigQuery と Data Portal(Data Studio)でレポートを自分で作成して利用しています。


*弊社グループ会社の吉積情報株式会社の利用状況を表示しています。

このレポートもデータソースのサイズが非常に大きいため、表示に時間がかかっていたのですが、BigQuery BI Engine を導入したことで表示が高速化されたことでより効率的に分析することが可能になりました。

3.BigQuery BI Engine の料金

BigQuery BI Engine が簡単に Data Portal(Data Studio)の高速化が可能なことはおわかりいただけたかと思います。

次に気になるのが料金だと思いますが下記サイトで確認が可能です。
BigQuery BI Engine – Pricing

USリージョンでメモリを 1GB 確保して1ヶ月間利用した場合には、約 30$ の料金がかかります。確保するメモリの量に比例して料金がかかりますので、最大確保可能量の 10GB を確保した場合には月額約300$ かかります。

BigQuery自体の料金が安いだけに少し高く感じますね。

ただβ期間のうちは無料で利用が可能と先程紹介したページに記載がありますので試して見るなら今のうちですね。

During the beta period, BigQuery BI Engine is free of charge

β終了の際にはこちらで案内があるようなので、無料期間のみ利用したい場合にはRSSフィードなどに登録してこまめにチェックしてみてください。

4.BigQuery BI Engine を利用してコスト削減!?

先程料金の紹介をしましたが、ちょっと BigQuery BI Engine 高いなぁ…と思った方も多いかと思います。

ですが最初に紹介したとおり、BigQuery BI Engine は確保したメモリリソース上で分析処理をしてくれるサービスであるため、BigQuery BI Engine上で処理したものについては BigQuery 側でのクエリ料金が発生しません。
(β版サービスであるため、仕様が今後変更になる可能性もありますのでご注意ください)

また Data Portal(Data Studio)での表示を高速化するためにデータマート作成などに苦労されていた方もいらっしゃると思いますが、BigQuery BI Engine を活用すること簡単に Data Protal(Data Studio)での表示を高速化することができ、マート作成にかかっていた工数の削減も可能です。

使い方によっては分析にかかるトータルコスト削減ができる可能性もあるので、ぜひ採用を検討してみてください。

5.まとめ

ここまで紹介したように BigQuery BI Engine は簡単に DataPortal(DataStudio)でのレポート表示を高速化してくれるサービスです。

しかも本日時点(2019年4月23日)では無料で使えるサービスとなっております。

また今後BIツールとしてよく利用されている Tableau や、エンジニアフレンドリーなBIツールとして最近注目の高まっている Looker などでも、BigQuery BI Engine が利用できるようになると発表がされております。

既にデータウェアハウスとして BigQuery を使っている方はもちろんのこと、まだ BigQuery を使ったことがない方にもぜひ一度お試しください!!

最後になりますが弊社クラウドエース株式会社は Google Cloud のプレミアパートナーとして、Google Cloud Platform 利用にあたっての支払代行サービスや技術サポート・構築・開発・トレーニングなど Google Cloud に関するサービスを幅広く提供しております。

今回ご紹介した BigQuery BI Engine を利用するにあたってデータウェアハウスを BigQuery に構築したい、BigQuery にデータを取り込むためのパイプライン構築をしたい、などのご相談ございましたらお気軽にお問い合わせください!

次の記事を読み込んでいます
次の記事を読み込んでいます