利用しているサービス:
BigQuery、Dataplex、Cloud Storage、Cloud Composer、Data Catalog、Firebase、Google アナリティクスなど
利用しているソリューション:
従来のデータ分析基盤が抱えていた課題を BigQuery で解決
2020 年、ベイシアは、顧客とのリレーションシップを深め、ビジネスを安定的に伸長させていくことを目的にマーケティング統括本部を設立。翌年には、そのデジタル戦略をより機動的に運用していくためにデジタル推進本部を立ち上げ、これまで外部に依存していた開発体制の内製化を進めています。
「この数年、デジタル推進本部では、ベイシアの新たなデジタル戦略に向け、2 つのプロダクトの開発に注力してきました。1 つがお客さまの接点となる『ベイシアアプリ』のリニューアル(2023 年 1 月に配信開始)、もう 1 つが、アプリによって顧客情報と紐付けられた約 35 億件にもなる膨大な量の ID-POS 情報を分析するための新たなデータ分析基盤の構築です。今回、そのデータ分析基盤に Google Cloud の採用を決めました。」
なぜ、Google Cloud がベイシアの新たなデータ分析基盤に最適だったのか、その理由を、美馬氏のもとで実際にデータ分析基盤を開発したデジタル推進本部 CoE部データアナリティクスグループ グループマネージャー 太田 広司氏は次のように説明します。
「ベイシアがこれまで使ってきたデータ分析基盤にはいくつもの課題がありました。中でもパフォーマンス不足は深刻で、BI ツールで何かデータを可視化しようとすると数十秒から数分待たされてしまうほど。また、前日分のデータを収集して分析に使えるようにクレンジングやメタ情報付与などを行うバッチ処理を毎朝行っているのですが、これにも 2 ~ 3 時間かかっており、日によっては始業時間に間に合わなくなってしまうことにも悩まされていました。しかも起動している時間はずっと課金される料金体系だったため、費用もかなりの高額に。夜間や休日に使いたい人がいる場合は手動で起動しなければならないことなども運用上の大きな手間になっていました。」
「これらすべての課題を、圧倒的な処理速度を誇り、使った分だけのクエリ課金で、しかもフルマネージドで使える BigQuery を中心としたデータ分析基盤を構築することで解決できると考えました。加えて今回は将来的な利用を促進していく観点から、ガバナンス、セキュリティの点でも複数のプラットフォームを評価。Google Cloud は取り込んだデータの中から個人情報を自動で検知してアラートを出したり、メタ情報の付与や管理が容易だったり、それらの機能を BigQuery と統合したかたちで利用できるなど、DLP (情報漏えい対策)の観点でも明確に他のプラットフォームよりも先進的だと感じました。」(太田氏)
Dataplex をいち早く活用し、運用効率を劇的に向上
「当初は従来同様、取り込んだデータに対して日次でバッチ処理を回していくことを考えていたのですが、Dataplex でデータレイク上の RAW データをそのまま BigQuery で分析できるようになったため、最新データや蓄積しておく必要のあるデータのみを BigQuery に取り込むかたちに処理を分離することができました。また、Dataplex はまだ新しいサービスということもあって、今の我々に必要な新しい機能が次々と追加されていることにも魅力を感じています。たとえばデータリネージによって、元データからどのような処理を経て、どのようなデータが生成されているのかを総合的に可視化できるようになった点はデータ ガバナンスの運用負荷を軽減してくれました。今後も新機能を積極的に活用して、より運用効率を高めていきたいと考えています。」
そうした新機能の情報収集において、Google Cloud の担当者からの情報提供にとても助けられたと語る太田氏。細かい仕様についてはサポートに確認することで、情報の少ない新プロダクトを使いこなすことができたと言います。