リクルート：次世代セキュリティ DWH を BigQuery、Cloud Data Fusion で構築し、ログ分析の民主化を実現
利用しているサービス：
BigQuery、Cloud Data Fusion、Cloud Storage、Dataproc、VPC Service Controls、Looker など
専用のソリューションではなく、BigQuery を中心にログ分析基盤を実現
企業内でセキュリティを管轄する部署のメンバーが正しい施策を行うためには、今何が起きているのかを、ログなどのファクトによって正確に把握する必要があります。約 3 年間、SOC でそのための仕組み作りに携わってきた日比野氏（現在はより高次なセキュリティ戦略を立案するセキュリティ戦略グループに在籍）は、同社の新たな武器となる次世代セキュリティ DWH のコンセプトについて次のように説明します。
「ログを使ったセキュリティ監視ツールというと、多くの人が SIEM（Security Information and Event Management）と呼ばれる、リアルタイムにインシデントを検知するツールをイメージすると思うのですが、今回、われわれが開発したのは、ログをもとに攻撃の兆候を見つけだしたり、起きてしまったインシデントを後追いでフォレンジックしたり、レポーティングしたりといった、監視以外の目的でログを有効活用するための仕組みです。特にこだわったのが、専門のエンジニアではない人でもログを使った分析業務を行えるようにすることでした。」
そして、これらの問題を解決するための次世代セキュリティ DWH を構築するにあたり、日比野氏は既存のセキュリティ向けソリューションを導入するのではなく、BigQuery など、汎用のデータ分析ソリューションを組み合わせて実現することを選択しました。そこに多くのメリットがあると考えたからです。
「第一にコストですね。セキュリティ向けのログ分析ソリューションは、取り込んだログ容量（GB）による課金やインスタンスの稼働時間（動いている間）で課金されてしまうライセンス体系でストレージも割高なため、コスト削減がしにくい問題がありました。ここにクエリ課金で使える DWH サービスを使えれば、ランニング コストを大きく削減できるのではないかと考えたのがこの取り組みのスタート地点です。そして、クエリ課金のプロダクトをパフォーマンス性、ストレージ コストの両面で評価し、BigQuery を選定しました。」（日比野氏）
その上で日比野氏は、BigQuery のような DWH サービスの採用には費用面以外にも大きなメリットがあると言います。
「セキュリティに特化したソリューションではログデータから分析に必要な情報を検索、抽出する際に、専用言語でクエリを書くことを求められるため、その学習コストが人材育成、確保において大きなハードルになっていました。そこで、次世代セキュリティ DWH では、多くのエンジニアが長年慣れ親しんできた SQL を中心に技術スタックを構成し、人材育成・採用の敷居を下げることを目指しています。これは今回のプロジェクトが始まる前から温めていたアイデアなのですが、当時と比べても SQL の利用シーンは大きく拡大しており、読みが当たったなと思っています。」
