データアナリストが行うDatabricksを活用したETLの自動化事例

Databricksを活用した扱いやすいデータ基盤の構築についてですが、RDBに入っていないデータも基本的に全てDatabricksを使ってインポートをしております。

その際にメダリオンアーキテクチャに基づいて扱いやすいデータレイクを構築しております。

扱うデータの性質に応じてBronzeからGoldまでを扱い分けており、分析に使いやすい状態でデータレイクに保存をしています。

Databricksは使用することによってデータ分析に使えるデータを増やすということが可能であり、また業務の効率化だったり、あとはガバナンスの強化といったメリットもあると考えております。
具体的には以下に記載します。

①Google Search Console APIを利用した各サイトデータの自動取得

従来は手動でCSVをエクスポートし、データ比較分析を行っていましたが、Databricks導入後はGoogle Search Console APIを活用し、自動でデータを取得・成形し、BigQueryに格納するように改善しました。この変更により、データ処理が効率化され、エラー発生時はSlackを通じて通知される体制が整いました。

②RDBやBigQueryに連携できないツールからエクスポートしたCSVの自動取込

弊社ではお客様からのお問い合わせ対応にCTIツールを使用しています。そこから得たCSVデータが手動でしか処理されていなかった問題をDatabricksを使って自動化しました。※CTIツール自体がAPIを公開していない場合もあるため、エクスポートと格納は手動です。

まず各担当が指定のGoogleドライブに格納していただいて、DatabricksからそちらのCSVデータを取得をするというような流れになります。

活用のコツ①
BigQueryに格納されたCSVを処理中にアーカイブフォルダに移動させています。理由としては、視覚的にどのCSVが処理されているのか、されてないのかが誰でもわかるという状態になるからです。

活用のコツ②
未格納のCSVがあるかどうかを検知する処理定期を実行して、CSVデータの格納漏れがあれば、関係者にSlack上で通知するという処理を行っております。

③確定データの自動取得

データを取得するタイミングによって値が異なっていたり、事業部ごとに欲しいデータの粒度が違っており、それに基づいたSQLのロジックがバラバラになっておりました。結果として事業部間によって正しい数値の認識にズレが生じていたためDatabricksを使用し確定データの自動取得を行うことにしました。

活用のコツ①
外部ストレージに格納されたCSVデータと、BigQueryに格納したデータに欠損がないかチェックする処理を追加します。

活用のコツ②
BigQueryに格納されたデータをデータソースとしてLooker Studio上でダッシュボードを作成することで、各事業部の方々が複雑なSQLを構築する必要がなくなります。