これで全社データ集約を実現できました。お手軽で運用コストをかけないETLのファーストチョイスに！まずはFreeプランで試してみよう！

導入背景

ツール導入前の課題

当時は全社でデータ抽出方法が個々人に委ねられておりバラバラな方法で実施されていたためいくつかの課題がありました。

• データソース候補が複数あり抽出方法も属人的なため同じ目的のデータであっても人により抽出結果が異なってしまうことがある
• 簡単なデータでも各自でkintoneなどからローデータをダウンロードして加工しないと取得できない

そこで既にプロダクトデータ（日中医療相談・firestoreやGA4）の可視化のためにデータ集約で使っていたBigQuery環境を全社向けに利用拡張することにしました。その中で特に全社で基幹システムとして利用していたkintoneからのデータ転送手段を検討する必要がありました。

また上記の対応を行えるメンバーが他作業も兼務している執筆者1名しかおらず工数を捻出することも困難な状況でした。

どのような状態を目指していたか

できるだけ低コストな運用でkintoneデータのBigQueryへのデータ転送を実現する。

比較検討したサービス

• 自前での実装
• Application Integration

比較した軸

• kintoneのデータ転送の対応可否
• 導入・設定の容易さ
• 運用コストの低さ
• 実績・安定性
  • 技術検証する工数もあまり取れなかったため
• ドキュメントなど情報の多さ
• サポート体制
• データエンジニア採用とのコスト比較
• kintone以外のデータ転送の対応状況
• 別の手段への変更容易さ

選定理由

• 重要視していた点を満たしていた
• 同時期に検討していた医療教育支援プロダクトのMySQLのデータ転送にも対応できた
• この検討以前の過去に社内でトライアルとしてkintoneのデータ転送を行った実績があった

導入の成果

改善したかった課題はどれくらい解決されたか

開発・保守も発生せず低コストの運用でkintoneデータをBigQueryへデータ転送したいという課題は全て解決できました。

どのような成果が得られたか

kintoneデータのデータ転送が簡単に行えたことでBigQueryが社内データのSSOTとして機能できるようになり全社レベルでのデータの抽出・分析・活用をしやすい環境が整いました。 仕組みが整ったことも後押しの1つとなり社内でBizOpsグループという部門が立ち上がり全社規模でのデータ統合による事業グロースに向けて現在進行形で取り組むことができています。

導入時の苦労・悩み

ツールの性質上、秘密情報を社外のツールのサーバーへ送信し取り扱うことになるため契約書や利用規約の社内法務チェックには少し工数を使う必要がありました。とはいえ丁寧にサポートしていただいたおかげで不明点も明確になり比較的スムーズに進めることができました。

導入に向けた社内への説明

よく使う機能

アーキテクチャ

アーキテクチャの意図・工夫

全社データ集約

保守性を高めるためにBigQuery環境を3層構成（lakeプロジェクト群・warehouseプロジェクト群・martプロジェクト群)にしています。

• lakeプロジェクト群には各データソースから収集したデータをなるべく加工せずに格納しています。
  • TROCCOのデータ転送先にはこのプロジェクトを接続しています。これによりTROCCOを別の手段に置き換える事態が発生しても変更を容易にすることが可能と考えています。
  • ここでkintoneのデータ転送の対応や設定の容易さなどが決め手となりTROCCOの導入に至りました。
• warehouseプロジェクト群およびmartプロジェクト群にてlakeプロジェクト群を分析・活用するためのテーブルやビューを定義しています。
  • 弊社ではDataformを使ってクエリ定義をGitHubで管理・レビューする運用にしています。非エンジニアのデータアナリストにもGitHub環境を案内して利用してもらっています。
  • warehouseプロジェクト群にlakeプロジェクト群のクレンジングしたテーブル・ビューを格納するcommon-warehouseプロジェクトを用意することでデータソースの変更による影響を1箇所に集約する工夫もしています。
• アーキテクチャ図にはありませんがsandboxプロジェクトというDataformで管理しない場所も用意することでBigQuery利用ハードルを抑える工夫もしています。
  • sandboxプロジェクトで活用イメージが定まったクエリをDataform管理にしていく運用にしています。

kintone・Salesforceのデータ連携

Salesforce導入の一時的な対応として移行元のkintoneに対してSalesforceの情報を連携する対応にBigQuery環境とTROCCOのデータ転送およびワークフロー機能を利用しています。

このアーキテクチャが実現できたのはTROCCOにて下記の機能があったおかげでした。

• データ転送元(BigQuery、Salesforce、kintone）およびデータ転送先(BigQuery、Salesforce、kintone）の対応が可能であった
• TROCCOデータ転送を組み合わせやすいワークフロー機能があった

Salesforceオブジェクトとkintoneアプリのデータマッピングが複雑で1対1の対応ができなかったためBigQuery環境を用いてマッピングをmartプロジェクトのSQLで吸収するこちらのアーキテクチャに落ち着きました。

ツールの良い点

ツールの課題点

ツールを検討されている方へ

運用コストをかけずにデータ転送をするにはオススメのツールだと思います。対応している転送コネクタを確認して使いたいものがあったら無料で使えるFreeプランが用意されているのでまずは試してみるのが良いです。

ツールを利用開始する上での注意点としては情報の取り扱いや価格面だと思います。この辺りはサイトの情報やサポートの活用により自社にあっているか確認するのが良いです。