これで全社データ集約を実現できました。お手軽で運用コストをかけないETLのファーストチョイスに！まずはFreeプランで試してみよう！

参考になった

会員限定コンテンツです。無料登録すると制限なしでお読みいただけます。

無料登録してアーキテクチャを見る

レビュー投稿日の情報になります

ドクターメイト株式会社 / nihemak

メンバー / フルスタックエンジニア / 従業員規模: 101名〜300名 / エンジニア組織: 11名〜50名

最終更新日2024/09/12投稿日2024/07/03

利用プラン	利用機能	ツールの利用規模	ツールの利用開始時期	事業形態
旧Lightプラン(コネクタ4種) + 追加コネクタ(3種)	データ転送、マネージドデータ転送、ワークフロー	10名以下	2023年7月	B to B

利用プラン	旧Lightプラン(コネクタ4種) + 追加コネクタ(3種)
利用機能	データ転送、マネージドデータ転送、ワークフロー
ツールの利用規模	10名以下
ツールの利用開始時期	2023年7月
事業形態	B to B

アーキテクチャ

会員限定コンテンツ無料登録してアーキテクチャを見る

アーキテクチャの意図・工夫

全社データ集約

保守性を高めるためにBigQuery環境を3層構成（lakeプロジェクト群・warehouseプロジェクト群・martプロジェクト群)にしています。

lakeプロジェクト群には各データソースから収集したデータをなるべく加工せずに格納しています。
- TROCCOのデータ転送先にはこのプロジェクトを接続しています。これによりTROCCOを別の手段に置き換える事態が発生しても変更を容易にすることが可能と考えています。
- ここでkintoneのデータ転送の対応や設定の容易さなどが決め手となりTROCCOの導入に至りました。
warehouseプロジェクト群およびmartプロジェクト群にてlakeプロジェクト群を分析・活用するためのテーブルやビューを定義しています。
- 弊社ではDataformを使ってクエリ定義をGitHubで管理・レビューする運用にしています。非エンジニアのデータアナリストにもGitHub環境を案内して利用してもらっています。
- warehouseプロジェクト群にlakeプロジェクト群のクレンジングしたテーブル・ビューを格納するcommon-warehouseプロジェクトを用意することでデータソースの変更による影響を1箇所に集約する工夫もしています。
アーキテクチャ図にはありませんがsandboxプロジェクトというDataformで管理しない場所も用意することでBigQuery利用ハードルを抑える工夫もしています。
- sandboxプロジェクトで活用イメージが定まったクエリをDataform管理にしていく運用にしています。

kintone・Salesforceのデータ連携

Salesforce導入の一時的な対応として移行元のkintoneに対してSalesforceの情報を連携する対応にBigQuery環境とTROCCOのデータ転送およびワークフロー機能を利用しています。

このアーキテクチャが実現できたのはTROCCOにて下記の機能があったおかげでした。

データ転送元(BigQuery、Salesforce、kintone）およびデータ転送先(BigQuery、Salesforce、kintone）の対応が可能であった
TROCCOデータ転送を組み合わせやすいワークフロー機能があった

Salesforceオブジェクトとkintoneアプリのデータマッピングが複雑で1対1の対応ができなかったためBigQuery環境を用いてマッピングをmartプロジェクトのSQLで吸収するこちらのアーキテクチャに落ち着きました。

導入の背景・解決したかった問題

導入背景

ツール導入前の課題

当時は全社でデータ抽出方法が個々人に委ねられておりバラバラな方法で実施されていたためいくつかの課題がありました。

データソース候補が複数あり抽出方法も属人的なため同じ目的のデータであっても人により抽出結果が異なってしまうことがある
簡単なデータでも各自でkintoneなどからローデータをダウンロードして加工しないと取得できない

そこで既にプロダクトデータ（日中医療相談・firestoreやGA4）の可視化のためにデータ集約で使っていたBigQuery環境を全社向けに利用拡張することにしました。その中で特に全社で基幹システムとして利用していたkintoneからのデータ転送手段を検討する必要がありました。

また上記の対応を行えるメンバーが他作業も兼務している執筆者1名しかおらず工数を捻出することも困難な状況でした。

どのような状態を目指していたか

できるだけ低コストな運用でkintoneデータのBigQueryへのデータ転送を実現する。

比較検討したサービス

自前での実装
Application Integration

比較した軸

kintoneのデータ転送の対応可否
導入・設定の容易さ
運用コストの低さ
実績・安定性
- 技術検証する工数もあまり取れなかったため
ドキュメントなど情報の多さ
サポート体制
データエンジニア採用とのコスト比較
kintone以外のデータ転送の対応状況
別の手段への変更容易さ

選定理由

重要視していた点を満たしていた
同時期に検討していた医療教育支援プロダクトのMySQLのデータ転送にも対応できた
この検討以前の過去に社内でトライアルとしてkintoneのデータ転送を行った実績があった

導入の成果

改善したかった課題はどれくらい解決されたか

開発・保守も発生せず低コストの運用でkintoneデータをBigQueryへデータ転送したいという課題は全て解決できました。

どのような成果が得られたか

kintoneデータのデータ転送が簡単に行えたことでBigQueryが社内データのSSOTとして機能できるようになり全社レベルでのデータの抽出・分析・活用をしやすい環境が整いました。仕組みが整ったことも後押しの1つとなり社内でBizOpsグループという部門が立ち上がり全社規模でのデータ統合による事業グロースに向けて現在進行形で取り組むことができています。

導入時の苦労・悩み

ツールの性質上、秘密情報を社外のツールのサーバーへ送信し取り扱うことになるため契約書や利用規約の社内法務チェックには少し工数を使う必要がありました。とはいえ丁寧にサポートしていただいたおかげで不明点も明確になり比較的スムーズに進めることができました。

導入に向けた社内への説明

上長・チームへの説明

TROCCOのフリートライアルプランにて実際にkintoneからBigQueryにデータ転送を行い実用に耐えられることをデモで共有しました
月額コストに関しては予算内に収まる範囲であったため特別な承認は不要でした
- 保守運用コストなども鑑みて担当データエンジニアが必要な自前での実装に対する費用メリットの説明は行いました

活用方法

よく使う機能

データ転送、マネージドデータ転送

kintoneやSalesforce、MySQLデータをBigQueryへ転送するために使っています
Salesforeからkintoneにデータ連携するためにBigQueryデータをSalesfore・kintoneへ転送するのに使っています

ワークフロー

Salesforeからkintoneにデータ連携するために複数データ転送を連携実行するのに使っています

ツールの良い点

導入・設定が容易
- GUIで設定できるため場合によってはエンジニアでなくても対応が可能です。
kintone含めて様々なデータソースのデータ転送に対応している
- 転送コネクタが充実しているので必要になった時にTROCCOが対応しているケースもあり助かっています。
サポート体制がしっかりしている
- SlackやMTGなどで困ったときに気軽に問い合わせが可能で対応も丁寧なので助かっています。

ツールの課題点

Git連携はあるがPRレビューのみ可能でyamlなどの設定ファイルをGitHub管理できない
- GUIで設定が簡単な反面、変更のたびにGUIを操作するのは煩わしい場面もあります。できればGitHubで設定ファイル管理ができるとありがたいです。
オプションの追加による価格の跳ね上がりがある
- 仕方がないことだとは思いますが、本格的に使用したい場合に欲しくなるチーム機能や監査ログ機能などの利用はプラン変更やオプション追加が発生して想定よりも料金が高くなりすぎることがあります。
  - それでも専任のデータエンジニアを雇うのとコスト比較すればリーズナブルかもしれないので天秤だとは思っています。

ツールを検討されている方へ

運用コストをかけずにデータ転送をするにはオススメのツールだと思います。対応している転送コネクタを確認して使いたいものがあったら無料で使えるFreeプランが用意されているのでまずは試してみるのが良いです。

ツールを利用開始する上での注意点としては情報の取り扱いや価格面だと思います。この辺りはサイトの情報やサポートの活用により自社にあっているか確認するのが良いです。

ドクターメイト株式会社 / nihemak

メンバー / フルスタックエンジニア / 従業員規模: 101名〜300名 / エンジニア組織: 11名〜50名

SIerにて大手メーカーのミドルウェア開発エンジニア、医療系事業会社にてWeb系フルスタックエンジニア、HR新規事業会社にてリードエンジニアやプロダクトマネージャ/開発責任者などを経て2022年1月ドクターメイト株式会社に入社。プロダクト開発・組織・基盤づくりからBizOpsまで幅広く行う。 https://www.wantedly.com/id/makoto_nihei_c