Web開発エンジニアでも手軽にデータ転送したい!troccoでデータ基盤を構築した話
エムスリーキャリア株式会社 / morooka_cube
フルスタックエンジニア / 従業員規模: 501名〜1,000名 / エンジニア組織: 51名〜100名
利用プラン | ツールの利用規模 | ツールの利用開始時期 | 事業形態 |
---|---|---|---|
trocco Standardプラン + チーム機能 | 11名〜50名 | 2023年8月 | B to C |
利用プラン | trocco Standardプラン + チーム機能 |
---|---|
ツールの利用規模 | 11名〜50名 |
ツールの利用開始時期 | 2023年8月 |
事業形態 | B to C |
アーキテクチャ
アーキテクチャの意図・工夫
アーキテクチャ構築にあたっては、専門のデータエンジニアでなくてもデータ転送が手軽に実現できることと、データ基盤のメンテナンスにかかる運用コストを最小化できるフルマネージド構成であることを重視して構築しました。
導入の背景・解決したかった問題
導入背景
trocco導入前は、事業部ごと(医師人材紹介・薬剤師人材紹介)に分かれたSalesforce(営業支援システム)をデータハブとして、以下2点を実現していました。
- 自社プロダクトとSalesforce間でデータを相互連携
- Salesforceの機能で顧客(求職者・医療機関)にデータ提供(メルマガ送付等)、社内向けに営業活動やマーケティング活動のレポート表示
しかし、データ連携処理が個別実装で、アプリDB・SFAどちらかのデータ構造が変わった時にメンテナンスが必要であった事、事業部ごとにSFAが分かれているので、事業部を跨いでのデータ分析が困難であった事、またデータ提供がSFAの機能依存となっており、提供できるサービスに限りがあった事の3点で、課題がありました。
また同時に、自社プロダクトや社内向けSaaSのデータを集約することで、AIを活用した求人提案やマッチング最適化といった付加価値を提供していきたいと考え、データ基盤改善に着手しました。
選定理由
データ統合自動化ツールを比較するに当たっては、
- Web開発エンジニアなど、専門のデータエンジニアでなくてもデータ転送が手軽に実現できること
- データ基盤のメンテナンスにかかる運用コストを最小化できるフルマネージド構成であること
を重視して検討しました。
最終的には上記に加えて、将来的にdbtを利用したデータ変換やリバースETLによるデータの書き戻し運用も視野に入れており、troccoがそれらに対応していたことがtrocco導入の決め手となりました。
比較したサービス
- Fivetran
導入の成果
troccoのデータ転送は転送元・転送先をGUIで設定し、転送データをSQLで記述するだけで実現できるため、導入前の課題となっていた「データ転送処理が独自実装でメンテナンスが大変」は解決できました。プロダクトを跨いだデータ提供をSalesforceに依存せず開発できるようになり、新たなサービス立ち上げにも繋がりました。
導入時の苦労・悩み
導入時に苦労した点は特段無し。サポートも手厚く対応頂きました。
導入に向けた社内への説明
上長・チームへの説明
trocco含めたデータ基盤の構築によって、
- データ連携にかかる開発・メンテナンス工数の削減効果
- 事業部を跨いだデータ分析で得られる売上効果
を試算し、運用コストに対するROI(投資利益率)によって導入の妥当性を説明しました。
社内・チームへの展開
先立って社内SEチームに展開し、Salesforce内のデータをDWHに転送する設定をしてもらい、データ基盤を構築しました。その後Web開発チームにも展開し、DWHにデータを集約することで解決できる課題を訴求、利用推進していきました。
また、troccoカスタマーサクセスの方のご協力でエンジニアリンググループ全体で勉強会・質問会を実施したことも、利用推進の助けになりました。
活用方法
よく使う機能
- SFAからDWHには「マネージド転送設定」で日次全件転送しています
- 差分転送やより高頻度の転送が必要な場合は、「転送設定」で個別に設定しています
- DWHのデータをサービス提供や分析に使う場合は、「データマート定義」で閲覧用のデータマートを設定しています
ツールの良い点
- 何よりUIが直感的で分かりやすいところ
接続情報を設定して転送データをSQLで記述することで、重複実行防止やデータの洗い替えなど難しいことは実装せずにデータ転送が実現できます。
2. 連携できる対応サービスが豊富なこと
弊社の要件であるBigQuery, Salesforce, MySQL, PostgreSQLをはじめ、各種MAや広告系、更にはHTTPSリクエスト(転送元として)にも対応しています。
3. 運用体制のスケールアップに対応していること
チーム機能でチームごとの権限設定ができたり、転送設定をGit管理できたりと柔軟な対応が可能です。
ツールの課題点
リバースETLでアプリDBに書き戻す際、DB書き込みだけでなくビジネスロジック(Ruby on RailsのActive Recordコールバックなど)を呼び出したい、といったケースが考えられます。
データ転送をアプリケーション開発に組み込む際のベストプラクティスがあると、troccoを活用したデータ基盤を活用したサービス開発がよりスムーズになると思いました。
ツールを検討されている方へ
troccoを使用することで、専門のデータエンジニアでなくてもデータ転送が手軽に実現できます。「これからデータ基盤を構築したい」「既にデータ基盤があるが連携処理のメンテナンスが大変」「ジョブ実行などフルマネージド構成にして運用コストを下げたい」といった組織ではぜひ導入をご検討ください。
エムスリーキャリア株式会社 / morooka_cube
フルスタックエンジニア / 従業員規模: 501名〜1,000名 / エンジニア組織: 51名〜100名
ソフトウェアベンダー、外資系SIerを経て、2021年エムスリーキャリア株式会社に入社。Webアプリケーションエンジニアとして医療人材に関わるtoC向け・toB向けサービス開発を担当。フロントエンド・バックエンドの開発に加え、ビジネスサイドとの要件調整や施策提案、施策効果のデータ分析等も行う。
よく見られているレビュー
エムスリーキャリア株式会社 / morooka_cube
フルスタックエンジニア / 従業員規模: 501名〜1,000名 / エンジニア組織: 51名〜100名
ソフトウェアベンダー、外資系SIerを経...
レビューしているツール
目次
- アーキテクチャ
- 導入の背景・解決したかった問題
- 活用方法