目次
Fivetranで実現するスケーラブルなETL環境
参考になった
4
会員限定コンテンツです。無料登録すると制限なしでお読みいただけます。
レビュー投稿日の情報になります
レバレジーズ株式会社 / 森下研人
チームリーダー / データエンジニア
最終更新日投稿日
| 利用プラン | 利用機能 | ツールの利用規模 | ツールの利用開始時期 | 事業形態 |
|---|---|---|---|---|
Standard | ETL | 10名以下 | 2023年12月 | B to B B to C |
| 利用プラン | Standard |
|---|---|
| 利用機能 | ETL |
| ツールの利用規模 | 10名以下 |
| ツールの利用開始時期 | 2023年12月 |
| 事業形態 | B to B B to C |
アーキテクチャ
導入の背景・解決したかった問題
導入背景
ツール導入前の課題
EmbulkでETL処理を実装していたが、以下の課題があった
- スキーマ更新処理をシンプルにするため、DWHのデータ更新のために全件取得して洗い替え処理をしており、データソース側の負荷が大きかった
- RDB以外のデータソースも増えていく中で、個別にETL処理を実装する工数が大きかった
- AWSのZeroETLが存在する中で、ETL処理そのものに多大な工数をかけて実装する意味合いが薄かった
どのような状態を目指していたか
- ETL処理の安定稼働
- 差分更新によるデータソース側の負担軽減
- スケーラブルなETL処理環境
比較検討したサービス
- TROCCOⓇ
- Embulkを継続使用
比較した軸
- コスト
- ETL処理を手軽に実装できるかどうか
- 運用が辛くないか
選定理由
- 差分更新を実現できる
- GoogleCloudのカスタマーエンジニアに勧められた
導入の成果
改善したかった課題はどれくらい解決されたか
- 全て改善された
どのような成果が得られたか
- ETL処理の実装が1/20ほどになった
- SaaSの場合はAPI仕様を読み込んで自前でETL処理を実装していたが、Fivetranのコネクターを使用できるようになったので、非常に楽になった
- 差分更新を実現できたのでデータソース側の負担が下がり、更新時間も短くなった
- 会社のスケールに耐えられる自信がついた
導入時の苦労・悩み
- teleport syncの挙動の理解に時間がかかった
導入に向けた社内への説明
上長・チームへの説明
- 自前で運用していたETLサーバーがなくなることや、ETL処理の実装工数の削減によって、Fivetran導入によるコストメリットがあることを説明
活用方法
- 社内のデータ活用で必要なデータのETL処理をほとんど任せています
よく使う機能
- ETL処理
ツールの良い点
- GUIからポチポチで設定ができる
- 物理削除されたレコードを保持してくれる
- MARでの課金であるため、大幅なデータ更新がなければ課金が少ない
- サポートが丁寧
- 2日間エラーが継続すると自動でケースが作成される
ツールの課題点
- コネクター毎に更新頻度を設定するため、特定のテーブルだけ更新頻度を上げるといった柔軟な設定ができない
- ログが若干見づらい
ツールを検討されている方へ
- 使い方によっては非常に高額課金になる場合がありますので、事前にしっかり確認することをお勧めします
今後の展望
- GUIポチポチで便利ですがインフラ基盤の一部だとも考えられるので、コネクター設定のterraform管理を導入するかもしれません
レバレジーズ株式会社 / 森下研人
チームリーダー / データエンジニア
よく見られているレビュー
レバレジーズ株式会社 / 森下研人
チームリーダー / データエンジニア
レビューしているツール
目次
- アーキテクチャ
- 導入の背景・解決したかった問題
- 活用方法