Fivetranによるデータ活用・分析基盤構築のツール選定から運用まで
会員限定コンテンツです。無料登録すると制限なしでお読みいただけます。
レビュー投稿日の情報になります
株式会社ゼスト / 宮原雅尚
メンバー / バックエンドエンジニア
最終更新日投稿日
利用プラン | 利用機能 | ツールの利用規模 | ツールの利用開始時期 | 事業形態 |
---|---|---|---|---|
スタンダードプラン | データ転送機能 | 10名以下 | 2023年6月 | B to B |
利用プラン | スタンダードプラン |
---|---|
利用機能 | データ転送機能 |
ツールの利用規模 | 10名以下 |
ツールの利用開始時期 | 2023年6月 |
事業形態 | B to B |
アーキテクチャ
導入の背景・解決したかった問題
導入背景
ツール導入前の課題
- データ活用・分析基盤を新規構築するにあたり、最適なETLツールの導入が求められました。しかし、ツール選定においては以下のような課題がありました。
- 選択肢が多く、最適なツールを見極めにくい: 多種多様なETLツールが存在し、それぞれ機能や特性が異なるため、比較・選定が困難
- 機能とコストのバランスが難しい: 高機能なツールほどコストが高くなるが、必要な機能だけを備えたツールを選ぶのが難しい
- 運用・保守の負担が不透明: 導入後のメンテナンス性や運用負荷がツールによって異なり、長期的な運用コストや管理のしやすさを事前に把握しにくい
どのような状態を目指していたか
- 使いやすく、コストパフォーマンスが高く、運用しやすいツールを導入し、データ活用を最大化できる環境を構築すること
比較検討したサービス
- Google Cloud(Data Fusion,Dataflow,Dataproc)
- TROCCOⓇ
比較した軸
- 使いやすく、コストパフォーマンスが高く、運用しやすいツール
選定理由
- 学習・導入コストが低く、操作性が良かった
- 必要な機能を備えつつ、シンプルに運用できるイメージが湧いた
導入の成果
改善したかった課題はどれくらい解決されたか
- 使いやすさ: GUIベースの設定により、パイプラインの作成・管理が直感的で使いやすい
- コストパフォーマンス: 学習・導入コストが低く、初期導入コストを抑えられた
- 保守・運用コスト: これまで運用してきた中で負担になることはほぼ無かった
導入時の苦労・悩み
- 月間アクティブ行数 (MAR、Monthly Active Rows) に対してのみ課金され、さらにデータ量の増加に伴ってディスカウントが効いてくるため、費用感が算出しにくかった
導入に向けた社内への説明
上長・チームへの説明
- 検討したサービスのメリット・デメリットを提示し、その中から導入・保守・運用コスト、工数感の観点から検討した結果、Fivetranが最適であると納得して頂き、導入を決定しました
- Goolge Cloudのソリューションについてはコスト面や工数面が高くなりそうな感じがしたのと、当初の規模感ではtoo muchであったため、導入決定には至りませんでした
- TROCCOⓇについては導入・保守・運用コスト面においてFivetranと大差はなかったが、機能面においてFivetranの方が合致していたため、導入決定には至りませんでした
活用方法
よく使う機能
- データ転送機能
- transform機能
- Fivetran Log
ツールの良い点
- GUIベースの操作でパイプラインの作成・管理が直感的で使いやすい
- 初期導入コストが低い
- データソースコネクターが豊富である
ツールの課題点
- MAR課金であるため、データ特性によってはコストが大きくなる
ツールを検討されている方へ
- 利用料金についてはMARでの課金のためデータソース側の増分度合いによっては不向きなパターンもあるかと思いますが、MARの増加に伴って料金も安くなっていくよう設計されているため、導入検討される際は導入前に料金試算しておいたほうが良いです
株式会社ゼスト / 宮原雅尚
メンバー / バックエンドエンジニア
よく見られているレビュー
株式会社ゼスト / 宮原雅尚
メンバー / バックエンドエンジニア
レビューしているツール
目次
- アーキテクチャ
- 導入の背景・解決したかった問題
- 活用方法