troccoを使ってデータ分析基盤構築の第1歩目を踏み出そう！！
参考になった
14
アソビュー株式会社 / yyone
メンバー / 従業員規模: 101名〜300名 / エンジニア組織: 101名〜300名
| 利用プラン | ツールの利用規模 | ツールの利用開始時期 |
|---|---|---|
Standard | 10名以下 | 2023年7月 |
| 利用プラン | Standard |
|---|---|
| ツールの利用規模 | 10名以下 |
| ツールの利用開始時期 | 2023年7月 |
アーキテクチャ
会員限定コンテンツ無料登録してアーキテクチャを見るアーキテクチャの意図・工夫
- データウェアハウスは、GAなどGoogle系サービスのデータ取得の親和性や一部GCPサービスを利用していたことからBigQueryを選定
- BIツールは、分析しやすさに定評のあるTableauに統一
- GCPのサービスアカウントのBigQueryへの書き込み権限の方向性を統一することで、データがどこから来ているのかが分かりやすいようにしている
導入の背景・解決したかった問題
導入背景
サービスの今後の成長に向けて、顧客を理解してより深いInsightを得られる分析を行い、次の施策に活かしていくために、データ分析基盤の構築を目指しました。 当時は以下のような状態でした。
- 複数のETL／BIツールが乱立し、データを分析する環境が各々で異なっていることで正確なデータをどこで見ればいいか分からず、管理コストが高く、用途の同じツールを1本化する必要があった
- 新しく作ったダッシュボードと同じモノが実は別の人が作成済だったりと、混乱の原因になったり無駄なコストを生んでいた
- 統一的な手法や基盤が整っておらず、データの正確性を担保できなかった
比較検討したサービス
Fivetran
比較した軸
- スピード感を持って再構築していけるか
- 利用しているサービスへのコネクタが対応しているか
- ETLツールとしての最低限の機能を保持しているか
- リトライの仕組み
- DAGを作れるか
- スケジューリングの細かな調整（タスク実行時間が、スケジューリング時なのか、実行時なのか）
選定理由
- 導入時点では、Yahoo!など日本でシェアの高いサービスとの連携がtroccoでしかできなかった
- 構築までのスピード感を高めるために、日本企業であることで円滑なコミュニケーションが取れることや密なサポートを期待した
導入の成果
- 短期間でデータ分析基盤を再構築できた
- 構築したデータ基盤とBIツール（Tableau）を使ってデータを見る社内メンバーが徐々に増えてきており、直近の社内ログインユーザー数が全社員の約12％の40人前後
- Tableau Cloud上での分析結果のView数は約200view/日前後
- データの正確性を担保する運用の仕組みを少しずつ実装し始めている
- マーケティング施策やモニタリングだけではなく、アプリケーションへのデータの利活用や広告の最適化など、さまざまな用途でデータ分析基盤が使われている
導入に向けた社内への説明
上長・チームへの説明
CPOが即同意してくれたので特にありません
活用方法
よく使う機能
データレイク、およびデータマートにデータを連携してデータ分析基盤用のデータ更新を行うために毎日利用している。
データワークフローを構築する上で、下記３つの機能をメインで使っている
- データ転送
オリジンデータ（DBなど）からデータレイクへデータ転送する - データマート
データレイクからデータマートを作成する - ワークフロー
上記①と②の処理をワークフローとしてまとめ、DAG化、スケジューリングを行う
ツールの良い点
GUIで設定できるので学習コストが低い
Web UIで設定できるので、エンジニア以外の方でも比較的すぐに使えるのはtroccoの大きな利点の一つ。ETLツールとしても、実用に耐える機能を有している。サポートが手厚い
弊社では、troccoを運営するPrimeNumber社の営業メンバーとの合同のSlackチャンネルを設けており、何かしら疑問点が発生した際に活用して、素早いレスポンスをいただいている。価格が適正
利用開始から2年近く経ち、設定数も1,000近くになっている。弊社内で転送量を抑えるための対策は行っている前提ではあるが、通常利用枠に収まっている。
ツールの課題点
SQLの管理（コードでの管理）ができない
データマート（Transform機能）を使う際にSQLを書くことになるが、どの設定にどのSQLが書かれているかを探索する方法がない。よって、例えば、あるSQLが高コストだとわかった際に、どの設定のSQLなのかを、設定した本人以外がわからない。多数の設定を行う場合はGUI上での作業が煩雑になり工数が増える
1〜2件の設定なら問題ないが、大きなプロジェクトの対応で大量の設定を追加する必要性が発生した際に、1件1件設定する必要があり、似たような設定も多いので、手間がかかる上にミスが発生しやすい。カテゴリ分けがしづらく、確認したい既存設定を探しづらい
既存設定を検索する際は、設定名で検索することが多い。設定数が増えてくると、どうしても似たような設定名になってしまい、1回の検索で目的の設定にたどり着けないことが多い。
ツールを検討されている方へ
覚えるのが簡単なので扱いやすく導入が容易です。 また、社内でデータ基盤を構築し始めた際に、必ずどこかのウェアハウスにデータを集約することになると思いますが、コネクタも豊富で大抵のサービスに対応しているので不便を感じることはないと思います。 データエンジニアの方が少ない（いない）企業でも扱える、ETLツールとして大変優れた製品だと思います。
アソビュー株式会社 / yyone
メンバー / 従業員規模: 101名〜300名 / エンジニア組織: 101名〜300名
よく見られているレビュー
アソビュー株式会社 / yyone
メンバー / 従業員規模: 101名〜300名 / エンジニア組織: 101名〜300名
レビューしているツール
目次
- アーキテクチャ
- 導入の背景・解決したかった問題
- 活用方法