わかりやすい UI と豊富なコネクタが魅力！データ活用推進に注力したい組織におすすめな ETL サービス

ツール導入前の課題

データ基盤構築時に必ず必要になるのがデータ連携処理ですが、プロダクトごとにデータソースやインフラが異なるため個々に開発・運用を行う必要がありました。一方でデータ組織の規模もまだ小さく、他にも様々なタスクがある中で連携処理だけに時間を割くのは難しいという状況でした。

どのような状態を目指していたか

できるだけローコード・ノーコードに近い形で、それぞれのプロダクトのデータベースとデータ基盤間での安定した連携処理を実現したいと考えていました。またマネージドサービスを使うことでインフラやワークフロー管理も簡易化・一元化し、データエンジニアが他の課題解決に専念できる状態を目指しました。

• BigQuery Data Transfer Service
  • 現在は用途に合わせて併用しています（参考記事 : BigQuery Data Transfer Service を通して学ぶ Google 広告のデータモデル）

• プロダクトや外部システムなどのデータソースとデータ基盤（BigQuery）間のデータ連携がサポートされているか
• 設定の簡易さやランニングコスト

• 主要なデータベースはもちろん、外部システムとの豊富なコネクタをサポートしていること
• 転送ジョブだけでなく、ワークフローの定期実行設定などもわかりやすかったこと
• チームやリソースを分割できるため、コスト按分を含めた複数事業での運用管理がしやすかったこと
• 事業承継によって参画したプロダクトで既に利用実績があったこと

• データ基盤内外に対する日々のデータ連携について、データの欠損や連携処理の異常などを意識することなく安定して運用できています
• 連携するテーブルの追加・変更作業も軽微な修正で実現できるので、データ連携依頼対応のリードタイムもかなり短縮できていると思います
• 結果として、データエンジニアのリソースを他の課題（データマネジメントや利活用推進）に向けられています

• 導入初期はそれなりの量のテーブルを登録することになるため、個々に連携設定をつくっていくのが大変でした

• Trocco の GUI はわかりやすく操作性も良く、エンジニア以外の方でも簡単にデータ連携の設定・運用を行えることが魅力だと思います。一方で連携対象のテーブルやワークフローが一定規模を超えてくるとコード管理をしたくなりますが、本稿執筆時点では Git 連携は pull のみ（Trocco の一部設定 -> Git リポジトリへの同期）です。API および Terraform Provider によるリソース変更もサポートされていますが、設定項目はそれなりに複雑な印象なので今後、より手軽にできるようになると嬉しいですね。
• また、単純にコネクタの数が豊富なだけでなく、国内でよく使われているサービスをサポートしているというのも国産ツールのメリットだと思います。データ連携のために API 仕様から調べて開発したり、連携先のバージョンに追従していくのも大変ですので、十分な数のデータエンジニアがいない、あるいは他に注力するべき課題が多い場合などには間違いなく有力な選択肢ではないでしょうか。

上述の通り段々と規模が大きくなってきて GUI での管理が大変になってきているため、API や Terraform 経由でのプロビジョニングも生成 AI を絡めて試していきたいです。

また、現状は日次・あるいは数時間間隔でのデータ連携が主ですが、今後リアルタイム性を上げていく中で先日発表された CDC（Change Data Capture）なども検討していければと思っています。