データエンジニアがいなくても大丈夫。初めてのデータ基盤構築にはtroccoがおすすめ

参考になった

レビュー投稿日の情報になります

atama plus株式会社 / kumewata

メンバー / SRE / 従業員規模: 101名〜300名 / エンジニア組織: 11名〜50名

最終更新日2024/05/13投稿日2024/05/13

利用プラン	ツールの利用規模	ツールの利用開始時期
Light	10名以下	2020年9月

導入の背景・解決したかった問題

社内で分析基盤を立ち上げることになり、BigQueryを選定しました。しかし、ソースDBはAWSにあるため、プラットフォームをまたいだデータ転送手段が必要でした。

データ転送の運用にかける工数を最小にして、DWHの構築に集中したいと考えていたため、troccoの導入を検討しました。

導入・運用コストを抑えた上でデータ特性にあった要件が満たされていることを重視しました。

導入時の苦労や悩みは特にないです。

気になった点は都度サポートに相談に乗っていただき、すぐ解消することができました。

一定額未満のツール導入は開発チームに裁量があるため、経営陣・上長への特別な承認などは不要でした。

troccoを導入する上で、社内へデータ特性の分類ごとに設定手順書を作成し、共有を行いました。

また当時データカタログ機能を使用しており、情報を集約することで社内でのデータ活用推進に役立てました。

自社アプリケーションDBに加えて各種SaaSのデータをBigQueryに転送しています。

現在はデータ収集部分をtroccoとDatastreamを組み合わせ、下記のように使い分けています。

trocco：外部SaaSや新規アプリ向け
Datastream：転送テーブルが多くリバースETLも実施したいアプリ向け
まずはtroccoから始めて、データ基盤のstaging環境構築のニーズが出たドメインから、IaCやワークフローエンジンとの相性を加味してDatastreamに移行しています。

専任のエンジニアがいなくても導入・運用しやすいところ
エンジニア以外の方でも学習コストが低く、GUIで設定できるため分析基盤構築のハードルが低いです。
連携できるサービスが豊富なところ
主要なアプリケーション用DBを始め、多様なSaaSと簡単に連携できます。
サポートとのコミュニケーションがとりやすいところ
弊社ではPrimeNumber社との合同Slackチャンネルでやりとりしています。利用時の疑問や発生した問題について問い合わせする際、素早く対応していただいています。

コード管理ができないところ
開発環境を用意しようとしたときに同じ設定をGUIで入力・管理するのが大変なので、コードで構成管理したくなります。
設定項目が増えるとGUIでの作業が煩雑になるところ
データ基盤が育つにつれて設定項目が増え、手作業ではミスが発生しやすくなります。
1と合わせてになりますが、設定前にレビューを通すフローを含められるようにしたいです。