Cursorを活用してデータエンジニアの負担を軽減、データ基盤と分析環境を高速で進化させました

ツール導入前の課題

データエンジニアリングの多くの作業、例えばインフラの構築などは、繰り返しのプロセスを含んでいます。特に、インフラを維持するために使用しているツールのアップグレード時には、生産性が大きく低下していました。特に、使用しているTerraformプロバイダーのバージョンをアップグレードする場合、各アップグレードが本番環境に悪影響を与えないことを慎重に確認する必要があり、数ヶ月かかることもありました。また、SQLを使ってデータ変換モデルを作成する際も、繰り返しの多い構造に何度も対応する必要があり、時間を要していました。

どのような状態を目指していたか

• LLMを活用してデータ基盤に関する開発スピードを向上させ、データエンジニアリングチームの生産性を高めることが目標でした。
• インフラ構築やモデル作成といった繰り返しの多い作業を自動化に目指しました。
• 将来的には自然言語によるデータ分析の実現に向けた基盤作りも進めることを目指しました。

• Devin

• Devinはリモートファースト(クラウドで運用)、Cursorはローカルファースト（自分の端末で運用）
• Devinはサンドボックス環境内で動作するため、その挙動が分かりづらい
• Devinは購入したACUの容量に制約されるが、Cursorはリクエスト回数に基づく制限
• DevinのACUが枯渇すると完全に停止するが、Cursorは制限超過後も遅くなりつつ動作を継続可能

• Devinは非常に自律的で、プロセスの途中で一時停止したり、調整や方向転換を行ったりする柔軟性が乏しく感じられました。
• ACUが枯渇すると完全に動作不能になる点も課題でした。一方、Cursorはプロセス途中でもインタラクティブに調整可能であり、我々の開発ワークフローに適していると判断しました。

改善したかった課題はどれくらい解決されたか

• Terraformを活用したインフラ準備作業の自動化
• dbtでの繰り返し構造モデル作成の自動化
• ユーザーによるセルフサービスでのデータ分析・モデル作成（理論的に可能と確認、導入方法は検討中） 繰り返しの仕事も簡単にこなせます。

どのような成果が得られたか

• Cursorを用いてTerraform Snowflakeプロバイダーのバージョンアップをスムーズに実施でき、生産性を維持したままアップグレードが可能になった。（詳細：https://zenn.dev/dely_jp/articles/7758009f6ef3d6 ）
• dbtでの繰り返しモデル作成をCursorにより効率化し、従来は数日かかっていた作業を数時間に短縮
• 一般ユーザーによるCursorを活用したセルフサービス分析の可能性を確認（本格導入は継続検討中）

クォータ消費状況を常に確認してください。上限を超えるとパフォーマンスが大きく低下します。

コストを維持したままクォータを拡大することを目指しています。