GENDAデータ基盤チームにおけるHCP Terraformの活用

ツール導入前の課題

弊社では、データ基盤のインフラにAWSを、DWHにSnowflakeを利用しており、当時はスピード重視でリソースが作成されていました。

AWSについては、リソースがすべてコンソールから直接作成されていたため、設定内容を確認するにはコンソールにログインしなければならず、変更も同様に直接操作が必要でした。これにより、設定の一貫性や変更履歴の管理が困難でした。

Snowflakeでも同様に、コンソール上でSQLを実行する形でリソースが構築されており、テーブルなどの構造はSQLファイルで管理されていたものの、権限設定についてはファイル管理がされていませんでした。現状の権限を確認するには、本番環境で直接SQLを実行する必要があり、特に監査やレビューの際に課題が残っていました。

どのような状態を目指していたか

インフラの構成や設定がソースコードで一元管理されている状態を目指していました。これにより、インフラの状況が可視化され、「誰」が「何のために」変更を行ったのかが明確に追跡できるようになります。また、インフラ変更の履歴を残すことで、類似環境を再現したい場合に低コストかつ効率的に構築できる体制を整えることを目指していました。

• AWS CloudFormation
• Pulumi

複数サービスの一元管理

AWSやSnowflakeをはじめとする複数のサービスを一つのツールで管理できること。これにより、インフラ構成が分散せず、管理の一貫性を確保できる点を重視しました。

既存リソースの取り込み

すでに構築済みのリソースを簡単に取り込んで管理できること。移行や既存インフラの再構築を最小限に抑えるため、リソースのインポート機能が充実していることを評価ポイントとしました。

柔軟な制御構文

制御構文や条件設定が充実しており、開発者の要望を実現しやすいこと。カスタマイズ性が高く、複雑な要件にも対応できる柔軟性が求められました。

活発なコミュニティとナレッジベース

ツールのコミュニティが活発で、ドキュメントや事例が豊富に揃っていること。これにより、問題発生時のトラブルシューティングや最適な実装方法の学習がしやすく、スムーズな運用が期待できる点を重視しました。

他のツールと比較した結果、当時、重要視していたポイントをすべて満たしていたのがTerraformでした。TerraformはAWSやSnowflakeなど複数のサービスを一元管理できるうえ、既存リソースの取り込みや柔軟な制御構文も備えており、当社の要件に最も適合していました。また、採択者がすでにTerraformを技術スタックとして持っていたことから、メンバーへのフォローアップや社内でのノウハウ共有がスムーズに進められると判断しました。

改善したかった課題はどれくらい解決されたか

• リソースの可視化

すべてのリソースを取り込むのは物量的に難しかったものの、主要なリソースをTerraformで管理することで、ソースコードからデプロイ内容が確認できるようになりました。これにより、インフラの構成を把握しやすくなり、変更の可視性が向上しました。

• インフラ変更のレビュープロセス

TerraformコードをGitHubで管理することにより、インフラへの変更に対するコードレビューが可能になりました。これによって、インフラリソースのリリースに対して正しいフローを確立し、変更の品質と一貫性が確保されました。

• ステージング環境の効率的な構築

Terraform導入後、ステージング環境を構築する必要が生じましたが、環境ごとの設定ファイルを作成し、必要なモジュールを呼び出すだけで本番環境と同一の構成を再現できました。これにより、テスト用の環境構築がスピーディーかつ容易になりました。

どのような成果が得られたか

• 自動化されたCDの実現

IaC化により、GitHub Actionsを用いたCI/CDパイプラインを確立。Pull Requestやマージがトリガーとなることで自動的にデプロイが実行されるようになり、リリースプロセスが効率化されました。

学習コストの高さ

チーム内にTerraform未経験者が多く、Terraformの習得に対する学習コストが高かったこと。新しいツールの理解に時間がかかるため、全体のスキルレベルに応じたサポートが必要でした。

既存リソースの取り込みの難しさ

既存リソースの量が膨大で、すべてをTerraformで管理するのは現実的に困難でした。既存インフラの一部のみを段階的に取り込むなどの対応が必要で、移行に時間を要しました。

まず小さな環境から始めて、少しずつ範囲を広げるのがおすすめです。 学習コストはどうしても大きいツールなので、知見を持つ方がいない場合の導入には注意が必要です。 また、Providerのバージョンアップは前述の通り、後方互換性がない場合があるため導入時にはできる限り新しいバージョンでの導入をおすすめします。