Athena導入でログ調査の大幅コスト削減を実現

ツール導入前の課題

弊社SODAでは、月間600万人以上が利用するマーケットプレイス「SNKRDUNK（スニダン）」のログ監視・分析にDatadogを利用しています。 Datadogは高機能で非常に優れたサービスですが、アーカイブされた過去ログの調査には高額なコストが発生するという課題がありました。

コスト最適化のため、1週間を経過したログはS3にアーカイブする運用を行っていましたが、過去のログを調査する必要が生じた際には、そのデータをDatadogにrehydrate（再取り込み）する必要がありました。

このrehydrateには、データ量に応じた取り込みコストとS3からの転送コストが発生し、GB単位での課金となるため、広範囲な調査では非常に高額になってしまいます。さらに、大量のログをrehydrateするには数時間かかることもあり、迅速な調査対応が困難でした。

どのような状態を目指していたか

この状況を受けて、S3にアーカイブされた大量のログを低コストで検索・分析できる新たな環境の構築を目指しました。

最優先事項は調査コストの大幅な削減でしたが、同時に緊急の調査依頼にも迅速に対応できることも重要な要件でした。日常的なログ監視はDatadogの強みを活かして継続しつつ、過去ログ調査については費用対効果の高い代替手段を見つける必要がありました。

• Datadog Rehydrateの継続利用
  • S3からDatadogへログを再取り込みする既存の方法
• DuckDBの新規導入
  • 任意の環境でS3上のデータを直接クエリする分析用データベース
• 自前スクリプトによるログ集計
  • S3からログをダウンロードして自前スクリプトで処理する方法

比較検討にあたって最も重視したのは、何よりもコストの大幅削減でした。Datadog rehydrateの高額な費用を、できる限り削減したいと考えていました。

また、処理速度の改善も重要な観点でした。rehydrateに数時間かかっていた処理時間を短縮できれば、調査の効率が向上します。さらに、既存のS3アーカイブ構造をそのまま活用できることで、導入コストや実装工数を最小限に抑えたいと考えました。

運用面では、SQLなど標準的な技術で扱えることで学習コストを抑えられること、サーバーレスなど保守負担の少ない仕組みであることも考慮しました。これらの観点から各サービスを比較検討した結果、Athenaが最も適していると判断しました。

Athenaを選択した最大の決め手は、圧倒的なコスト削減効果でした。試算の結果、6.36TBのデータ処理コストが$1,552から$31.8へと、実に98%もの大幅削減を実現できることが分かりました。

さらに、S3とAthenaを同一AWSリージョンに配置すれば、データ転送コストが発生しないという点も大きな魅力でした。技術的にも、標準SQLが使えるため特別な学習コストが不要で、チームメンバーがすぐに使い始められます。サーバーレスサービスであるため、インフラ管理の負担も少なく、使った分だけの課金という透明性の高い料金体系も安心感がありました。そして何より、既存のS3アーカイブ構造をそのまま活用できるため、移行作業が最小限で済むことが決定的でした。

改善したかった課題はどれくらい解決されたか

導入の結果、当初の課題はほぼ完全に解決されました。最大の目的だったコスト削減は、実際に98%の削減（$1,552→$31.8）を達成しました。 調査のリードタイムも短縮され、以前はrehydrateに数時間待つこともありましたが、Athenaでは即座にクエリを実行できるようになりました。ただし、大量データを対象とする場合には一定の実行時間が必要です。

どのような成果が得られたか

今後も継続的なコスト削減効果を見込めることによる、さらなるコスト最適化が成果となりました。

Athenaの導入は、すでに別件で検討を進めていたSREチームの方と一緒に進めることができたため、比較的スムーズに進みました。構築段階では、S3上のJSON形式のログ（json.gz）からAthenaテーブルスキーマを定義したり、日付ベースでプレフィックス分割されているS3構造に合わせたパーティション設定を行ったりと、いくつかの準備作業が必要でした。

また検証段階では、クエリ結果の出力先S3バケットの設定、パーティションを活用したクエリの用意、30分のタイムアウト制限を回避するための分割実行の検討など、実運用で必要なプラクティスを確立する必要がありました。

ログ調査において、S3からの大容量データ転送コストや既存分析ツールの利用料金が課題となっている場合、Athenaは非常に効果的な解決策となります。

パーティション設計と同一リージョン配置に注意することで、日時ベースでパーティション分割されたデータに対してWHERE句で期間指定を行いスキャンデータを必要最小限に抑え、S3とAthenaを同一リージョンに配置することでデータ転送コストを回避できます。

もちろんAthenaにもタイムアウトや機能面の制約があるため、Datadogのような高機能なサービスとの使い分けが重要です。それぞれのツールの特性を理解し、目的に応じて最適なものを選択することが、効果的なログ活用とコスト最適化に繋がると思います。

※このレビューはファインディ株式会社様からご依頼いただき、Athenaを活用してログ調査コストを98%削減した話 ($1,552→$32)をベースに再構成・加筆したものです。