Datadog の導入と活用によるオブザーバビリティ強化

ツール導入前の課題

2020年当時では、システム監視ツールとして複数のツールを利用していました。

• Librato: モニタリング
• New Relic APM: アプリケーションパフォーマンスモニタリング
• Pingdom: 外形監視

用途別にツールが別れており、どのツールで確認すべきか不明瞭な状況が発生していました。 また、障害の早期検知、外形監視の整備が十分に行き届いていないことも課題と認識していました。

どのような状態を目指していたか

• ツールの統一: すべての監視情報を Datadog に集約し、認知コストを削減
• 外形監視の強化: 提供サイトやサービスの障害発生時の迅速な対応体制の整備

• Amazon CloudWatch Alarms

改善したかった課題はどれくらい解決されたか

• 情報の一元化: APM や外形監視を Datadog にまとめたことで、確認すべき情報がわかりやすくなった。
• 障害の早期検知: Synthetics Test の導入により、障害発生を早期に発見し対応できる体制が整いました。

どのような成果が得られたか

• オンコール体制の構築: 監視アラートを Slack と PagerDuty と連携することで迅速な対応が可能になりました。
• SLI/SLO 運用の推進: オンライン診療チームを対象に SLI/SLO を定義。毎月の振り返り会で Datadog を活用し、改善すべきポイントを具体的に議論できる。

• GraphQL API を提供していますが、エンドポイントがひとつのため GraphQL Ruby の Datadog Tracing を利用し GraphQL の Query 、 Mutation 単位で APM を確認できるようにしています。

  use GraphQL::Tracing::DataDogTracing, service: 'clinicfor-graphql' if Rails.env.production?

• 社内のオブザーバビリティの民主化を進める場合、ユーザ課金がない Datadog は非常に有用です。
• ログ利用料に注意し、予算管理に気をつける。

• 他プロダクトチームへの SLI/SLO の定義と実装の推進
• Datadog を活用し、DBデータ量のパフォーマンス監視や、ECS キャパシティプランニングを実施。サービスのパフォーマンス維持に貢献していきます。