ファストドクター株式会社のDatadog導入例と学びの共有

ツール導入前の課題

弊社ファストドクター株式会社は患者様向けにオンライン診療・救急往診等の医療サービスプラットフォームを提供していますが、以下の点で課題感がありました。

技術的課題

1. 断片的な監視体制

   • AWSネイティブツール（CloudWatch）やsentryのみでの単一的なエラーの監視
   • アプリケーションレベルの詳細な可視化不足
   • 異なるサービス間での統一的な監視基準の欠如

2. 障害対応の非効率性

   • 問題発生時の原因特定に時間がかかる
   • ログの分散により調査工数が増大
   • 予兆的な異常検知の仕組み不足

3. スケーラビリティの限界

   • 手動運用に依存した監視設定
   • 新サービス追加時の監視設定の属人化
   • パフォーマンス劣化の早期発見困難

組織的課題

• 開発速度とサービス品質のバランス: 高い開発速度を維持しながら、サービス品質も担保する必要性
• チーム間の情報共有: エンジニア以外のステークホルダーへの状況共有の困難
• 運用工数の増大: 監視・運用に関わる手動作業の負荷増

どのような状態を目指していたか

1. プロアクティブな運用

   • 問題が顧客に影響する前の予兆検知
   • 自動化されたアラートとエスカレーション
   • データドリブンな意思決定支援

2. 開発効率の向上

   • 開発者が自分でサービスの状態を把握できる環境
   • デプロイの影響を即座に可視化
   • パフォーマンス改善のための具体的な指標提供
   • IaCとしてTerraformを使ったオブザーバビリティ環境の一元的な管理

監視ソリューションとして以下のサービスを検討しました：

1. 技術的要件（重要度：高）

• 統合性: インフラ、アプリケーション、ログの一元管理
• スケーラビリティ: サービス成長に対応できる拡張性
• API: 自動化・カスタマイズのためのAPI提供

2. 運用効率（重要度：高）

• 学習コスト: チームメンバーの習得容易性
• 設定の簡単さ: 初期設定から日常運用まで
• UI/UX: 直感的な操作性と見やすいダッシュボード

3. コスト（重要度：中）

• 初期コスト: 導入時の費用負担
• 運用コスト: 月額費用の予測可能性
• ROI: 投資対効果の見込み

4. サポート体制（重要度：中）

• ドキュメント: 充実した技術資料
• コミュニティ: 問題解決のための情報源
• 企業サポート: 導入支援・技術サポート

1. 統合性の高さ

   • APM、インフラ監視、ログ管理、RUMが単一プラットフォームで完結
   • 異なるデータソース間での相関分析が容易

2. 優れたユーザビリティ

   • 直感的なダッシュボード作成
   • エンジニア以外のステークホルダーにも理解しやすいUI

3. 強力なAPI・自動化支援

   • TerraformによるIaCでの設定管理が可能
   • CI/CDパイプラインとの連携が容易

4. 成長への対応力

   • エンタープライズレベルでの実績
   • 段階的な機能追加による拡張性

改善したかった課題はどれくらい解決されたか

1. 開発者体験の向上

   • デプロイ後の影響確認が即座に可能
   • パフォーマンス問題の特定が容易
   • 開発フィードバックループの高速化

2. チーム間コミュニケーション改善

   • 統一された指標によるステータス共有
   • 非エンジニアにも理解しやすいダッシュボード
   • データドリブンな議論の促進

1. 既存システムとの統合

   • 既存のCloudWatch設定との重複回避
     • cloudwatchのログ情報はサイドカーでfirelensを導入してdatadogに転送してログ管理を一元化
   • Prisma利用時はクエリの詳細が見えない
     • TypeORMではpgを使っているのでデフォルトで見えるが、Prismaでは非対応のためOpenTelemetry経由での考慮する必要があり
   • Next.jsでdd-tracerの初期化がうまくいかずAPMが動かない
     • 参考) https://zenn.dev/datadog/articles/nextjs-datadog-apm
   • 複数環境での設定統一化

2. メトリクス設計

   • ビジネスKPIとの関連付け
   • アラート閾値の適切な設定
     • エラーログを見る会を定期的に開催して、まずいエラーログが出ていないか見直す必要があります。
   • 不要なメトリクス収集によるコスト増

導入成功のためのポイント

1. 段階的導入の重要性

• 一度にすべての機能を導入しない
• 各フェーズでの効果確認・調整
• チームの学習ペースに合わせた展開

2. 組織準備の重要性

事前準備チェックリスト:

• 現状課題の明確化・定量化
• 導入目標・成功指標の設定
• ステークホルダーの合意形成
• 予算・リソース計画の策定
• トレーニング計画の作成

3. コスト管理戦略

推奨手法:

• パイロット期間の設定: 小規模での効果検証
• 段階的機能追加: 必要性に応じた機能拡張
• 定期的な利用状況レビュー: 月次でのコスト最適化
• 代替手段との併用: オープンソースツールとの使い分け

失敗を避けるための注意点

1. 過度な完璧主義の回避

よくある失敗:

• 完璧な監視設定を最初から求める
• すべてのメトリクスを収集しようとする
• 複雑なアラートルールの初期設定

対策:

• 最重要指標から順次設定
• 最初からSLOを厳しくすると運用が大変になるので緩い値から初めて、徐々に調整していくのが良い
• シンプルなアラートルールから開始
• 運用しながらの継続改善

2. チーム巻き込み不足

リスク:

• 特定メンバーのみの理解・活用
• 組織的な活用文化の未定着
• 投資効果の限定的実現

対策:

• 全チームメンバーへのトレーニング
• 定期的な活用状況共有とナレッジベース化

Datadog MCP serverを利用したオブザーバビリティの改善