NewsPicks 社内システムの低コスト・高可用性を実現したLambdaの利用例

ツール導入前の課題

弊社で使用している社内向けシステムの一つに「Watson」というシステムがあります。「Watson」とは簡単にいうと「NewsPicks」のユーザーIDをもとにユーザーごとの情報を検索・閲覧できるシステムで、お客様からの問い合わせ対応等に活用される重要なシステムです。「Watson」は構築されたのが8年前と歴史が古く、歴史が古い故に数々の問題を抱えていました。

改訂前の「Watson」のインフラ基盤は、「Classic Load Balancer」+「EC2」+「DB」で構成されるシンプルなものです。OSは「Amazon Linux 1」、フロントエンドが「React 15.4」、バックエンドとして「Node.js 7.10」を使用し、EC2内のアプリの永続化のためにforeverを利用していました。

• このインフラ構成では、以下の3つの観点で問題がありました。
  • 「セキュリティ」
    • 社内システムであることから、頻繁に開発がされておらず、バージョン更新等のメンテナンスがされていませんでした。
    • 開発環境もメンテナンスされておらず、開発・運用の負荷が高いことから誰も進んで開発をしない悪循環がありました。
  • 「可用性が低い」
    • シングルインスタンス構成であることから、リリースのたびにダウンタイムが発生していました。
  • 「コスト効率が悪い」
    • 常時起動している状態であり、利用していない時間でもコストが発生していました。
  • 「開発効率が悪い」
    • 当時のインフラはCDKによるIaC化がされていない状態であり、そのため開発するにしても、開発やリリース方法が複雑で効率が悪かったです。

どのような状態を目指していたか

抱えていた課題について、インフラ基盤を更新することで以下の状態を目指していきたいと考えていました。

• それぞれの課題について、セキュリティ、運用コスト、コスト、可用性のすべてを向上させたいと考えていました。
• 具体的には
  • リリースを容易にしてセキュリティ対策を容易化
  • マネージドサービスを駆使して運用コストを削減
  • サーバーレスにしてアタックサーフェースを減少
  • サーバーレスにして可用性の向上
  • サーバーレスにし、時間課金から呼び出しでの課金に変更

• ECS
  「Watson」は、API + SPA(シングルページアプリケーション)で構成されるシンプルなものです。ECSでの置き換えを検討しましたが、以下の観点からLambdaを採用しました。
  • API + SPAなのでS3 + Lambda(Express)でも置き換えが可能なこと
  • S3 + Lambda(Express)であれば、サーバーレス構成になり稼働時間の制御が不要なこと
  • サーバーレス構成にすることで、サーバーダウンがなくなり、可用性の向上が見込めること

• 低コストで高い可用性を実現
  • 社内システムであるという性質上、必要以上にリッチなインフラ構成はできないです。そのため、できるだけコスト低く、かつ可用性は高いインフラを実現しなければいけません。
  • S3 + Lambda(Express)の構成は、コスト・可用性面ともに実現できると考えました。

具体的に決め手になったポイントは以下です。

• マネージドなサービスであるため、インスタンス管理の必要がなく、運用コストが下がる点
• サーバーレス構成であるため、呼び出し回数による従量課金体系になる点
• サーバーレス構成であるため、簡単にダウンタイム発生を防ぐことができ、可用性が上がる点
• ダウンタイムが発生しなくなることから、開発者のリリース作業が容易になり、開発者体験も向上する点

改善したかった課題はどれくらい解決されたか

課題の4つの観点について、次のように解決されました。

• 「セキュリティ」
  • 開発・リリースが容易になったことで、セキュリティ関連の開発が進みました。
• 「可用性が低い」
  • Lambdaを利用したサーバーレス構成にしたことで、ダウンタイムの発生を防げる構成になりました。
• 「コスト効率が悪い」
  • サーバーレス構成にすることで、呼び出す回数による従量課金体系に変わった結果、コスト効率が向上しました。
  • マネージドサービスを利用することで、自前でインスタンスをメンテナンスする必要がなく運用コストも減少しました。
  • EC2で運用していた時と比べて、請求されたコストは1/10ほどまで減少しました。
• 「開発効率」
  • AWS CDKを使ってインフラの全てをIaC化した結果、開発効率が著しく向上しました。具体的には、Watsonの改訂後、DWHをRedshift -> Snowflakeへ移行する作業が発生しました。その際、IaC化していたことによりパッケージのバージョン更新やサーバー部分の処理変更などの動作確認・適用がスムーズに行え、迅速な対応に繋がりました。
  • IaC化したことにより、開発環境を用意できたことも寄与しています。またLambdaのコスト特性から、開発環境にかかるコストもほとんどありません。

どのような成果が得られたか

• 開発者が簡単に開発・リリースできるようになった結果、セキュリティ開発や機能開発が活発化
• コスト効率が上がった結果、従来のインフラと比べて大幅なコスト減少を達成
• マネージドサービスを利用した結果、インフラ管理者の運用・メンテナンスコストが減少