株式会社IVRyのDatadogを活用した自動テストの導入事例

ツール導入前の課題

サービスの成長に伴い、開発チームでは毎週のようにリリースが行われていました。 QAエンジニアがリリース物を全て手動で実行していたため、テストリソースが不足し、リリースが遅れそうになることが多々ありました。 今後のメンバー増員やリリース頻度の向上を考えると、QA段階でボトルネックになることが課題でした。

どのような状態を目指していたか

まずは、毎週リリースを安定的に実現できる状態を目指しました。 その際、QA段階のリソースがボトルネックにならないことを重視し、具体的には、テスト工数を削減するためにリグレッションテストの7～8割を自動化することを目標としました。さらに、自動テストをQAエンジニアだけでなく、開発者も実行できるような状態を目指していました。

• Autify
• MagicPod
• mabl
• Selenium

• テストケースで実現したいことが8割以上可能であること
• コスト面
• ノーコード・ローコードの選択（開発者に依存しない体制を考慮）

• シンプルで使いやすい
• 実施したいテストケースが実行できること
• コストが安い
• すでにインフラ監視でDatadogを導入しており、知見を持つメンバーがいた

改善したかった課題はどれくらい解決されたか

導入したことで、リグレッションテストの実行工数を約7割削減でき、新機能や機能追加があった場合のテストの実行工数も約4～5割削減することに成功しました。

どのような成果が得られたか

自動テストを導入し、QA段階で実行することで、効率的に事前に問題を検知できるようになり、リリースが安定しています。元々は毎週リリースを行なっていましたが、Datadog Synthetic導入によりテスト工数を削減できた影響もあり、毎日リリースも可能となっています。

また、軽微なリリースに関しては、QAエンジニアだけでなく開発者もテストを行なっており、その際に自動テストが活用されています。

たくさんのSaaSサービスやライブラリなどがあり、どれが自社のプロダクトに最適かを調査・検討するのに苦労しました。そもそも、テスト自動化に対する解像度が荒く、漠然と自動化したいという思いがありましたが、プロダクトの性質や優先事項を絞ることで徐々に方向性が見えてきました。特に電話機能やUIの特性を踏まえ、まずは電話機能をスコープから外し、UIのリグレッションテストに適したツールを試していきました。

シンプルな操作性と低コストで導入できるため、自動テストの導入経験がなく効果を実感できるか不安な方や、すでに監視目的でDatadogを導入している方にも手軽に導入できるツールです。

プロダクトの性質に応じて、導入できるできないがあると思いますが、全てを自動化するのではなく、一部を自動化することも可能なので、まずは導入して自動テストの効果を試してみても良いかと思います。

導入を通じて多くの改善を実現できましたし、自動テストの導入を考えている方のお力になれれば幸いです。