株式会社カンリーでの、MagicPod導入でQAにかかる工数を約50%削減した事例

導入前の課題

MagicPod導入前は、別サービスのブラウザテスト機能を使用していましたが、目指していく状態に対してマッチしていない部分や技術的に推進しきれない点がありました。

• 料金形態が実行回数に応じての課金モデルになっていたため、求めていた日次で運用する場合にコスト制限がかなりあった
• 自動テスト特化のツールではなかったので目指したいことの達成が困難であった
• 導入した習熟度の高いメンバーが退場してしまった後、保守はできたものの拡張するナレッジが社内になかった
• 日本語未対応のサービスであったため、情報収集するにあたってもクセがかなりあった
  

目指していた状態

以上のような課題から

1. カンリーホームページにおける各社ホームページのサービスリリースに対して、工数効率を最適化した上で安定した品質を提供できる状態
   
2. カンリーホームページにおける各社ホームページにおいて、日次の自動テストを導入することで、サービスの不具合を即時検知できる状態にし、問題発生時にすぐに復旧できる状態
   

上記のような状態を目指してMagicPodの導入を進めました。

• Selenium
• cypress
• Autify

• 料金体系がテスト要件とマッチしていること
• 実装、メンテナンスに開発知識が不要なこと
• 学習コストが低いこと
• メンテナンスコストが低いこと

以下の点が決め手となりMagicPodを導入しました。

• ノーコードで作成可能
• テスト実行回数に制限が無い
  
  • テスト実行回数に制限がないことと、ノーコードで実装できることで、テストパターンをトライアンドエラーしながら作成でき、カジュアルに自動化に取り組める

MagicPodを導入した結果、目指していた状態に対して以下のような成果を得ることができました。

1. QAにかかる工数を約50%カットすることができ、かつ手動より大量のデータパターンでの確認ができるようになり、不具合の取りこぼしも減りました。
2. 日次テストを実行するようになったことで、日次で画面キャプチャの履歴が残るようになり、不具合検知時の発生タイミングの調査で有効に活用できるようになりました。

導入時に今まで手動で実施していたリグレッションテストを同じケースとして、適用させようとしていましたが、自動テストに落とし込む際にそのまま適用することができず、自動テストで同等の品質担保するにあたって設計方針の見直しとテストの再設計にかなりのコストがかかりました。

MagicPodは低コストで自動E2Eテストに取り組めるプロダクトだと思います！
導入するにあたっては、「自動化すること」をゴールとするのではなく、「自動化して何を実現したいのか」を決めてからの方が良いかと思います。
自動テストを短いスパンで繰り返し実行したい、複雑な条件分岐をテストケースに組み込みたい場合におすすめです。