Playwright導入によるテストサイクルの効率化

ツール導入前の課題

リリース直前に実施するシステムテスト(弊社では「リリーステスト」と呼ぶため、以下リリーステストと記載)ではノーコードの自動テストツールを導入していたが、プロダクトとの相性が悪かったため一部にしか適用できず、ほとんどを手動テストで対応していた。 手動テスト中心のリリーステストだと開発規模の拡大に伴いテストケースが増加し、テスト消化にかかる時間も比例して増加するため、素早いリリースサイクルを回すことが難しくなっていくことが想定された。

どのような状態を目指していたか

• 「いつでも」「どこでも」自動テストが実施できること
  • リリーステストだけでなく、開発中のリグレッションテストとしても実施できることでより早いフェーズで不具合を検知できる状態を目指した
• リリーステストで実施される手動テストが適切なケース数になること
  • 膨大になっていたリリーステストケースを整理し、自動テストで実施すべきテストケースは自動テストに移管することで、適切なテスト工数を保たれている状態
  • 新機能のリリース時にも適切に手動テストと自動テストの棲み分けができている状態

• Selenium
• TestCafe
• Cypress

• 利用言語
• プロダクトとの相性
• テスト実行速度
• 実行結果レポートの内容
• 環境準備の容易さ
• 実装のしやすさ
• ビジュアルリグレッションの提供有無
• 将来的なメンテナンス

• 環境準備の容易さ
  • Visual Studio CodeをインストールしPlaywrightの拡張機能を使うことで開発経験が少ないQAエンジニアでも容易に環境準備が可能

どのような成果が得られたか

• リリーステストにおいて手動テストケースを大幅に削減できた
• Playwrightで自動テストを実装することが当たり前になり手動テストケースの増加を抑制できた
• 開発中のリグレッションテストで利用することで早期に不具合を検知できようになった

環境構築も容易で、テストコードも自動生成できることから導入はしやすいです。 様々な用途で使えるので、導入する際には何を目的に自動化をするのかを明確にして、スコープを整理した上で進めるとよいと思います。

PlaywrightのCIへの組み込みをさらに進めたいと考えています。現状は基本的な機能(一部のブラウザおよび機能テスト)のみをCIに組み込んでいますが、VisualRegressionTestや複数ブラウザの対応も検討しています。