E2Eテストの自動化、およびリグレッションテストの導入

ツール導入前の課題

• 体系化・自動化されたリグレッションテスト、およびE2Eテストの自動化基盤も存在しなかった
• そのため、市場に出てからボタンが押せない・保存ができないといったデグレに気づくこともあった
• また、ユニットテストでは気付けないデグレも発生していた
  • 致命的なデグレではないものの「E2E自動テストがあれば…」と考え始めるにはいいきっかけになった。

どのような状態を目指していたか

• E2Eテストの自動化基盤ができていること
• 製品において、ユーザーにとってのコアとなる機能（CUJ: Critical User Journey）についての自動テストが定期的に実行されていること

• Cypress
• MagicPod

などのノーコード/ローコードE2Eテスト自動化ツール

• 動作速度
• 並行テスト
• マルチタブ
• 自動コード生成
• VRT

• Githubでテストコードのバージョン管理をしたかったのでノーコード/ローコードE2Eテスト自動化ツールは除外
• 動作速度も速く、並行テストも可能なため、テスト時間を最短にできる点
• マルチタブ対応ということで、マルチタブでの操作で生じるエラーも再現・テストできる点
• 自動コード生成（Codegen）機能が便利で、コーディング経験が少ないメンバーでもベースとなるテストくらいは書けそうな点
• 公式ドキュメントが豊富で基本導入・操作に困ることが少なかった点

改善したかった課題はどれくらい解決されたか

• 対象リポジトリへのPRマージタイミングで、定期的にリグレッションテスト（CUJについてのE2Eテスト）が自動で実施されるようになった

どのような成果が得られたか

最低限の品質確保

• 新機能やリファクタが本番環境に入るまでに必ずCUJのテストは通るようになったため、最低限の品質は確保できるようになり、デグレが発生したとしてもクリティカルなビジネス影響が起きないようになった

テスト時間削減の実現

• CUJのテストを手動で実施した場合: 7min50sec

• CUJのテストをPlaywrightで自動化して実施した場合: 1min40sec

  • 実行時間を80%程度削減＋定期実行で品質を担保

• Playwright自体については特に苦労した点などはあまりなかった
• それよりは、PRマージのタイミングでCI（CircleCI）上でPlaywrightが実行されるようにする基盤を作るのに少し苦労した（Playwrightに問題があるということではなく個人スキルの問題）

Playwrightは、必ずしも高い開発力がなくても活用できます。たとえば、

1.手元のPCにPlaywrightをインストールして、対象プロダクトに対してお試しでテストをする

2.それを何かしらのツール（cronなど）で定期実行する

など、まずはやってみて、効果測定をして、CIに組み込みたいなと思ったら開発チームに協力を仰ぐ、のような流れで導入することもできます。

個人的には、E2Eテスト自動化のスキルはQAエンジニアにとって今後必須になってくるかと思います。 無料で使用できますので、まずはお試しでもいいので触ってみるのがいいのではないでしょうか。

現状メインリポジトリのCircleCI上でだけ動くようにしていましたが、別リポジトリとのやりとりがある操作のテストが必要になっています。 そのため、全リポジトリが本番環境相当で動くようなE2Eテスト専用環境を構築し、その環境内でPlaywrightがE2Eテストを定期（1時間に1回やPRマージタイミングで）実行するように整備中です。

また、将来的にはVRTの導入も考えています。