総ステップ数600以上のリグレッションテストをPRマージ時にAutifyに自動実行させたら開発体験が改善された話

ツール導入前の課題

Autify導入前は、E2Eテストをコード上で作成していました。しかし、実装とメンテナンスの両面でコストが高く課題となっていました。 従来のE2Eテストはエンジニアしかメンテナンスできず、そのメンテナンス性も担当者のスキルに大きく左右される状況でした。結果としてリリースのたびに、本来実施すべき全ブラウザでの動作確認やモバイル端末でのテストは手が回っていない状態でした。

また、弊社のプロダクトであるINVOYの請求書関連機能においては、当時行ったリアーキテクチャを原因として既存のE2Eテストが使えなくなってしまうという事象も発生していました。 コード化されていないテストはエンジニアが意図的に追加しない限り増えず、それ以外のテストは全て手動で実施されていたため、開発のボトルネックとなる可能性がありました。

どのような状態を目指していたか

私たちは、E2Eテストの効率化と品質向上を目指し、Autifyの導入によって以下の状態を実現したいと考えていました。

1.専門知識がない担当者でも容易にE2Eテストを作成・メンテナンスできる環境の構築 エンジニア以外もテストに参画できるようになり、テスト業務の属人化を解消し、より安定した運用を目指す。

2.これまで手動で行っていたリリース後の動作確認を自動化し、日々の継続的な品質監視体制を確立 テスト工数を削減することで、開発速度を向上させ、プロダクト全体の品質向上を図る。

弊社がAutifyの導入を決定するに至った主な理由は、以下の点に集約されます。

まず、E2Eテストの作成・メンテナンスがノーコードで容易に行える点が大きな魅力でした。 ブラウザ操作を記録するだけでテストシナリオを作成でき、メール連携やCSVアップロードといった複雑な操作も簡単に設定可能でした。これにより、エンジニア以外のメンバーでもテストの作成・保守が可能となり、テスト作成の属人化解消と体制強化が期待されました。

さらに、これまでテストが手薄だった領域のカバレッジを拡大できることも重要なポイントでした。従来はエンジニアのリソースに依存していたため、テスト拡充が進んでいませんでしたが、Autify導入によりこのボトルネックを解消できると考えました。

加えて、手動で行っていたデプロイ後やリリース後の動作確認を自動化し、日次実行できるようになることで、品質担保のレベル向上と工数削減が見込める点も決め手となりました。

定量的な計測は行なっていませんが、以下のような効果が見られています。

• 手動テスト時に発生していたリグレッションテストの抜け漏れが消滅。
• PRマージをトリガーにGithub ActionsからAutifyのテストが自動実行されるように設定したことで、リリース前にリグレッションテストが行われていることが保証されるようになった。
• リグレッションテストの手動対応工数の大幅な圧縮。
  • 例として法人カードのプロダクト（INVOYカード）においては、PRマージ後にシナリオ数にして9つ、トータルのステップ数においては639に及ぶ数のリグレッションテストを実行してくれています。
• テスト工数が削減されたことでエンジニアが開発作業によりコミットできる環境が整備された。

当たり前ですが、Autifyが実行してくれるテストケースについては導入時に誰かが人力で追加する必要があります。

全画面をカバーしようとすると膨大な時間がかかりますし、ツールの課題点のセクションでも言及していますが、値のコピペやリトライにあたるブラウザの挙動の再現をするにはJSのスニペットを自ら書いて読み込ませる必要があるので、シナリオを作るのにもそれなりの工数がかかりました。

Autifyは「AIを用いたノーコードテスト自動化ツール」とされていますが、現状の私たちのユースケースを鑑みるとJSを書かなければならない場面が少なからずあり、エンジニア以外が触るにはややハードルが高い印象です。 ただし、柔軟性が高く、リグレッションテストの自動化による工数削減という目的には十分応えるツールだと感じました。