ソフトウェアデリバリパフォーマンス指標の導入とAutifyを活用したE2E試験の改革

Autifyの導入以前は2週間に1度、100以上あるリリース前試験シナリオを手動でWebサイトを操作して実施しており、QAチームのリソースやテストスケジュールが逼迫するといった問題がありました。

そのため、リリース前試験に4〜5人日ほどの工数が掛かっており、QAリソースを圧迫するだけでなくビジネス施策をタイムリーに市場投入する機会を逃してしまっている状態でした。

そこでリリース前試験を全て自動化できる状態を目指して、Autifyの導入を検討しました。

• mabl
• MagicPod
• Selenium IDE

• 機能・運用面
  • テストシナリオ作成とメンテの容易性
  • メール試験を含むセキュリティ障害防止試験の大半を自動化できそうか
• 手続き面(外部Webサービス利用申請) - SaaSの場合
  • Azure ADでSSOログインできるか
  • テスト対象サイトへ通信する際の要件 (接続元のIPアドレス制限可能か等)
  • セキュリティチェックシートを記載してもらえるか (≒サポート体制が十分か)
• その他
  • 料金

• テストシナリオ作成・メンテが容易であること (エンジニアでなくても作成できそう)
• サポート体制がしっかりしている (トライアル実施前のサポートが充実)
• 機能面が充実していてノックアウトファクタがない (リリース前試験の自動化ができそう)

Autifyの導入によって工数は着々と短くなっており、削減できた工数を他作業に回せています。しかし、テスト期間は理想としていた1日にはまだ届いておらず2〜3日程度になっています。Autify以外の課題もあるため、ここは今後の継続課題となっています。

シナリオのメンテナンス性

導入時に苦労した点としてシナリオのメンテナンス性があります。 自動化しようとしているリリース前試験では、転職希望者の方が求人情報を検索する操作など利用頻度の高い操作が多かったため、他シナリオでも必要になるものは積極的にステップグループにまとめていきました。

求人情報を検索する部分でも、以下のようにステップグループも細かく作っていき、汎用性を高められるようにしました。

• 求人検索画面に移動する
• 求人検索条件を設定する
• 求人検索ボタンを押下する

また、ステップグループ作成時の命名にも一定のルールを定め、作成者がすぐに探して使用できるようにしました。ステップグループを活用するとメンテナンス性や作業性の向上につなげられ、継続開発していく中でアプリ側に変更があった際にテスト修正の対応を小さくすることができます。


#### シナリオ実行の並列性 もう1つ悩んだ点として、シナリオ実行の並列性があります。

Autifyのテスト実行には直列実行と並列実行があり、直列実行は登録されたシナリオを１つずつ順番に実行できます。並列実行は、複数のシナリオを同時に実行することができ、契約プランにより同時実行数が決まっています。

私たちは、シナリオ数が多く直列だと実行時間が長くなりすぎるため、なるべくシナリオを並列化する必要があったのですが、シナリオを並列実行した際に以下のような問題が発生することもありました。

- バッチでメール送信した際に同時に実行している他シナリオのアカウントにメールが送信されてしまい、誤ったメールを開封してメールの中身確認がされてしまう。
- シナリオ間の疎結合性を高めるために、シナリオ実行のたびにアカウントを作成していたが、一部のアカウント作成に必要な承認処理を行う画面では検索機能がなかった。 →そのため並列実行すると複数のアカウント承認申請リストから適切な選択を行うことができずにテストが失敗してしまった。

これらの問題を解決するためにバッチや承認画面などにシナリオを並列実行できるようにするための機能を追加して対処しました。

ステップグループの活用は大きな鍵になると感じているため、導入の初期段階でどのようなかたまりでグループを作成していくかなど検討していくことをお勧めします。