ウェルスナビ株式会社のAutify導入事例
ウェルスナビ株式会社 / wn-tkinoshita
QAエンジニア / 従業員規模: 101名〜300名
利用プラン | ツールの利用規模 | ツールの利用開始時期 |
---|---|---|
Autify for Web Advanced | 10名以下 | 2021年8月 |
導入の背景・解決したかった問題
導入背景
Autifyを導入する以前は以下のようにテストを実施していました。
- ITにおけるシステム間結合のテスト システム間結合のテストでは、案件で変更が入る箇所について、正常系だけでなく、準正常系、異常系について、初期値や組み合わせ、データ正誤、バリデーション等を細かく確認していました。案件が発生するたびにWebサイトへの仕様変更が入り、手動でテストケースを作成し手動で確認する手法をとっていました
- STにおけるリグレッションテスト
リグレッションテストでは、正常系のシナリオに沿ったテストを通してデグレードが発生していないかを確認していました。リグレッションテストは、大きな粒度でテストケースを作成しているため、開発サイクルによる仕様変更でテストケースに変更が発生する頻度が多くありませんでした
しかし当時は以下のような課題を抱えていました。
- リグレッションテストの実施は、外部ベンダーリソースを利用するため、先方と実施タイミングを調整する必要があり、柔軟なテストスケジュールが組みにくい状況でした
- プログラム修正等が入り、再度リグレッションテストを実施する場合には、都度費用が発生しました
そこで、リグレッションテストで、提携企業向けのWebサイトでのデグレードをリリース前に検知できる状態を目指して、自動テストツールの導入を検討しました。
比較検討したサービス
- Selenium
- Cypress
- Mabl
- Magic Pod
- Autify
比較した軸
- 正常系のケースを安定して、テストを終えられること
- Webサイトへの仕様変更に伴う、テストシナリオの修正が開発サイクルに遅れないこと
- Seleniumなどに精通した技術者が必要でないこと
選定理由
- 複数のWebサイトに対して、同時で並列にテスト実行ができたこと
- レコーディングでのテストシナリオ作成に加えて、JavaScriptでの実装も可能なので、より高度なテストシナリオ作成ができること
- メール連携が提供されていたこと
導入の成果
Autifyの導入によってそれまでのリグレッションテストにかかっていた費用を32.4%削減することに成功しました。
また、並列実行や作業の裏側で実行出来るようになったことで、スケジュールの短縮や、テスト実施できる提携企業向けのWebサイトの数が、1件から全件(23件)に拡大できました。
導入時の苦労・悩み
Autify導入に専念できるだけのチーム人数がおらず、これまでのQAとしての業務と並行して作業を進める必要がありました。
また、手動によるテストから、Autifyによる自動テストへの置き換えが完全に完了するまで、成果が見えづらいのは辛い部分でした。
導入に向けた社内への説明
上長・チームへの説明
経営陣・上長に対しては、以下2点を説明しました。
- 外部企業によるテスト実施から、Autifyによるテスト実施への移行で費用削減が見込まれる
- またリグレッションテスト実施のカバー範囲が、提携企業向けのWebサイトが1件から複数件へと広げられる
また、チーム内へは、Autify導入後の未来予想を説明し、数ヶ月の試用期間を設け、実際のテストケース作成を行いました。
試用期間の間、Autifyの営業・技術担当者には、定例での課題解決などにおいて伴走してもらいつつ、テストシナリオ一式を作り上げました。その後は、開発案件に合わせて定期的に実行し、社内での実績を積み上げていきました。
活用方法
Webサイトの機能改修確認後、全提供企業様向けのテストシナリオを実行しています。OSやブラウザ等の外部システムのバージョンアップ時の確認にも活用しております。
よく使う機能
- ステップグループ機能
- メールテスト機能
- JavaScriptステップ機能
開発側へもアカウントを払い出し、開発側のリグレッションテストも一部シナリオ化が実現出来ています。
ツールの良い点
- メールテスト機能によって、一意となるメールアドレスを生成し、受領したメール本文を検証できる
- テスト実施時に、実行したステップごとにWebサイトの画像が撮影され、失敗した箇所での原因特定が実施しやすい
ツールの課題点
- テストシナリオの待機手段が時間による待ち合わせのみで、flakyなテスト結果が発生しやすい
- 失敗したテストケースの再実行が、一括で行えない
ツールを検討されている方へ
導入の面では、非技術者もブラウザ上でWebサイトを操作するだけでテストケースが自動で作られるため、ツールに対する深い知見がなくてもテストシナリオの作成を行うことができると思います。
一方で、テストシナリオに細かい制御が必要な場合には、コーディング主体のツールを選択することが望ましいと考えています。
ウェルスナビ株式会社 / wn-tkinoshita
QAエンジニア / 従業員規模: 101名〜300名
よく見られているレビュー
ウェルスナビ株式会社 / wn-tkinoshita
QAエンジニア / 従業員規模: 101名〜300名