レコチョクのAutify導入事例紹介

Seleniumを使用したWebサイトの自動テストを検討しましたが、テスト自動化の環境構築や保守運用を行う人材、ならびにメンテナンスに必要なリソースとコストを考慮すると、弊社の体制では運用に乗せることが難しいと判断し、一旦諦めました。

しかし、Autifyに出会ったことで、自動テストを導入するためにSET（Software Engineer in Test）の体制を立ち上げることなく、QA（Quality Assurance）チームが導入して推進できる見込みが立ちました。

• Selenium IDE
  • 2019年当時は、現在のように比較検討するノーコード・ローコードのツールは少なく、OSSが中心でした。

1. シナリオ作成の容易さとメンテナンスコスト
2. 実行スピードが安定しているか
3. テスト失敗時の確認と修正リトライが容易であるか

トライアルでPoCを行い以下メリットを感じました。

テスト対象を「クリック操作」でスクリーンショットとともにテスト実行ステップを記録する操作手順は、直感的で使い勝手が良いと感じました。

UI要素の個々にロケーターを探す手間がなく、自動で取得してくれる点が非常に便利です。 ステップの挿入や差し替えもマウス操作で自由に行えるため、コードが書けない方でも低いハードルで利用できると感じました。

実行スピードも手動に比べて約4分の1の時間で完了するため、リリースまでの期間を短縮できることが期待されます。

また、並行実行が可能なので、クロスブラウザでのテスト実行に大きなメリットがあると考えられます。

改善したかった課題はどれくらい解決されたか

1. エンハンス開発のたびに、同じリグレッションテスト（回帰テスト）をQAのテスターが手動で毎回実行していました。開発終盤では時間的制約によりテストを省略することもありましたが、ツール導入後は気にする必要がなくなりました。
2. 開発終了後のスモークテスト（基本的な正常確認）を開発を担当したエンジニアが手動で毎回実施していましたが、ツールを利用するようになり、負担が軽減されました。

どのような成果が得られたか

• 実行担当者のリソースを気にすることなく、繰り返しテストを実施できるようになりました。
• テスト実行時間が短縮されました。（手動実行と比較して約4分の1程度）
• テスト実行回数が向上し、テスト通過率を指標とすることでプロダクトの状態を可視化できるようになりました。

テスト失敗時はどのステップでエラーが発生したのか確認が可能ですが、場合によっては直前のステップまで遡る必要があり、慣れるまでは時間がかかりました。

用意されているコマンドだけでは対応できないステップもありますが、その場合はJSステップ（JavaScript）を使用することで対応できる範囲が広がります。 しかし、コードを書けない担当者に対して、この部分のサポートに苦労しました。

自動テストツール導入の目的が「コスト削減」や「人手が少ないため自動化したい」という理由だけである場合、注意が必要です。自動テストツールを導入しただけで目的を達成するのは困難です。自動テストツールを安定して繰り返し実行し続けることが重要なポイントとなります。

Autifyは、保守から運用までを考慮して作られたツールですが、うまく活用するためには導入後の保守を見据えて、ツールがプロダクト開発プロセスや運用体制にマッチするかどうかを見極めることが大切です。

特に「メンテナンスや修正の頻度」、「属人化の防止」、「自動テストの適用範囲」などを意識して検討すると良いでしょう。