株式会社現場サポートのAutify導入事例

ツール導入前の課題

テストについては9割以上が手動で実施。 テスト実施者は実装者とは別のエンジニアが担当。 リグレッションテストについては、プロダクト開発チーム全員で手動で実施。 各エンジニアにテスト対象機能が割り当てられ、各機能内で確認すべき粗めの機能が一覧がGithubに登録されており、各エンジニアはその一覧に従い自分の考えうるテストを手動で実施する運用でした。 次のような課題がありました。

• テストのレベル感が人によってばらつきがある。
• リグレッションテストのタイミングがリリースギリギリで1回だけである。
• QAエンジニアの採用に苦戦している

どのような状態を目指していたか

• リグレッションテストのレベル感をそろえたい
• リグレッションテストをいつでも好きな時に何度でも実行したい
• 手動によるリグレッションテストコストを削減したい
• テストのメンテナンスコストを抑えたい
• コードを書けない人でもテストの作成・メンテナンスを可能にしたい

• Playwright
• mabl
• MagicPod
• T-DASH

重要度：大

• 柔軟にテスト作成できる
• 学習コストが低い
• 容易にテスト作成、修正ができる
• サポートが充実している

重要度：中

• メールが絡むテストが容易に可能
• テスト結果をChatworkに通知できる
• 定期実行できる
• 実行時間
• 4ブラウザでテスト実行できる（chrome,Edge,Firefox,safari）
• 価格

全てのツールをトライアルで試させてもらい特に次の点が好評価のポイントになりました。

直感的にテストが作成できる

コードが書けない人でもこれならばテストを作成することができると感じたところです。レコーディング中心でテストしたい操作しながら、操作結果を確認したい点を設定することでテスト作成ができ直感的でわかりやすいです。

テストの保守が簡単

テストが失敗しても原因調査や修正がとても簡単です。 動画やスクリーンショットを見ながら原因を特定できます。簡単な画面変更によるテスト失敗はAIによる修正案提示を受け入れるか否かを選択するだけでテスト修正が完了します。 更に、どのツールも少なからず、どうやればやりたいことをより良い形で実現できるか考える場面がありましたが、そんなときに助けてくださるサポートが一番充実していたことが決め手でした。

シナリオをゼロから作成

自動テストの作成がはじめてでしたのでシナリオをゼロから作成しました。 ユーザーストーリーマッピングから重要なシナリオを整理していきました。

Autifyのシナリオステップ数

1つのシナリオのステップ数が200を超えるとサポート対象外になることがあります。 サポート対象外になるのもですが、自分自身もシナリオを把握しづらくなり保守性が下がると感じます。1シナリオに詰め込み過ぎるのはオススメしません。適度にシナリオの分割が必要になります。 最初はこのシナリオを分割に苦労しました。

Autify運用ルールの作成

Autifyのサポートからのススメもあり、シナリオやテストプランなど作成するにあたり命名規則やラベルの設定などルールを決めたほうが良いと感じました。特に複数メンバーで運用するケースだと、あっという間にシナリオやテストプラン等は増えていきます。適切に検索できないと運用で苦労することになりますので、Autifyでテスト作成作業を進めながらルールを作成していきました。

直感的に使えて学習コスト、保守コストがかなり抑えられると思います。 シナリオがあれば非エンジニアでもテストを作成することができると思います。 トライアル中もサポートへの問合せは制限なしにできますのでトライアルで色々試して体験するのが一番手っ取り早いと思います。 契約後はオンボーディングを丁寧にしていただけますので相談相手がいるという点でとても安心です。

価格がUSドル基準なので、円で支払される場合は為替の影響を受けますのでご注意ください。

Autifyによるテストもかなり安定してきたので、Autifyによるテスト運用を開発チームに移管していきたいと思います。 E2Eテスト以外の自動テストも活用して重要な機能を自動テストでカバーできる状態を目指す。 顧客体験も開発者体験も両方の向上を目指していきます。