GO株式会社のAutify導入事例
GO株式会社 / Ryo250
チームリーダー / QAエンジニア / 従業員規模: 501名〜1,000名 / エンジニア組織: 101名〜300名
利用プラン | ツールの利用規模 | ツールの利用開始時期 | 事業形態 |
---|---|---|---|
Autify for Web Advancedプラン | 10名以下 | 2021年11月 | B to B |
利用プラン | Autify for Web Advancedプラン |
---|---|
ツールの利用規模 | 10名以下 |
ツールの利用開始時期 | 2021年11月 |
事業形態 | B to B |
導入の背景・解決したかった問題
導入背景
Autifyの導入以前は、純粋にリソース不足でシステム全体のリグレッションテストが実施できておらず、それによってデグレが度々発生していました。
しかし、以下2点の課題からテストを行うことも難しい状況でした。
- 各種機能が多くなりリグレッションテスト項目が雪だるま式に増えており、現行リソースや納期を考えた場合、マニュアルテストではやりきれない。またはリグレッションテスト自体を実施出来ていないことが多々あった。
- テスト自動化は難易度が高く導入失敗事例も非常に多い。そのため導入するには、テスト自動化の技術をもったエンジニアの確保が必要だが採用に至っていなかった。
そこで、任意のタイミングで全体的なリグレッションテストを自動で実行する環境を整えることで、常時一定の品質を担保できるようにすることを目指してAutifyの導入を検討しました。
比較検討したサービス
Selenium
比較した軸
- 品質担保のために求めらる各種テストがAutifyで実行可能かどうか
- テスト自動化が未経験でも環境構築が可能かどうか
選定理由
無料トライアル中にフィージビリティ調査を行い、以下の2点が判明したためAutifyを選定しました。
- 次世代AIドラレコサービス『DRIVE CHART』のリグレッションテストにおける各種機能の7割程度がAutifyによってカバー可能であると判断された
- ツールが直観的に使えるため、未経験者でも初期導入の難易度が低かった
導入の成果
必要なタイミングで即テスト実行可能な環境が整備されたことにより、テストのカバー範囲が広がりました。
また、導入によって以下のような効果を得ることができました。
- リファクタ時等で開発が認識できなかったような箇所での不具合を検知することができるようになり、市場不具合を未然に防ぐのに役立っている
・開発メンバーの心理的安定性が向上
・開発のリリース速度も向上 - モチベーション維持が難しいリグレッションテストを自動化することにより、本来人間ではないとできないような業務に工数を掛けることが出来るようになった
導入時の苦労・悩み
そもそも自動化のノウハウがなかったので、全てがゼロベースからのスタートでした。テスト自動化で何を確認する必要があるかという視点で自動化向け観点を作成し、シナリオ化していくことから進めました。
また、Autifyでテスト自動化のシナリオを作成するのではなく、自動化を運用するための環境そのものを構築する必要がありました。
導入に向けた社内への説明
上長・チームへの説明
上長には、これまでリソースの問題でカバーしきれていなかった「既存機能に対し繰り返し動作確認させる」という面で自動化は有効である旨を説明しました。
また、手動テストでの想定工数を自動化によりカバーすることをベースに費用対効果を算出し、提示することで、自動化により「QAコスト」が削減できるというわけではないという点も説明を行いました。
社内への展開・導入推進
開発チームにも活用してもらうことで、より高い費用対効果を目指しました。それにより、普段手動テストで開発リファクタリング時でも動作確認が可能で、開発陣の心理的安定性が向上にもつながっています。
また、テスト自動化は専用メンバーを立てるのではなく、全員で取り組むことにより属人化を最初から防ぐという方針で社内に浸透させていきました。
活用方法
主に以下のような活用をしています。
- 開発前後で想定外の箇所に影響が出ていないか等のリグレッション目的
- 開発内部のリファクタ時
- 「健康診断」的な定期実行
よく使う機能
- テストプラン
- 共通ステップ
ツールの良い点
- 画面操作をそのままレコーディングする形でシナリオが作成される
- UIが見やすく、総じて使いやすい
- JavaScriptが必要なケースもあるが、スニペットが各種用意されているため、ハードルは低い
ツールの課題点
- 自動化ツール自体のコストが高い点(あくまで弊社観点)
2023年の料金改定により、運用コストが大幅に上がってしまい、費用対効果がその分下がった - ステップ数ベースで年契約となるため、状況に合わせての自動テスト計画が組みにくく、常に残ステップを意識する必要がある
- 内部エラーや不可解な実行結果NGの問い合わせに対するサポートの解決が遅く感じることがある
ツールを検討されている方へ
テスト自動化の入門編としては、以下の観点から非常に有用であるといえます
・画面操作をそのままレコーディングするだけで、自動テストシナリオが作成できる
・UIがシンプルで分かりやすい
・アサーション指定が分かりやすい
ただしノーコードでは限界があり、複雑なケースではJavaScriptを使用する必要があります。テスト実行ステップ数ベースでの課金となるため、コスト管理等で運用に負担がかかるため、長期的に見てコストが見合うかを検討した方がよいです
テスト自動化の初期構築だけではなく、メンテナンス性も含めてツールを検討すべきだと思います
→メンテナンスで工数を多くとられるような場合は、結局コストが嵩んでしまうため
GO株式会社 / Ryo250
チームリーダー / QAエンジニア / 従業員規模: 501名〜1,000名 / エンジニア組織: 101名〜300名
第三者検証会社で、主にネットワークシステムや業務システムのQAエンジニアとして従事。 2022年よりGO株式会社でAIドラレコによる事故削減を目的としたサービスのWebサービスを担当 要件定義の上流から下流までの各種検証やテスト自動化まで色々と品質管理に関する業務に従事中
よく見られているレビュー
GO株式会社 / Ryo250
チームリーダー / QAエンジニア / 従業員規模: 501名〜1,000名 / エンジニア組織: 101名〜300名
第三者検証会社で、主にネットワークシステ...