mablの導入効果をレビューでご紹介(株式会社ビットキー)

テスト自動化ツールの導入を検討した当時、弊社が開発を行っているプロダクトはリリース当初と比べて機能数が多くなっていました。
また機能の追加に合わせてリグレッションテストにテストケースの追加を行っていたため、リリースを重ねるごとに検証期間におけるリグレッションテストの占める割合が増えていました。
加えて、プロダクトはまだ成長を続ける予定であったため、現在の状態のまま機能が増えていくとリグレッションテストの工数が膨大になり、新機能をテストする工数を十分に確保できなくなってしまうかもしれないという懸念がありました。
そのため、2023年1月時点でリグレッションテストの工数削減に取り組む必要があると判断し、テスト自動化ツールの導入を行うことを決定しました。

• Autify
• MagicPod

ブラウザテストを自動化できる

弊社のプロダクトの中でテスト自動化が急務とされていた対象がWebアプリケーションのプロダクトです。 そのためブラウザテストを自動化できる機能を持つことは必須の条件でした。

ツールの操作が快適である

膨大にあるリグレッションテストをすべて自動化する、という目的でツール導入を検討していたため、 ツールを操作する際の動線のわかりやすさやレスポンスも比較要素の1つとしていました。

プログラミング知識がなくてもテストを自動化できる

テストエンジニアが主体となってリグレッションテストの自動化を行う予定でしたが、弊社所属のテストエンジニアはプログラミング知識を持つメンバーが多くありませんでした。 そのためローコード・ノーコードでテスト自動化を行うことができるツールを探す必要がありました。

サポートの問い合わせのしやすさ

テスト自動化ツールの導入に際して、使用する際に不明点や疑問点が出てくることを想定していました。 そういったことがあった場合にサポートに気軽に問い合わせられるような環境が整っていることが望ましい条件の1つでありました。

ツールに関するドキュメントがある

ツールの操作がわからないときにアクセスできる資料があるとキャッチアップがスムーズに行えるため、公式で提供されるリソースがあるとより好ましいため条件の1つとしていました。

録画機能で手軽に自動テストの作成をはじめられたこと

はじめる前は自動テストの作成にハードルを感じていましたが、mablを実際に触ってみると録画ボタンをONにしてブラウザをいつも通り操作するだけでテストを作成することができました。 任意の箇所でテストをはじめることができたり、テストの編集も直感的に行うことができたので他のツールと比べてテストの扱いやすさに関しては一番スムーズにキャッチアップできるような状態であったかなと思います。

操作しやすいインターフェースであったこと

mablはテストを作成する際、画面左側にWebブラウザのウィンドウ、画面右側にテスト作成画面のウィンドウが表示されるようになっています。
この画面構成のおかげで上述の録画機能などを用いてテストを追加する際、画面左側で操作を行いながら画面右側で追加されたテストを確認することができるので、テストの調整や確認をスムーズに行うことができました。
またテストの実行結果を確認する画面を見る際に、こちらは画面左側にテスト内容が、画面右側に実行時のログやスクリーンショットが表示されるので、テストが失敗した際の追跡・調査を迅速に行うことができました。 どちらも自動テストを実際に使っていく上で重要な焦点となるため、そこで良質な体験を得ることができたのが良かったです。

サポートに問い合わせを行った時のレスポンスが非常に快適であったこと

mablのサポートチームは24時間週5日対応を行っています。1)
実際に操作に関して不明な点があったとき、チャット形式で手軽に問い合わせを行うことができたのでよく問い合わせを行なっていました。サポートの対応時間内であれば、チャット開始後ほとんど間を開けずに担当者とやり取りをはじめることができたので問題や疑問の解消をスムーズに行うことができたことが非常に良かったです。
またチャットを行う際は画像を添付することができるので、文章では伝えにくいことも「この画像を見てほしい」と説明を省略して伝える手段があることは嬉しかったポイントです。

公式のドキュメントが充実していたこと

公式のドキュメントページが用意されており資料が潤沢にあったので、自身で検索して解決できる環境が整っていたのも好印象でした。2)
ドキュメントページがあれば自身だけでなく、他の人につまずいたポイントを共有しやすかったのでチーム全体でのツールの習熟度の向上に繋がったと思います。

1. "mablサポートの概要". mablヘルプ. , (参照 2024-08-07)
2. "mablヘルプ". mablヘルプ. , (参照 2024-08-07)

1. リグレッションテストの工数削減

元々の目的であったリグレッションテスト自動化に関しては、導入から約1年で毎月のテスト実行工数のうち、46時間分のテストを自動テストで代替することができました。
このおかげで検証期間のテスト実行工数に余裕を持つことができるようになり、リグレッションテスト以外の新機能テストなどに工数を配分しやすくなりました。

2. 不具合の調査コストの削減

またmablを使ってテスト実行を行うようになったことで不具合検知時の調査コストを下げることができました。mablで自動テストを実行すると実行時のスクリーンショットを保存してくれるので、リリース時の前後の挙動の比較が異なるときにスクリーンショットを確認しに行くことで容易に原因を特定することができるようになったと思います。

3. Webアプリケーションの主要技術に関する基礎知識の習得

あとは直接的な成果ではありませんが、mablがローコード開発ツールの側面があったのでmablに触れるうちにHTMLやJavaScriptなどのWebアプリケーションの主要技術の基礎知識を習得する機会を設けられたことも成果の一つになると思っています。
弊社のテストエンジニアは基本的にブラックボックステストに専念しているので開発側の技術に触れることは日常的にはありませんでした。それがmablをきっかけに開発チームが取り扱っている技術に関して理解を深めることができることで、普段のテスト業務へ知識を還元するだけでなく、将来的なメンバー自身のキャリアの醸成にポジティブな影響を与えることがでできていると考えています。

mabl自体の扱いはサポートの問い合わせや公式のドキュメントページがあったことによってそこまで苦労はありませんでした。
苦労した点としては、mablに限った話ではないですが、テスト自動化を行うにあたって経験があるメンバーが乏しかったことです。
開発エンジニアの方に序盤はサポートしてもらっていたので、0からすべて自分たちでやるという状態ではありませんでした。しかし元々の計画がテストエンジニアが主体でテスト自動化を行う、というものであったためテスト自動化対象の決定や方針の策定はこちらが主体的に進める必要がありました。
どのドメインから着手するべきか、どのテストから自動化するべきか、どこまで自動化を行うべきかなど継続的な取り組みをするには決めないといけないことが山ほどあり、経験が乏しい状態では最初からうまく進められないことが多かったです。
最終的に手探りでやりつつ、弊社に合ったやり方で自動化を進めることはできましたが合計で1年ほどは試行錯誤を続けていたので特に苦労したと思っています。

mablはユーザーインターフェースが優れており、直感的に使いやすいツールです。
また利用する際は手軽に録画機能を利用して自動テストを作成することもできるし、あるいは奥深くCLIやJavaScriptを利用して自動テストを作成・実行する機能が備えられているので、習熟度に関係なく幅広い層にアプローチできるツールになっているのではないかなと思います。
どういうテスト自動化ツールを求めているかによってツールの魅力は異なると思いますが、手軽にテスト自動化をはじめられるという点でmablはおすすめできるツールです。