MagicPodの導入効果をレビューでご紹介(LINEヤフーコミュニケーションズ-福永誠)

参考になった

レビュー投稿日の情報になります

LINEヤフーコミュニケーションズ / 福永誠

EM / QAエンジニア / 従業員規模: 5,001名以上 / エンジニア組織: 1,001〜5,000名

最終更新日2024/03/08投稿日2023/11/10

利用プラン	ツールの利用規模	ツールの利用開始時期
エンタープライズプラン	501名〜1,000名	2020年5月

導入の背景・解決したかった問題

導入背景

導入検討の当時は自動テストの実行環境として Selenium や Appium をベースに限定的に運用していました。ただし、テスト組織全体でこれらの環境で適切に運用できるスキルセットを持った方は限られており、全社的にサービスの数や規模が急拡大するスピードに幅広く対応することが困難でした。
局所的に一度は専門的なスキルを持つ担当者が自動テスト運用環境を構築できても、異動や退職が発生した際に引き継ぎができるメンバーが不足しており、これまでの投資が白紙になってしまうなど持続可能性に課題を抱えていました。
採用だけでは追いつかない状況もあり、今いるメンバーが実務活用し効果が期待できる要件を重視してSaaSの導入を検討しました。

MagicPodを知ったきっかけとしては、元々 Seleniumで運用している際に、MagicPod社様が出されていた技術記事を参考にしていたことも多々あったため、その中で存在は導入よりずっと前から認知しており、当時特に先駆的だったノーコードやAI による自動修正機能などが気になっていました。

比較検討したサービス

Autify
Egg Plant
SkyATT

選定理由

ノーコードで利用できること
費用が安価であること
本契約前から手厚いサポートや専門スキルの高さに信頼を持ち、MagicPod社様の運用基盤に惚れ込んだこと

導入の成果

具体的な成果として代表的な事例は、従来手動で行っていたテストを98%自動化、16時間→2時間に短縮しコスト削減しつつリードタイム向上に寄与した経緯などが挙げられます。
- 参考URL：https://magicpod.com/customer-stories/line_fukuoka/
手動での単調なテストが不要となり、自動化によって以前できなかったテストも可能になりました。
QAの初期段階でのバグ検知や、手動Regression testを自動に切り替えることで、作業効率が大幅に向上しました。

導入時の苦労・悩み

トライアル時
- トライアルでは事前に定めた要件をチェックしながら、実際にテスト実行を行うメンバーにも触ってもらった上で意見を集約
- トライアル実施に向けた調整や、実施中のサポート等で特にMagicPod社様の手厚いサポートや専門スキルの高さを感じて運用体制にも信頼UP
- 期待する要件も満たし、幅広いメンバーが利活用できる見込みも立ったので社内で導入、契約に向けて交渉を進めることができた
導入時：最初は2つのプロジェクトに絞ってスモールスタート、まずはそこで目に見える成果を出すことに集中しました。
- とても直感的に使いやすく、それでいて多機能なため、このツールに限った特筆すべき苦労はありません。
- 強いて言うなら、最初は短期間でとにかく目に見える成果が必要だったこと、また同時に専門組織の立ち上げと運用基盤安定化が必要だったので忙しくはありました。
- 狭い範囲での導入だったので、他プロジェクトチームでも利用したい、支援して欲しいという声に嬉しさと焦りを感じながらしばらくお待たせしていたのが心苦しかったです。

着実に成果を積み上げながら、その状況を組織全体にも定期的に共有し、周囲の理解と期待値も同時に上げながら全体展開に向けて軌道に乗せることを心がけました。

導入に向けた社内への説明

経営陣・上長への説明

社内での説明
- リーンキャンバスを用いて包括的な情報をお伝えした上で全体の課題背景や効果の見込みを提示し、合わせて推進組織の立ち上げと、活動ロードマップをもとに実際にかかる費用と効果見込みを説明しました。
- まずは、1年単位かつ部署単体の費用で実証実験も兼ねた限定的な導入が決まり(この時点では事実上まだトライアル)ました。
- その後、実際の成果をもとに定期報告と交渉を重ねていきつつ、他部署や同グループ他拠点からも噂を聞いて利用可能範囲拡大のニーズが高まりました。
- 最後に、会社全体で3年分の予算確保、その次はグループ全体での長期契約に発展、という形で段階を踏んで現状に至ります。
苦労した点
- 予算を確保するために各意思決定者に対して、複数ある他候補ツールとの差別化要素の説明はもちろん、従来OSSで追加費用不要で行っていた状況や、グループ内で別で先行利用されていたツールも存在していたこともあって、なぜ新規にこのツールを導入しなければならないか、包括的な説明と合意に向けた準備説得には各フェーズで色々と整理するのに苦労しました。
- 直接QA、テスト部署の上司であれば、ある程度業務内容や課題を理解してもらいやすいですが、幅広い利用ニーズに合わせて導入範囲を拡大を進めていく中で、経営に近い立場の方へ交渉していくにつれ、そもそもの職務概要や抱えている課題、歴史的背景等も含めて全体像の認識合わせから必要な点は、単純にツールの情報だけでなく組織全体への理解と解決力を問われる難題でした。

活用方法

よく使う機能

繰り返し実行され、時間のかかる検証に多く利用しています。代表的なもので、

購入関連テスト: 購入完了確認、精算の正確性、アイテム利用可否。クリティカルなマネーパスには自動テストの確実性を重視
API連携テスト: 従来は手動で操作＋APIテストツールの操作が煩雑だったが、MagicPodでは一元的に実施でき効率化
UI検証: 画面の表示崩れ有無の確認。画像差分機能を活用し、人の目では見逃しがちな細部の検出も可能になった

ツールの良い点

直感的な操作で、コーディング知識がなくてもテストの作成が可能
スマートフォンアプリとWEBアプリの両方の自動テストを簡単に作成できる。そのようなツールは他には少ない
料金が手頃でサポートが充実。MagicPodはテストしたいUI画面の要素を自動認識するキャプチャ機能付き
「自動テストヘルススコア」機能
- 現時点で最新の v1.0.0(2023/10/30)から実装された、プロジェクトのヘルススコアを表示する「アナリティクス」機能がGood
- 運用されている自動テストを代表的な複数の観点で、自動でレビュー、定期スコアリング配信してくれる素晴らしい機能 (ロケーターの安定性やテストケースの数、長さの適正、共通ステップの活用など
- 自動テストのオオカミ少年化(形骸化)を防ぐために、自動テスト自体の品質も注意しないといけないが、実際は第三者によるレビュワー不足問題もありがちでなかなか難しかった
- 上記機能によってセルフモニタリングへの活用はもちろん、管理者が運用状況の概要をパッと知れることや数値による目標設定にも活用しやすい

ツールの課題点

ローカルPCでの環境構築やメンテナンスに手間と工数がかかる
直近、ツールサイドのバグが発生し、一時的に運用できない状況がある
WebDriverAgentの起動問題によるテスト失敗
E2E以外の自動化には他ツールと比較して機能不足
ダッシュボード機能が現時点では不足
当初とても好印象だったサポート面だが、昨今 MagicPod様も事業拡大が順調な分、窓口として対応頂く方も新しく入社された方々に変わってきており、契約時に初期メンバーが行って頂けたような手厚さ、スキルレベルや返信速度から若干質が落ちてきた印象