株式会社メドレーのMagicPod導入事例
参考になった
8
株式会社メドレー / yoneyama
EM / QAエンジニア / 従業員規模: 501名〜1,000名
| 利用プラン | 利用機能 | ツールの利用規模 | ツールの利用開始時期 | 事業形態 |
|---|---|---|---|---|
スタンダードプラン | アプリ/ブラウザテスト | 11名〜50名 | 2020年11月 | B to C |
| 利用プラン | スタンダードプラン |
|---|---|
| 利用機能 | アプリ/ブラウザテスト |
| ツールの利用規模 | 11名〜50名 |
| ツールの利用開始時期 | 2020年11月 |
| 事業形態 | B to C |
導入の背景・解決したかった問題
導入背景
ツール導入前の課題
リグレッションテストはコアな機能のみを毎回手動で行っており、自動化はされていなかった。リリース前の段階で多くの不具合が見つかっていたため、本番環境での品質も安定していなかった。
どのような状態を目指していたか
- 自動テストが毎日実行され、不具合を早期に検知できている。
- その結果、本番環境でも安定した品質を保つ
- QAエンジニアが1名であったが早期に自動テストを構築し、メンテナンス含めて回っている
- 手動で実行するテスト工数が最低限に抑制できている
※ 導入時の話は UI テストの自動化に Magic Pod を導入した話 も参照ください
比較検討したサービス
- Autify
- mabl
- XCUITest
比較した軸
- 従量課金ではなく、無制限に実行できること
- QAエンジニア1名でもiOS/Android/Webの3PFで自動化を早期に実現できること
- クライアント証明書を要する等、プロダクトの要件としていくつかの制約がある中でもクラウド環境でE2Eテストが回せること
選定理由
- 弊社の要件に対して迅速丁寧に対応していただけたこと
- 従量課金ではなく、無制限に実行できること
- ネイティブアプリにも対応していること
導入の成果
改善したかった課題はどれくらい解決されたか
リグレッションテストの自動化は短期間で実現でき、多くの不具合を検知できている。 また自動化したことで浮いた工数を他の生産的な業務に充てることができている。
どのような成果が得られたか
- 開発環境で問題が起きていないことを常時担保できている状態となった
- 不具合があれば毎朝検知できている
- CI経由でfeature branchでも実行できるため、影響範囲の見えづらいリファクタリング等ではマージ前に影響範囲の確認をした上で対応することができている
関連記事
導入時の苦労・悩み
- 通常の業務に加えて、複数のツールを調査する中で各社のトライアル期間中に比較検討を行うことは時間的制約や機能理解が大変だった
- 自動テストのみで発生した事象もあり、問題の切り分けでは少し苦労した
- ツールを跨いだテストコードの移行はできないため、基本的には後戻りのできない判断だった
導入に向けた社内への説明
上長・チームへの説明
- 品質向上はもちろん、生産性向上やShift-Leftを進めていくには自動化が必要という点は異論なし
- 自前で3PFの自動テストを構築するのは非常に時間がかかることもあり、QAエンジニアは1~2名という体制面及びコスト面ではリグレッションテストを外注した場合の費用も踏まえて説明
活用方法
- デイリーでdevelopブランチで定期実行。結果は開発メンバも含むslackチャンネルに通知して日々確認している（チーム）
- 影響範囲の見えない変更についてはブランチ単位でマージ前に実行 (個人)
- リリース前にはreleaseブランチでも実行 (チームによる)
よく使う機能
- 定期実行
- 共有ステップ
- テスト結果のslack通知
ツールの良い点
- 実行回数は無制限
- コマンド/機能が充実している
- サポート体制も充実
- iOS/Android/Webに対応
- ヘルススコア機能で客観的な状態も確認できる
- 軽微なテスト失敗については修正のサジェストが出る
ツールの課題点
- ブランチの概念がない
- 対象のプロダクト/ケースを増やしていくとオプション料金が発生する
- 開発者がメンテするには一定のキャッチアップが必要
ツールを検討されている方へ
ネイティブアプリも含めて少数のQAエンジニアでE2Eテストの自動化を進めたい場合は強く推薦できます。 自動化経験がなくとも実装は可能ですが、安定した運用にはロケータの仕組みなど自動テストの基礎的な部分の理解はあった方が良いです（どのツールでも同じですが）。
機能面も年々進化しており、ユーザから改善要望を出す事もできます。 また、ユーザ向けのイベントやslackコミュニティもあり、困ったことがあれば気軽に相談できます。
コスト面においては従量課金かどうかで大きく差が付くため、実行回数が無制限であることは後々効いてきます。無料でトライアルできるので気になる方は是非試してみてください。
今後の展望
大きな不満もなく、利用を継続していきたいと考えています。また現在自動化できていないプロダクトに対しても拡充を進めています。
ただPlaywrightやXCuiTestなどコードベースのテストツールにもメリットはあるため、ツールの選択肢は持ちつつプロダクトやチームの体制に合わせた選択をできるようにしていきたいと考えています。
株式会社メドレー / yoneyama
EM / QAエンジニア / 従業員規模: 501名〜1,000名
よく見られているレビュー
株式会社メドレー / yoneyama
EM / QAエンジニア / 従業員規模: 501名〜1,000名
