株式会社テックオーシャンのMagicPod導入事例

株式会社テックオーシャン / takeyama-s
メンバー / QAエンジニア / 従業員規模: 51名〜100名 / エンジニア組織: 11名〜50名
利用プラン | 利用機能 | ツールの利用規模 | ツールの利用開始時期 | 事業形態 |
---|---|---|---|---|
スタンダード | ブラウザテスト | 10名以下 | 2023年9月 | B to B B to C |
利用プラン | スタンダード |
---|---|
利用機能 | ブラウザテスト |
ツールの利用規模 | 10名以下 |
ツールの利用開始時期 | 2023年9月 |
事業形態 | B to B B to C |
導入の背景・解決したかった問題
導入背景
ツール導入前の課題
弊社が運営する TECH OFFER は、月に2~3回ほどのリリース頻度で、サービス改善を行っています。そのたびに基本的な操作シナリオにもとづく手動テストをリリース前に実施しており、1回あたり約4~6時間の工数がかかっていた。
どのような状態を目指していたか
手動テストの効率化と品質のさらなる向上を目指し、E2Eテストツールの導入を検討。
比較検討したサービス
- Datadog
- Autify
- Mabl
比較した軸
- 費用
- 機能
- サポート体制
- 外部連携
選定理由
1.【費用】 MagicPod はテスト実行数に影響されず、定額でコストが安定しているため、予算管理がしやすく優位でした。一方、他のツールは従量課金型が多く、テスト実行数に応じてコストが変動するため、導入検討時点では具体的な費用を把握しづらいという課題がありました。
2.【機能】 いずれのツールも基本的な機能は満たしていましたが、Datadog についてはテスト利用時に弊社システムとの相性が悪かったため候補から外れました。
3.【サポート体制】 国内製品である MagicPod と Autify は、日本語対応のサポートが充実しており、迅速な対応が期待できました。一方、Datadog と Mabl は海外製品であり、サポート体制に少し不安が残りました。
4.【外部連携】 MagicPod は多くの外部連携ツール(Bitrise、GitHub Actions、Sauce Labs、BrowserStack、HeadSpin、Slackなど)に対応しており、この点でも優位性がありました。
以上の観点から、特に費用面でのメリットが大きいと判断し、MagicPod の導入を決定しました。
導入の成果
改善したかった課題はどれくらい解決されたか
導入前に目標としていた手動テストで実施していた工数を削減することができた。
どのような成果が得られたか
MagicPodの導入により、リリース前に行っていた手動テストの多くを自動化することができ工数の削減に繋がった。
導入時の苦労・悩み
導入時に課題となったのが「ロケーター設定」の微調整です。MagicPod は UIオブジェクトを AI が識別し、自動でロケーターを設定してくれますが、弊社サイトの都合とはなりますが一部の要素では手動で設定する必要がありました。 ただしロケーター設定についてはMagicPod社の公式ガイドやサポートの力をお借りし、無事に解決することができました。
導入に向けた社内への説明
上長・チームへの説明
手動テストの効率化と品質のさらなる向上を目指すという目的に向け、主に費用対効果の部分を具体的な工数を明示して説明
活用方法
- リリース前にテストの一括実行を行い、基本的なリリース前テストをMagicPodで実施している
よく使う機能
- 一括テストの定期実行
- テスト結果のslack通知
ツールの良い点
- ノーコードでテストケースを直感的に作成することができる
- テスト実行数に影響されず、定額でコストが安定しているため、予算管理がしやすい
- サポート体制について、基本的に問い合わせは即日対応で遅くとも次の日には回答いただけるので助かっている。また内容によってはSlackでも質問などできるのでその点も良い。
ツールの課題点
- テスト作成時、時間帯(夕方以降)によっては操作(要素の抽出など)が重くなってしまう
- テスト失敗した際、失敗したところから実行する場合はそのテスト項目までに使用していたテスト実行上の変数が利用できないため1からやり直す必要がある。
- テスト速度の設定はあるものの、一番遅い設定としていても項目によっては待機の項目(3秒待機)を入れないと繰り返しテストを実行した際に失敗してしまうケースが存在する。
今後の展望
直近では、TECH OFFERサービスにおいて、利用者にメール配信する処理においても自動テスト化しました。具体的には、メールを受信し、メール内のリンクからページに遷移するといった一連の操作を Gmail Web API を使用することで実現し、効率化を進めることができました。 今後も社内の他サービスでの活用などさらにMagicPodを活用していきたいと思います。

株式会社テックオーシャン / takeyama-s
メンバー / QAエンジニア / 従業員規模: 51名〜100名 / エンジニア組織: 11名〜50名
よく見られているレビュー

株式会社テックオーシャン / takeyama-s
メンバー / QAエンジニア / 従業員規模: 51名〜100名 / エンジニア組織: 11名〜50名