目次
MagicPod運用状況に基づくレビュー
参考になった
5
レビュー投稿日の情報になります
株式会社くふうカンパニー（くふうカンパニーグループ） / 岡浩司
メンバー / QAエンジニア / 従業員規模: 101名〜300名 / エンジニア組織: 51名〜100名
最終更新日投稿日
| 利用プラン | 利用機能 | ツールの利用規模 | ツールの利用開始時期 | 事業形態 |
|---|---|---|---|---|
スタンダードプラン | モバイルアプリプラン | 10名以下 | 2021年 | B to B B to C |
| 利用プラン | スタンダードプラン |
|---|---|
| 利用機能 | モバイルアプリプラン |
| ツールの利用規模 | 10名以下 |
| ツールの利用開始時期 | 2021年 |
| 事業形態 | B to B B to C |
導入の背景・解決したかった問題
導入背景
ツール導入前の課題
アプリ、サーバーサイド個々の単体テストは存在していたが アプリからバックエンド全体を通したE2E自動テストが整備されていなかった
どのような状態を目指していたか
テストケースを整備した上で、自動化できるものは自動化しCIに組み込んで実行
筆者の入社前導入のため不明な部分が多く、詳細は2021年当時の導入時のテックブログも参照
比較検討したサービス
- Appium
- Autify for Mobile
比較した軸
- 環境構築コストが低いこと(Appiumサーバーを自前で立てずにクラウド実行が可能
- ノーコードで実装可能なこと
- 実行に必要な金銭コストが低いこと
導入の成果
改善したかった課題はどれくらい解決されたか
- 導入当時の担当者が不在のため比較は難しい。
どのような成果が得られたか
- 主にmasterブランチへのマージ等のタイミングで1日数回E2Eのリグレッションテストが自動で実行されている。
- 2025年3月の実績ではiOS,Android合わせて140回実行された。
- 手動で少なく見積もって0.5時間かかるテストとして、約70時間分の手動テスト工数を代替しており、メンテナンスコストが月に数時間発生している事を差し引いても、品質保証に寄与している。
導入に向けた社内への説明
上長・チームへの説明
- 導入当時の担当者が不在のため経緯は不明
活用方法
CircleCIのジョブ内で特定のビルド作成後に一括実行している。 主に毎晩の夜間ビルドと、develop又はmasterブランチへのマージ時のCIに組み込んでいる。 iOSのみMagicPod経由でSauceLabs上で実行している。
よく使う機能
- テスト一括実行
- テスト結果にメモをつける機能
ツールの良い点
- 従量課金ではなく、月額である点でクレジットの管理に頭を悩ませなくて良い
- 要素検出は基本的にかなり優秀で、要素によって工夫が必要なケースはあるが、UIツリーが複雑でも読み込めないと言うことはほぼ起きない
ツールの課題点
- テスト実行頻度や、テストケース数、成功率などでヘルススコア集計されている機能があるが、テストの失敗傾向や実行時間に対する分析レポート機能はないため、システム外で自前で分析する必要がある。
- iOSはシミュレータ用のビルドを作成する必要がある
- 一定誤検知によるFlakyTestが発生してしまう
ツールを検討されている方へ
- 月定額であるため、高頻度で実行可能であり、導入のメリットは大きい
- 実装、テスト実行に際しての要素検出等は優秀だが、iOSは実際に配布しているものと異なるシミュレーター用のビルドで実行することになるため、回避策としてRemoteTestKit、SauceLabs等のクラウド実機サービスと組み合わせた構成も合わせて検討する余地がある
今後の展望
失敗傾向を自動分類によるトリアージの簡略化等、システム外での分析の強化を行いたい。
現状は手動でテスト結果の分析参考URLを行い、トリアージして運用している
株式会社くふうカンパニー（くふうカンパニーグループ） / 岡浩司
メンバー / QAエンジニア / 従業員規模: 101名〜300名 / エンジニア組織: 51名〜100名
よく見られているレビュー
株式会社くふうカンパニー（くふうカンパニーグループ） / 岡浩司
メンバー / QAエンジニア / 従業員規模: 101名〜300名 / エンジニア組織: 51名〜100名
レビューしているツール
目次
- 導入の背景・解決したかった問題
- 活用方法