MagicPodの導入効果をレビューでご紹介(株式会社Skillnote)
株式会社Skillnote / naomi takasawa@株式会社Skillnote
EM / EM / 従業員規模: 11名〜50名 / エンジニア組織: 11名〜50名
利用プラン | ツールの利用規模 | ツールの利用開始時期 | 事業形態 |
---|---|---|---|
スタンダード | 11名〜50名 | 2023年9月 | B to B |
利用プラン | スタンダード |
---|---|
ツールの利用規模 | 11名〜50名 |
ツールの利用開始時期 | 2023年9月 |
事業形態 | B to B |
導入の背景・解決したかった問題
導入背景
ツール導入前の課題
MagicPodを導入する前は、リグレッションテストの自動化のためにSelenideを使ってテストコードを書いていました。
当時は、下記のような課題がありました。
- 自動テストのメンテナンスが出来るメンバーが限られていたり、メンテナンスに時間がかかる。
- その結果、新規機能開発に自動テスト作成が追いつかない。既存機能も、部分的に自動テストが無い状態。
- 開発者のローカル環境で自動テストを動かす状態だったため、「日次で実行」「デプロイごとに実行」という自動テストの習慣化ができていない。
どのような状態を目指していたか
- メンバーのスキルに依存せず、誰でも自動テストのメンテナンスができるようになること。
- 既存機能の自動テストが充実すること。新規機能開発に自動テスト作成が追いつくこと。
- 自動テストの習慣化が定着すること。
比較検討したサービス
- Autify
- T-DASH
- mabl
比較した軸
- 料金
- ツールの学習コスト、使いやすさ
選定理由
- 料金
- 作成するテストケース数を限定した場合、料金が比較的安い。
- 固定料金で実行回数が無制限なので、トライアンドエラーがしやすい。
- ツールの学習コスト、使いやすさ
- MagicPodのマニュアルを見ながら操作すると30分程度で学習できるような、学習コストの低さ。
導入の成果
メンバーのスキルに依存せず、誰でも自動テストのメンテナンスができるようになった
MagicPod導入前は、自動テストのメンテナンスは限られたメンバーで行っている状態でした。
導入直後は、広めにメンバーを募り、SelenideからMagicPodへの移行を行いました。このときに関わったメンバーは、コードを書くことが少ないQAエンジニアやインフラエンジニアの方も含まれています。
その後、定期的に開発チーム全体に呼びかけて自動化できていなかったケースの拡充に取り組んだり、新入社員のオンボーディングでもMagicPodを触ってもらっています。
自動テストが習慣化した
MagicPod導入前は、自動テストはリリース前に実行するだけのことが多く、自動化しているメリットを活かせていない状態でした。
導入後は、ステージング環境で毎営業日実行しており、意図しないデグレードを早期に検出できています。
自動テストの拡充には課題あり
MagicPodを導入することで、既存機能の自動テストを充実させたり、新規機能開発に自動テスト作成が追いつくことを目指していましたが、この点にはまだ課題があります。
ツールではなく開発プロセスの課題として、開発速度を落とさず、かつテスト自動化が漏れないよう、どのように開発プロセスに取り入れるかを検討しています。
導入に向けた社内への説明
上長・チームへの説明
自動テストのメンテナンス性の低さや習慣化できないという課題感は、開発チーム内で共有できている状態でした。
その上で、MagicPodを導入しなかった場合と導入した場合で、メンテナンスにかかる想定コスト(人件費)を算出し、導入した場合はコスト削減になることが見込まれると説明しました。
加えて、下記を添えました。
- 自動テストをデプロイ時実行や日次実行し習慣化することで、不具合の早期検出に貢献できる。
- 当時の私達よりも小規模の開発チームにおいても、MagicPodは導入されている事例はあり、効果を発揮しているケースがあるもよう。
活用方法
よく使う機能
- テスト一括実行、スケジュール実行
- クロスブラウザテスト
ツールの良い点
- 料金が安い。固定料金で何度もテスト実行できる。
- 機能が分かりやすく、学習コストが低い。
- 問い合わせのレスポンスが早い。
ツールの課題点
- フレーキーな部分が多い。
- 「失敗したが再実行すると成功」「原因不明の失敗が続く」という事象が多く、安定化にコストがかかる。MagicPod社とコミュニケーションを増やし、安定化中。
ツールを検討されている方へ
メンバーのスキルに依存せず自動テストを導入したく、ノーコードツールにフォーカスして検討していました。その点でMagicPodは使いやすく、すぐに「なんとなく使える」というレベルには達することができます。
一方で、良い自動テストを作るためには基本的な設計力やコーディング力は必要です。導入直後は、多少エンジニアリソースをかけてコアな設計やサンプルとなるテストケースを用意した上で、チームへ展開していくのがスムーズかと思います。
株式会社Skillnote / naomi takasawa@株式会社Skillnote
EM / EM / 従業員規模: 11名〜50名 / エンジニア組織: 11名〜50名
よく見られているレビュー
株式会社Skillnote / naomi takasawa@株式会社Skillnote
EM / EM / 従業員規模: 11名〜50名 / エンジニア組織: 11名〜50名
レビューしているツール
目次
- 導入の背景・解決したかった問題
- 活用方法