MagicPodの導入効果をレビューでご紹介(akgw-株式会社BuySell Technologies)
株式会社BuySell Technologies / akgw
EM / EM / 従業員規模: 1,001〜5,000名 / エンジニア組織: 51名〜100名
利用プラン | ツールの利用規模 | ツールの利用開始時期 |
---|---|---|
スタンダード | 10名以下 | 2022年8月 |
利用プラン | スタンダード |
---|---|
ツールの利用規模 | 10名以下 |
ツールの利用開始時期 | 2022年8月 |
導入の背景・解決したかった問題
導入背景
新規プロダクト開発が進むにつれて、変更があるとバグや品質低下のリスクが高まり、それに伴ってリグレッションテストの必要性が高まってきました。また、弊社ではユーザからのフィードバックを得やすい環境のため、文言の表現変更と言った画面の微修正などが多く発生していました。
一方でチームのエンジニアたちは、開発生産性を意識しつつ、新しい機能開発に集中したいと考えていたため、自動テストの検討を開始しました。選択肢としていくつかのツールが考慮されましたが、その時点ではCypressやPlaywrightといったコーディングスキルの求められるツールは選択肢から除外されています。
比較検討したサービス
Autify
選定理由
いずれもAIを活用したテストシナリオ修正機能が備わっていましたが、最終的にはコスト面を加味してMagicPodの導入に決めました。
私たちのチームではトランクベース開発を採用しています。メインブランチへのマージタイミングなど高頻度でのテスト実行が求められており、MagicPodのプランではテスト実行回数が無制限であったことが決め手でした。
導入時の苦労・悩み
一定WEB開発に関する知見がなければ、テストケース初期構築と定期実行設定までは難しいと感じました。テストの稼働安定化のために、data-testidの追加など、必要に応じてフロントエンドエンジニアも導入に参画できる環境が望ましいと思います。
導入初期はエンジニアリングマネージャーやフロントエンドエンジニアがテストケースの作成を行っていましたが、テストが安定稼働してきたころからQA(非エンジニア)を専任し、テストケース拡張やメンテナンスを行なっています。
導入に向けた社内への説明
上長・チームへの説明
もともとは既存の基幹システムプロダクトにて、「障害が多くなんとかできないか」という意見からAutifyを契約していましたが、工数がかけられず、運用がうまく回っていないという状態が続いていました。そうした状況やMagicPodの機能が使いやすいという点から、全社としてMagicPodへ切り替えるという意思決定となりました。
活用方法
よく使う機能
大枠の開発サイクルとしては、トランクベース開発を採用しており、PRマージと共にデプロイ、ユーザへの機能提供可否はFeature Flagで制御しています。MagicPodの簡易自動テストは最低でも2回実行されるようにしています。1つ目はPR作成時で、CIでPRの動作確認環境の立ち上げと自動テストが実行されるようにしています。2つ目は本番リリース前にの検証環境への反映時で、PRマージをトリガーにCIにて検証環境へのデプロイと自動テストが実行されるようにしています。
CIでの自動テストは主要ページの最低限の動作テストに留めているため、並行して、担当エンジニアやPMが改修範囲の動作テストを行い、問題がなければ本番環境へデプロイする流れとなっています。
このようなCIの環境の中で、MagicPodは以下3種類の実行パターンで運用しています。1は数時間かけて実行していますが、2と3については、数分で終わらせて開発者が待ちの状態にならないよう工夫しています。また、いずれのテストもSlack連携をしているため、エラーが発生時はすべてのプロダクトのメンバーが検知できる状態になっています。
- 全テストケースを網羅する定期実行テスト
- PR作成時にCIで実行する正常系のみの簡易テスト
- リリース前にCIで実行する正常系のみの簡易テスト
ツールの良い点
- テスト実行回数無制限である
- 開発生産性を維持するために、デプロイ頻度やそれに紐づくCIの実行回数は確実に増加します
- プラン内ではテスト実行回数無制限のため、特にトランクベース開発を主流とする開発サイクルのチームであれば是非利用すると良いと思います
- テストケースの共通化
- 例えばログイン画面での認証処理は一元管理することができます。マイクロサービスなどサービス間共通処理はテストを一括修正できたりとメンテナンスコストは低いと感じます
- コミュニティ
- 知見共有・最新情報の公開・問い合わせサポートなど、かなりユーザーフレンドリーな窓口があるため、困った時の駆け込み寺として安心できる
ツールの課題点
プロジェクトや組織管理部分のUIが少しわかりづらい
その他
ノーコードツールとはいえ初期導入時は、ある程度WEBシステム運用の経験あるメンバーのスキルが求められる点は注意が必要です。
株式会社BuySell Technologies / akgw
EM / EM / 従業員規模: 1,001〜5,000名 / エンジニア組織: 51名〜100名
ソーシャルゲーム、SIer、人材紹介系のキャリアを経て、現職バイセルに入社。バイセルではエンジニアリングマネージャーとして複数の新規プロダクトに携わる。プロジェクト推進やピープルマネジメントを中心に、開発者体験を向上するためのツールの導入や検討も行っている。
よく見られているレビュー
株式会社BuySell Technologies / akgw
EM / EM / 従業員規模: 1,001〜5,000名 / エンジニア組織: 51名〜100名
ソーシャルゲーム、SIer、人材紹介系の...
レビューしているツール
目次
- 導入の背景・解決したかった問題
- 活用方法