【回帰テストの工数を削減】 物流プラットフォーム「ハコベル」におけるMagicPodの活用事例

ツール導入前の背景

ハコベルでは、プロダクトをリリースする前に品質保証(QA)による手動テストが行われています。

テストの際、新たに実装された部分のテストだけでなく、以前に実装された部分がまだ動作するかどうかも検証する回帰テストを行う必要があります。しかし、毎回すべての回帰テストを行うことは現実的ではなく、QA担当者の過去の経験則から範囲を限定してテストを行っていました。

ツール導入前の課題

ハコベルの開発規模が拡大してきたことにより、回帰テストの範囲が広がり複雑化してきていました。現状は手動でテストしているためテスト工数の拡大や、影響範囲の見逃しが発生することがありました。

過去には、影響範囲の見逃しにより一部機能が停止するインシデントを引き起こすこともあり、機会損失のリスクも発生しました。

どのような状態を目指していたか

回帰テストを自動テストツールに置き換えることで、回帰テストの工数を大きく軽減しプロダクトの変化に追従した質の高いテストを行えることを目指しました。手動テストではより価値の高い新規機能の品質保証にフォーカスできることができます。

結果として、開発速度の向上が見込めるためハコベルにおけるプロダクト開発の加速が期待され、さらには不具合によるインシデントの件数が減少するためプロダクトの品質が向上し、さらなる顧客の信頼を得ることを期待しました。

• Autify
• Mabl
• T-DASH
• Playwright
• Cypress

• SPAサイトにおいてもテストできること

  ハコベルのサービスはSPAで動作するものが多いため、手動で待機時間を設定せずとも画面遷移を検知できる必要がありました。

• UI上で認証が行え、セッションが失効しないこと

  すべてのサービスはサインイン必須となっているため、UI上でサインインができ、テスト中にセッションが失効しない必要がありました。

• スケジュールで定期的にテストを実行できること

  回帰テストの観点から、手動で呼び出さなくても定期的にテストが実行できることを重視しました。

• ある程度のデザインや文言の変更が発生しても、自動で追従すること

  簡単なデザイン変更や文言の変更の機会が多いため、その際にテストの自動修復がされ手間を削減できることを重視しました。

• 必要に応じて画像による差分チェックをすることができること

  一方で、帳票類の機能が予期せず見た目が変化すると問題になるため、必要に応じて厳格に検出できるアサーションが設定できる必要がありました。

• 課金体系がテスト実行回数ではなくテスト数であったこと
• テストの自動修復機能が期待通りに動作したこと
• 画像差分テストが期待通りに動作したこと
• ユーザーコミュニティが存在しユーザーフレンドリーだと感じたこと
• サポートのご担当者様が親切で不安が解消できたこと

• テストの作成、ラベルの運用、ロケーターの概念などを理解しないとメンテナンス性の高いテストを作成できないため、社内で別途操作ドキュメントを作成する必要があった点
• フロントエンドにおいてCSS-in-JSという技術を使用していたため、ロケーターに使用されるクラス名がビルドの度に変化してしまい、テストが不安定になった点
• IP制限をかけている環境があり、クラウドテスト環境からのアクセスができない場面があった点