mablの導入効果をレビューでご紹介(sumiren-株式会社ヘンリー)

導入前は、スプリントごとに設計する新機能テストに加え、非回帰テストも手動で実施していました。機能増加や本番バグの検知につれて非回帰テストが急増しており、非回帰テストに要する時間が長くなった結果、スプリント終盤に非回帰テストでバグを検知してリリースが遅れるといった課題が発生していました。この課題に対して、バグの存在を事前に検知できるようにシフトレフトすることが、あるべきエンジニアリングの形だと考えました。 ヘンリーでは、医療ドメインにディープダイブするために医療事務などのドメインエキスパートを採用しており、ドメインエキスパートがQAの仕事をしています。そのため、ソリューションの検討にあたっては、彼らの知見を最大限活かすことを重視しました。こうしてmablを導入することになりました。

Autify

• 非エンジニアでも利用できる使いやすさがあった
• CI/CDとの連携や統計のAPI提供など、エンジニアリングとの統合が強力だった
• 以下のような複雑な機能のテストをカバーしており、バーティカルSaaSであり複雑な業務を支援するHenryにマッチしていた
  • 変数の動的設定が可能である
  • AIによるクリックやセレクタによる検索、JS処理など多様な操作方法がある
  • メールの文言検証や二要素認証のサポートしている

非エンジニアであるドメインエキスパートがツールを積極的に使えるようにするためには、テスタビリティの低い機能の改修やJSスニペットや共通フローの作成、つまずきそうな機能のQ&AのWiki作成やワークショップなど、成功体験を積めるように先回りで環境を整える必要がありました。 結果的には、ドメインエキスパートが前向きにmablに取り組める流れを作ることができました。トライアルで毎日同期的に時間を取りながらテスト作成に慣れてもらえたタイミングで、当初の目的であったドメインエキスパートの知見活用と自動テストを両立できそうだと確信しました。

テスト自動化ツールを工数削減と結びつける方もいらっしゃるかもしれませんが、テストの作成やツールの利用におけるキャッチアップも含めると、工数はむしろ増える可能性もあります。それよりも、組織がスケールしても競争力を保つための自動テストという意識を持ち、それを組織内で統一することが成功の秘訣と考えています。