価値提供スピード向上のため安心・低コストなリリースへ - Findy FreelanceでのPlaywright導入事例 -

ツール導入前の課題

• Findy FreelanceではAutifyを利用し最重要な機能のみE2Eテストを実行しており、通常の機能にもE2Eテストの範囲を拡大したいと考えていたが現行プランの制約上E2Eテストが追加できていなかった
• リリース時のプルリクエストの段階でE2Eテストが実行されるため、不具合修正のためリリースが遅れたりテスト修正をリリース担当者が行うため属人化していた

どのような状態を目指していたか

• E2Eテストが低コストで行える環境を整備する
• プルリクエストを出したタイミングでテストが実行される
• リリースプルリクエスト時にテストが通ることでデグレ等の心配なくリリースできる
• リリースの心理的ハードルを下げ価値提供スピードを向上させる

• Autify
• Cypress

• E2Eテストを追加しても費用的負担が少ないこと
• 属人化せずにE2Eテストの追加及び管理ができること
• E2Eテストがコードで管理できること
• ブラウザの操作をもとにコードが自動生成されること

• VSCodeのPlaywrightプラグインのTest generator機能を使いテストのベースを作成できることと
• 要素取得の仕組みがTesting Libraryと似ており開発メンバーに親しみやすいから

改善したかった課題はどれくらい解決されたか

リリース前にしか実行できていなかったE2Eテストがプルリクエスト毎に実行できるようになり、不具合発見が早まるとともにプルリクエスト提出者が修正するようになり属人性が下がった。

どのような成果が得られたか

コストを気にせずにテストの追加ができる環境が手に入ったのでチームで実装していくための下地が整った

• 認証が必要なページをテストするため認証情報を保持する必要があるが、Findy FreelanceではIndexDBを使うFirebase Authを利用しているおり、認証情報を保持する処理を独自で実装する必要があったこと
• プルリクエスト毎にE2Eテストを実行するためCIの実行時間短縮は必須だったのでE2Eテストの並列実行を前提に書くことやCIのキャッシュを積極的に活用するために調整したこと

ブラウザの操作をすることでコードを自動生成することができるので最初導入しやすいと感じました。重要なシナリオだけのカバーであれば実装コストも少なく機能を担保できるのでリリース時の負担が減少します。 Playwright自体は費用が発生していないため気軽に試すことができるのでぜひ使ってみて欲しいです。

現状では重要な機能のみカバーしている状態ですが、チームへの浸透を進めて通常の機能にもテストの範囲を広げてサービスの安定稼働が継続できるようにしていきたい思います。また、テストが増えてくるとCIの実行時間も増えて来ることが予想されるので並列実行を前提とした実装やCIの高速化を進めて行きたいと考えています。