はじめに

中新井：オーティファイ株式会社は、開発領域における自動化のプロセスを支援し、プラットフォームとサービスを提供し続けています。

今やAIは非常に有用なものになっている一方で、ロングコンテキストにおいては人間がわずかに先を行っている領域が残ります。オリックス生命保険株式会社様は、テスト自動化とAI活用に約6年間をかけて取り組んでこられています。本日はそちらのお取り組みについて、ご紹介いただきます。

オリックス生命保険株式会社 IT本部が掲げる3つのビジョン

松井：オリックス生命保険株式会社のIT本部は、3つのビジョンを掲げています。1つ目が「成長へのチャレンジ」で、スピードと柔軟性を持ってビジネスの成長をけん引すること。2つ目が「収益への貢献」で、攻めと守りをバランスよく両立し、ROEの向上と新しい価値の創出を目指すこと。3つ目が「組織力の向上」で、変化を自分ごととして捉え、自律的に動く組織を目指すことです。

我々は本日のテーマでもある生成AIをはじめとする最新技術の活用を、単なる流行事の1つではなくて、これらのビジョンを達成するための強力な手段として使うことと位置づけております。

保険会社特有のテスト自動化の必要性

テスト自動化に取り組む背景には、生命保険会社ならではの事情があります。大前提として、魅力的な保険商品を速やかに市場にリリースすることが、オリックス生命が考えるお客さま本位の1つと位置づけられています。一方で、生命保険会社のウェブサービスは、他の企業のサービスとは利用シーンが異なります。

我々のウェブサービスを使うシーンは、ご契約者様やご家族の方が入院であるとか手術であるとか、万が一の事態が発生したときに、精神的にも肉体的にもご苦労されている時に、給付金を請求するためにお使いいただきます。ですので、ブラウザのバージョンアップがあったからボタンが出ませんでした、といった不具合は決して許されません。

速やかにリリースするというスピードと、不具合が許されないという品質。この一見相反する2つの要素を両立させるためには、テストを人の手でやるのではなく自動化していくことが不可欠であるという結論に至りました。

直面した課題：スピードを阻害する「50%の壁」

テスト自動化に踏み切る前に直面していたのが「50%の壁」です。数年前の社内調査で、開発プロジェクト全体の工数のうち約50%がテスト工程にかかっていることが明らかになりました。一般的なベンチマークでは30〜40%程度とされることが多い中、同社の実態はそれを大きく上回る50%という数値に達していたのです。

テスト工数の肥大化は、リリース速度の低下、プロジェクトの長期化、コスト増加という3つの影響をもたらします。中でも深刻だと捉えているのが、プロジェクトの長期化です。

プロジェクトが長期化すると、プロジェクトを立ち上げた時の前提条件や市場の環境が、リリースした頃には変わってしまうことがあります。リリースした頃には競合他社に先に追い越されてしまっている、お客様のニーズ自体が変わっているということがあります。当初思い描いていたビジネス目的を達成できなくなるという、致命的なリスクもはらんでいるので、非常に厄介だと考えています。

これらの影響への対応手段の1つとして、テスト自動化に取り組んできたのが今回の背景です。

テスト自動化の取り組み

取り組みを始める前は、PCテストもスマホテストもすべて手動で実行していました。2020年にテスト自動化ツールを導入し、PCのリグレッションテストを中心に自動化を推進しますが、当時は複数の課題に直面しました。スクリプト型のツールを使っていたためエンジニアがテストシナリオを作り込みすぎてメンテナンスが追いつかなくなること、金融機関ゆえの様々なセキュリティ設定により自社環境では実行が安定しないこと、そしてサポートに問い合わせても解決するケースが少ないことです。

2022年からはAutify NoCodeを導入し、マルチブラウザテストの自動化にも着手しました。UIベースのツールで習得が容易であり、環境依存のトラブルが減ってテスト実行が安定したこと、カスタマーサポートの仕組みと品質が優れていたことが導入の効果として挙げられます。

そういった背景もあり、社内でも口コミで広まっていきました。結果的に、定着率も高く今運用できているのではないかと感じています。

自動化の対象は、エンドツーエンドテストのうち、繰り返し実行するため自動化に適しており、かつ手動で実施すると時間と労力がかかるマルチブラウザテストとリグレッションテストに絞りました。前者は様々なPCブラウザやモバイルブラウザ、異なるバージョンで表示内容に影響が出ていないことを確認するテスト、後者は改修により既存機能にデグレードが発生していないかを確認するテストです。

オリックス生命保険株式会社では実機テストを重視していることから、実機テストにはAutify NoCodeを、それ以外には原則としてAutify Nexusを使う形で使い分けています。

テスト自動化で得られた成果

リグレッションテストの自動化、定型操作・反復作業のスクリプト化、そして夜間・休日枠を活用した自動実行により、標準化と工数削減、ヒューマンエラーの排除と品質安定化という成果が得られました。現在はデプロイ頻度に合わせて週に一度、機械的にテストが動く運用となっており、土日に実行して月曜の朝に社員が結果だけを確認するルーチンが回っています。そして、当初は思い描いていなかった効果として、チームのマインド変革が挙げられます。

取り組みを始める前は、リグレッションテストを実施すること自体にばらつきがあり、検証内容も有識者の感覚によって実施されていたのが実態でした。またテストシナリオのメンテナンスが追いつかず、いざ実行しようとすると動かないため結局手動テストに戻るという、テスト自動化のよくある課題も抱えていました。

6年間の取り組みを経て、リグレッションテストを実施することが当たり前になり、リグレッションテストとして必要なテストケースの見直しも行われました。自動化することも当たり前になっています。

毎週、週に一回定期的に動いているものですから、シナリオを直さなければいけないというのも早めに気づくことができました。従来ですと開発プロジェクトの最後の方にリグレッションテストをやるのが普通かと思うのですが、そうすると数カ月経った後に気づくことになります。定期的に回していると、直すべきことに早く気づける。開発の好循環が生まれています。

定期的に自動テストが動いていることで、安心してシステム改修や機能追加を継続的に行える状態が生まれています。

導入効果：250分から30分への短縮

約70ステップのテストを3機種で実行するケースを想定した定量効果も算出しました。

従来の手動テストでは、端末の準備に10分、テスト実施に120分、画面キャプチャの移送に20分、エビデンス作成に60分、端末の片づけに10分、結果検証に30分。合計で250分の拘束時間が発生していました。

エビデンス作成の工程では、画面キャプチャを整形し、テストケースの番号と紐づけてファイル名を変え、期待値を示す赤枠を貼るといった作業も発生していました。現在のAutifyを使った自動テストでは、事前の自動化用シナリオ作成に60分、テスト結果検証に30分となり、拘束時間は30分にまで短縮されています。

現在チャレンジしている領域

現在、課題として認識しているのは2点です。1つ目は、テスト設計するのは人間のままであるという点です。テスト設計者のスキルによってテスト品質にばらつきが生じており、テスト分析からテスト計画、テストケース作成までには時間がかかります。2つ目は、自動化シナリオ保守の必要性です。テスト自動化においてシナリオ保守は必要不可欠な作業であり、AI駆動開発によりリリースサイクルが高速化し開発規模が大きくなるほど、保守サイクルの短期化が課題となります。

これまでは「テスト実行自動化」をゴールとし、繰り返し実行するテストを自動化して社員がより高度な業務に集中することを目指してきました。ここから目指すのは、テスト設計、シナリオメンテナンス、組織力向上をAIと協調して行う「AIエンジニアリングへのシフト」です。

アプローチ①：生成AIでテスト設計を底上げする

AIを使ってテストケースを自動生成するという切り口自体は提案を受ける機会も多いものの、そのアウトプットが本当に適切なテストケースなのかという疑問が残っていました。

現在の最適解として採用しているのが、人が途中でレビューを挟む処理フローです。まずインプットとなる要件定義書や仕様書、過去の本番障害をAIエージェントに読み込ませ、テスト観点から因子と水準を出力させます。ここで人間が、網羅されているか、十分かをチェックします。人間がOKを出した後、その因子・水準とトレーサビリティが保たれた状態でテストケースを作成する工程を、再びAIエージェントに任せます。

すべてをAIに任せるのではなくて、AIは人間の良き相棒として、テストの抜け漏れ、属人性の低減、設計のリードタイムの短縮といったことを実現しようとしています。

アプローチ②：AIでテストシナリオ保守を自律化する

2つ目が、テストシナリオ保守の自律化です。これはAutifyの標準機能によって実現できている領域です。

AutifyのAIは、HTMLのクラス属性やID属性といった一般的な要素に加えて、その要素が持つ文言やDOM構造からも項目を特定します。そのため、システム改修によりボタンの位置や階層が変化した場合でも、変更前後のDOM構造から意図を推論し、ロケータを再生成した修正スクリプトを提案します。テスト管理者がその提案をレビューし承認することで、スクリプトがテスト基盤へ反映・更新されます。

完全自動ではなく「人との協調設計（Human-in-the-Loop）」を採用している点が特徴で、AIが修復案を提示し人間が最終確認を行うことで、意図しないテストの改変を防いでいます。

アプローチ③：要件定義品質の追及

生成AIによるテスト設計は、テストケース生成を高度化できる一方で、インプットとなる要件定義書の品質が成果を左右します。生成AIによる自動化シナリオのメンテナンスも、業務効率化に繋がる一方で、変更意図や仕様差分が明確であるほど精度が高まります。

つまり、AIを活用するほど、人が担う上流工程の品質が問われることになります。

この2つにAIを活用していき、空いた時間で新しい取り組みの企画であったり、本来我々が責任を持って実施しなければいけない要件定義のさらなる品質の向上であったりに時間を充てて、新たな価値を創出していきたいと思っています。

まとめ：6年間で築いた品質基盤が3つのビジョンを前進させる

私たちが6年間かけて築いてきた基盤を大いに活用して、冒頭お話しした3つのビジョンの前進に進めていきたいと思います。AIを導入することを目的にはせず、我々の組織ビジョンの実現に向けて、1つの武器としてAIを使っていこうと考えています。

アーカイブ動画・発表資料

イベント本編は、アーカイブ動画を公開しています。また、当日の発表資料も掲載しています。あわせてご覧ください。

▼動画・資料はこちら
AI Engineering Summit Tokyo 2026
※動画の視聴にはFindyへのログインが必要です。