ABEJA Insight for Retailの機械学習基盤アーキテクチャ

ABEJA Insight for Retailについて

ABEJA Insight for Retailは、お客様の店舗訪問から購入までの行動をデータから分析する、ABEJAが提供するDXツールです。店舗にIoTデバイス（カメラや来客カウンター等）を設置し、取得データを顧客企業に提供することで小売店舗の運営を支援しています。「リアル世界のGoogleAnalytics」をご想像いただけるとわかりやすいかもしれません。ABEJAが取得・提供するデータは、日々の店舗の改善活動や意思決定場面で利用していただいています。
ABEJA Insight for Retailにおける機械学習の適用領域は大きく分けて２つあります。１つは非構造化データに対する機械学習（例：カメラ画像からの人物検出）、もう一つが構造化データに対する機械学習（売上・来店人数等の時系列データの予測・クラスタリング）です。どちらも顧客企業がデータを可視化・分析する為に必要な領域になります。今回は、構造化データに対するデータ処理および機械学習について解説します。
※ABEJA Insight for Retailは、「ABEJA Platform」のアプリケーションの一つです「ABEJA　Platform」は、ABEJAが提供する、DXの実行に必要なプロセスを提供し・安定的な運用を行うソフトウェア群です。

ABEJA Insight for Retailを通して取得可能なデータ例：

アーキテクチャ選択の背景や意図

• 大規模なデータ集計を低コストかつ効率よく行う土壌(BigQuery利用)
  

カウンティングイベントやPOSトランザクションを合計すると、現時点で数億レコードのデータが存在しています。適切にパーティションを切ることでスキャン量を抑えつつ、大規模なデータ分析が可能な土壌を整えています。

• 誰でもロジック品質・安定性を評価できる土壌(SRE系ツールの充実化)
  

サーバーメトリクス、アプリケーションログ、例外エラー等を蓄積し、チーム内で可視化・分析できるようにしています。ソフトウェアエンジニアやMLエンジニアが同じツールで、ロジックの品質やパフォーマンスを評価できる体制を作っています。

• MLエンジニアのロジックアップデートを支援(GitOpsの採用)
  

前まではリポジトリやサービス毎にCI/CDを設定し、ロジックのデプロイを行っていました。リポジトリ毎にブランチ運用戦略が異なったり、考慮しないといけないクセがあるなど、MLエンジニア視点だと触りにくい部分がありました。Gitopsの採用により、必要な変更をマージするだけで、APIや集計・MLロジックの差し替えがしやすくなりました。

現在の課題と今後の改善予定

• よりデータガバナンスを担保する仕組みの強化
  

主にデータ品質管理の話になります。故障したIoTデバイスが含まれている場合、データ提供や学習に影響が出ます。数値データに大きな影響を及ぼす社会的事象も要ケアです。例えば、COVID-19による緊急事態宣言中のデータは、ほぼ外れ値で学習に使えませんでした。データ品質をより担保できる仕組みを今後は検討していきたいと考えています。

• BigQueryのパーティション数制限問題(地味な困りごと)
  

BigQueryの１つのJOBが処理できるパーティション数には制限が存在します。2024年7月現在では4,000パーティションが上限となっています。例えば、BigQueryのパーティションを日付で区切る場合、約11年分(4,000/365=10.95…)のデータしか一度に分析することができません。内部的に回避方法はいくつかありますが、LongTermなデータを分析が必要なケースにおいて地味に困るシーンがあります。

◆執筆：CTO室プラットフォームグループ　グループマネージャー　大田黒 紘之 @xecus

【サービス公式サイト】
https://www.abejainc.com/insight-retail-main