FastLabelの機械学習アーキテクチャ
アーキテクチャの工夫ポイント
FastLabelは、AI開発の各プロセスに存在するリソース・仕組みの不足をワンストップで解決するAIインフラを提供し、持続可能なAI開発・運用を実現するプラットフォームです。
FastLabelでは、AWSのSageMakerを用いて機械学習(ML)モデルのトレーニングと推論が可能なアプリケーションを開発しています。SageMakerは、MLモデルを運用するためのマネージドサービスであり、インフラの設定・管理が不要で、導入コストが低く、比較的使いやすいサービスです。
アプリケーションサーバーからSageMakerのトレーニングジョブを起動し、学習が完了するとEventBridgeからSQSにメッセージを送信します。SQSからBatchサーバーにメッセージを送り、学習済みモデルの情報をDBに保存します。SageMakerをアプリケーションに組み込んでいる企業は少なく、トレーニングジョブのステータスを検知してアプリケーションサーバーに通知する仕組みは、FastLabel特有のアーキテクチャです。
現在の課題と今後の改善予定
SageMakerを利用することでインフラ管理の手間が省け、開発速度が向上したり、運用コストが低下しています。しかし、利用料金が高いと感じることもあります。そのため、EC2などを使用したSageMakerに依存しないMLモデルの学習環境の構築を検討しています。
学習データやモデルのファイル配置、パラメータの指定方法はSageMakerの制約に依存している部分が多く、他のクラウドサービスへの移行が必要になった場合、修正コストが大きくなります。Dockerイメージの移行方法を含め、より良い方法を模索しています。
◆執筆:開発部モデル開発グループ マネージャー 爲西貴大 @ttarkkaru922
アーキテクチャを構成するツール
Amazon EventBridge
Amazon SageMaker