スキル偏差値の計算を Cloud Run jobs を使って高速化

スキル偏差値のリニューアルに伴い、アーキテクチャの見直しも実施

スキル偏差値のリニューアルの経緯に関しては以下のブログをお読みください。

GitHubからエンジニアスキルを可視化する「スキル偏差値」を大幅リニューアルした話

Findy にご登録いただいている 10 万人を超えるユーザーのスキル偏差値を計算する際、既存の方法では数日を要し、時間的にもコスト的にも非効率であるという課題がありました。

どのような状態を目指していたか

最長でも 1 日以内に計算を完了させ、GitHub 上のアクティビティを即座にスキル偏差値に反映することで、ユーザーに納得感と信頼性を提供したいと考えていました。

• Cloud Composer
• Cloud Functions（現 Cloud Run Functions）
• Vertex AI Pipeline

• 計算速度
  • 1 日以内に計算時間を抑える必要がある
• 料金と運用にかかるコスト
  • 計算リソースにかかる金額をなるべく抑えたい
  • 運用にかかるコスト（例えばスキル偏差値の再計算時のオペレーションなど）を最小限にしたい

• コスト効率の良さ
  • 前提として計算時間は対象となるプログラミング言語やユーザーによって大きく変動
  • 従量課金制はコスト効率の面で非常に魅力的
• インターフェースの柔軟さ
  • Cloud Run jobs はエントリーポイントと引数を分けることができるため開発時の Docker のインターフェースを使用することが可能
  • 後の説明に出てくる並列化のために引数を柔軟に調整できる

改善したかった課題はどれくらい解決されたか

目標としていた計算時間も 1 日未満に短縮することができた またコストも想定通りで、算出のために使ったサイトがわかりやすかった

https://cloud.google.com/products/calculator?hl=ja

どのような成果が得られたか

GitHub 上のアウトプットに対してスキル偏差値へ即時に反映することで納得感を得られることに成功 ユーザーごとに実行する形なのでエラーが起きた際のエラー対応を最小限に抑えることができた

Cloud Run jobs は起動するまでの時間（VM やコンテナ起動までの時間）を考慮していなかったため試算より時間がかかるという問題がありました。 またオーケストレートするツールとして Cloud Workflows を用いたが、同時最大実行ステップ数などの制約が未考慮でした。

https://cloud.google.com/workflows/quotas?hl=ja#parallel_steps

これらを考慮して、1 回の Cloud Run の実行で直列で計算したり、Workflows で同時実行する Cloud Run の数を調節し、それらを直列に実行することで最短で最適化しました。

• コンテナ起動に時間がかかっているのでイメージのサイズを最適化したい