GitHubを使わずDatabricksだけでお手軽にライブラリ共有やCIができる環境を作ってみた

すでに導入されているツールだったため、割愛させていただきます。

カケハシでのDatabricks利用

カケハシではデータ分析の業務はほとんどDatabricks上だけで完結して実施をしています。
これはDatabricksがデータ分析に必要になるような機能をオールインワンで備えているところが大きいと思っています。
また、カケハシでは全てのプロダクトのデータがDatabricksのUnity Catalog上に蓄えられており、そちらを使って分析していけば良いので、他のところにアクセスする必要がないという形になっているため、基本的にDatabricksをフル活用しています。

解決したかった課題

弊社のデータサイエンスチームが大きくなってきている中で、データサイエンティストと機械学習エンジニアという職種で合わせて11～12名ほどおり、その中でチームとして一緒に分析を進めていくこともよくある形になってきています。そうすると以下の三つの課題が、頻繁に発生するようになってきており、できるだけこうした課題を簡単にできるようにしていきたいと考えております。

• チーム間でコードを共有したい
• チームで共有して使っているものに誰でも自由に変更を加えて拡張したい
• チームで自由に変更を加えてもテグレが起こらないように自動的にチェックされるようにしたい
  
  
  
  

推奨されている解決方法

Databricksさんとしては、上述の課題に対してGitHubでコード管理をすることを推奨されている形になっていると思います。
バージョン管理のためにGitHub上にNotebookなどのコードを置いて管理し、GitHub Actions を使ってCIを回して自動テストをさせ、DatabricksとGitHubが連携できるようになっています。その後、連携してコードをDatabricksにシンクするような形が推奨されております。

実際に挑戦した時の苦労・悩み

実際に弊社ではGitHubでのコード管理をやってみたことがありますが、弊社の場合では結構大変でした。
大変だった理由は主に以下の4つです。

1. 現在の当社のフェーズでは、高品質なプロダクションコードが要求されない、仮説検証の分析が多かったこと
   　・品質の高いコードを書くことはbetterではあるものの、スピード重視の分析が多く、後述のデータサイエンティストの性質を考慮すると、労力に見合いませんでした。
2. ビジネスサイドに近い業務経験でGitHubに触れたことのないデータサイエンティストにとってGitHubはハードルが高い
   　・branch、commit、pushなど様々な独自の概念があってなかなか慣れず、エンジニアに質問しまくってしまう
   　・操作をミスしたときのリカバリが周りにエンジニアがいないと厳しい
3. CIのためにGitHub Actionsのymlファイルを書くのもかなり辛い
   　・書いてあること一つ一つが謎でどう書いたら良いかわからない
   　・マウスでポチポチするだけでCI作りたい
4. カケハシではGitHubリソースもlaC管理しているのでさらに敷居が高く、GitHubリポジトリ管理したくない
   　・弊社ではGitHubのリソースのリポジトリ・権限なども含めて全てTerraformで管理する形になっているため、Terraformもデータサイエンティストからすると、全く馴染みのないものになってしまっているのですごく敷居が高かった
   

Databricks活用の決め手

以上のような状況から、現在のフェーズにおいて、やりたいことを実現するために本当にGitHubで管理しなければならないのかなという疑問が生じてきました。
そんな中でDatabricks機能を調べてみるとGitHubで管理できることをいずれもカバーできるような機能がそろっていたため、Databricksの機能を使うことになりました。
ややGitHubと比べると制限はある形にはなっていますが、データサイエンティストからすると十分管理したいコードを管理できるため、Databricksでコード管理を始めました。