ログ調査のためのDuckDB

ツール導入前の課題

アドウェイズの広告事業本部が開発している社内向けのシステムは、ジョブサーバー、ウェブサーバーからログサーバーへログを収集し、さらにS3に保管するという構成をとっています。

ログサーバーは、利用者からの問い合わせや、障害が発生した際の調査に利用していますが、現状、サーバーにSSHで接続し、grepやjqを使ってログを絞り込んでおり、手間もかかる上に検索性も低い状態です。

また、ログサーバーとして専用のEC2インスタンスを立ち上げているため、コストの観点からも最適化を行いたいと考えていました。

どのような状態を目指していたか

• ログ確認に費やす時間を削減
• ログ確認時の利便性向上
• 低コストでの運用

• Datadog Logs
• Cloudwatch Logs Insights

• 低コストで運用可能であること
• 開発コストが少ないこと

試験運用をするに至った大きなポイントは以下です。 ※本レビュー執筆時点では、調査・試験運用段階であり、実際に本番導入するには至っておりません。

• DuckDB UIという拡張機能がリリースされ、フロントの実装が不要のため低コストで導入が可能
• 無料で利用が可能

改善したかった課題はどれくらい解決されたか

本番運用されることで、運用上頻繁にアクセスする情報をカラム化し早期に問題の特定ができるようになり、さらに副次的にはログサーバーの削除が可能になりコスト削減が可能になる見込みです。

構造の深いデータでは、それ自体の整備が一定必要になりますが、複雑な用途が必要でなければ、DuckDB UIを活用することで低コストでの導入が可能なので、検討してみてください。