Findy Tools
開発ツールのレビューサイト

データパイプラインのツール - 製品一覧から機能の違いや活用事例を紹介

データパイプライン

データパイプラインのツール一覧

StreamSets
Google Cloud Workflows
Keboola
Luigi
Dagster
Prefect
Apache Beam
Apache Airflow
Dataform
AWS Transfer Family
AWS Snowmobile
AWS Snowcone
AWS Migration Hub
Amazon Managed Workflows for Apache Airflow
AWS Storage Gateway
AWS Snowball
AWS IoT Analytics
AWS Glue
Amazon EMR
AWS Database Migration Service
AWS DataSync
AWS Data Pipeline
AWS Application Migration Service
Amazon AppFlow
Transfer Appliance
Dataproc
Database Migration Service
dbt

データパイプラインの活用事例

StreamSets
StreamSets
IBM

スマートなストリーミングデータパイプラインを作成・管理するためのプラットフォーム。ハイブリッドおよびマルチクラウド環境でのシームレスなデータ統合を可能にする。

もっとみる
Google Cloud Workflows
Google Cloud Workflows
Google Cloud

Google CloudサービスとAPIを組み合わせて、信頼性の高いアプリケーション、プロセス自動化、データ/MLパイプラインを構築するためのオーケストレーションサービス。

もっとみる
Keboola
Keboola
Keboola

セルフサービスのデータ管理プラットフォーム。既存のアプリ、ワークフロー、データソースを単一の管理環境に統合し、データアプリの構築とデプロイを迅速化。

もっとみる
Luigi
Luigi
OSS

バッチジョブの複雑なパイプライン構築を支援するPythonモジュール。依存関係解決、ワークフロー管理、可視化などを扱う。Hadoopサポートも組み込まれている。

もっとみる
Dagster
Dagster
Elementl

データパイプラインとAIプラットフォーム構築のためのモダンなデータオーケストレーター。Pythonコードによるパイプライン定義、dbt連携、豊富なメタデータと可観測性を提供。

もっとみる
Prefect
Prefect
Prefect Technologies

Pythonベースのワークフローオーケストレーションツール。動的で依存関係のあるワークフローの構築、実行、監視を容易にする。OSS版とクラウド版(Prefect Cloud)がある。

もっとみる
Apache Beam
Apache Beam
OSS

バッチおよびストリーミングデータ処理のための統合プログラミングモデル。多様な実行環境(Runner)でパイプラインを実行可能。Java, Python, Go, TypeScriptなど複数の言語をサポート。

もっとみる
Apache Airflow
Apache Airflow
OSS

Pythonでプログラム的にワークフローを作成、スケジュール、監視するためのプラットフォーム。動的なパイプライン生成、スケーラビリティ、豊富な連携機能を持つ。Web UIによる監視・管理も可能。

もっとみる
Dataform
Dataform
Google

SQL を使用して BigQuery でスケーラブルなデータ変換パイプラインを開発、運用します。

  • BigQuery で、キュレートされた最新の信頼できる文書化されたテーブルを開発する
  • データ アナリストとデータ エンジニアが同じリポジトリでコラボレーションできるようにする
  • SQL を使用して BigQuery でスケーラブルなデータ パイプラインを構築する
  • GitHub および GitLab と統合する
  • インフラストラクチャの管理を必要とせずにテーブルを最新の状態に保つ
もっとみる
AWS Transfer Family
AWS Transfer Family
Amazon Web Services, Inc.

SFTP, FTPS, FTPプロトコルを使用して、Amazon S3やAmazon EFSとの間でファイルを直接転送できるフルマネージドサービス。

もっとみる
AWS Snowmobile
AWS Snowmobile
Amazon Web Services, Inc.

エクサバイト規模のデータをAWSクラウドとの間で移動できるデータ転送サービス。最大100PBのデータを格納できる45フィートの堅牢な輸送コンテナを使用。

もっとみる
AWS Snowcone
AWS Snowcone
Amazon Web Services, Inc.

AWS Snowファミリーの最小メンバーで、ポータブルで堅牢、安全なエッジコンピューティング、エッジストレージ、データ転送デバイス。

もっとみる
AWS Migration Hub
AWS Migration Hub
Amazon Web Services, Inc.

AWSへの移行プロジェクトの計画と追跡を一元的に行うためのサービス。アプリケーションポートフォリオの検出と評価、移行状況の監視を支援。

もっとみる
Amazon Managed Workflows for Apache Airflow
Amazon Managed Workflows for Apache Airflow
Amazon Web Services, Inc.

(MWAA) オープンソースのワークフローオーケストレーションツールであるApache AirflowをAWS上で簡単に実行できるマネージドサービス。

もっとみる
AWS Storage Gateway
AWS Storage Gateway
Amazon Web Services, Inc.

オンプレミスアプリケーションをAWSクラウドストレージ(S3, EBS, Glacier)にシームレスに接続するためのハイブリッドクラウドストレージサービス。

もっとみる
AWS Snowball
AWS Snowball
Amazon Web Services, Inc.

ペタバイト規模のデータをAWSとの間で物理的に転送するためのエッジコンピューティング、データ移行、エッジストレージデバイス群。Snowball EdgeとSnowconeを含む。

もっとみる
AWS IoT Analytics
AWS IoT Analytics
Amazon Web Services, Inc.

大量のIoTデータを簡単に分析するためのフルマネージドサービス。データのフィルタリング、変換、エンリッチ、保存、分析、可視化機能を提供。

もっとみる
AWS Glue
AWS Glue
Amazon Web Services, Inc.

データの抽出、変換、ロード (ETL) を簡単に行うためのフルマネージドなETLサービス。データカタログ機能も提供。

もっとみる
Amazon EMR
Amazon EMR
Amazon Web Services, Inc.

(Elastic MapReduce) Apache Spark, Hadoop, HBase, Flink, PrestoなどのビッグデータフレームワークをAWS上で簡単かつコスト効率よく実行できるクラウドビッグデータプラットフォーム。

もっとみる
AWS Database Migration Service
AWS Database Migration Service
Amazon Web Services, Inc.

(DMS) リレーショナルデータベース、データウェアハウス、NoSQLデータベースなどをAWSへ簡単かつ安全に移行するためのサービス。

もっとみる
AWS DataSync
AWS DataSync
Amazon Web Services, Inc.

オンプレミスストレージシステムとAWSストレージサービス間、またはAWSストレージサービス間で、大規模なデータセットの移動を簡素化、自動化、高速化するオンラインデータ転送サービス。

もっとみる
AWS Data Pipeline
AWS Data Pipeline
Amazon Web Services, Inc.

異なるAWSコンピューティングおよびストレージサービス間、ならびにオンプレミスデータソース間で、データの移動と変換を確実に行うためのウェブサービス。

もっとみる
AWS Application Migration Service
AWS Application Migration Service
Amazon Web Services, Inc.

(MGN) オンプレミス、プライベートクラウド、他のパブリッククラウドからAWSへアプリケーションをリホスト(リフトアンドシフト)するための主要な移行サービス。

もっとみる
Amazon AppFlow
Amazon AppFlow
Amazon Web Services, Inc.

SaaSアプリケーション (Salesforce, Slack, Zendeskなど) とAWSサービス (S3, Redshiftなど) 間で双方向のデータフローを自動化するフルマネージド統合サービス。

もっとみる
Transfer Appliance
Transfer Appliance
Google

大量のオフラインデータを迅速かつ安全にGoogle Cloudへ移行するための、輸送可能な大容量ストレージデバイス。

もっとみる
Dataproc
Dataproc
Google

Apache Spark, Apache Hadoop, Apache Flink, Prestoなどのオープンソースデータ処理フレームワークをGoogle Cloud上で迅速かつ容易に実行できるフルマネージドサービス。

もっとみる
Database Migration Service
Database Migration Service
Google

MySQL, PostgreSQL, SQL Server, Oracleなどのデータベースを最小限のダウンタイムでGoogle CloudのCloud SQLやAlloyDB, BigQueryに移行するためのサーバーレスサービス。

もっとみる
dbt
dbt
dbt Labs, Inc.

dbt (data build tool)は、データ変換と分析ワークフローの自動化を支援するオープンソースツールです。SQLを使用してデータトランスフォーメーションを定義し、データモデルの開発、テスト、ドキュメント化を簡素化します。データエンジニアやアナリストが、データパイプラインの効率を高めるために利用しています。

もっとみる
すべてのレビューをみる