CubicLouve

Spring_MTの技術ブログ

Apache Beam

Java SDKでApache Beam(Dataflow)でGradleを使うサンプル

Java SDKを使ったApache Beamのパイプライン構築については公式ドキュメントなどを見るとMavenを使うことが多いのですが、Gradleを使った例が見当たらなかったので作ってみました。 github.com 個人的な感想なのですが、Mavenだと依存関係をpomで定義書くの…

Apache BeamでPTransformを使って分割したステップについてテストをする(Java)

簡単なまとめ Apache Beamでは PTransform PCollectionを使ってパイプラインを小さいステップに分割できる Apache Beamは分割してステップを簡単にテストできるテスティングフレームワークが整備されている パイプラインを細かく分割して、それらのテストを…