つかびーの技術日記

情報系修士卒のWeb系技術日記です。現在のフォーカス分野はアドテクです。

「 Apache Spark 」 一覧

Google Cloud Pub/Sub のデータをSpark Streamingで読む

今回はPub/SubのデータをSpark Streamingで読んでみたいと思い …

SparkSQLで文字列型を日付型に変換する

  2016/08/29    Spark , ,

SparkSQLで日付文字列を日付型に変更する方法のメモです。 Processi …

Spark Streaming (Kinesis) ではdynamic resource allocationは使えない

  2016/06/15    Spark ,

こんにちは、@s_tsukaです。 Apache SparkのStreaming …

SparkのTASKが停止する問題を回避する

こんにちは、@s_tsukaです。 Apache Sparkを触っていて困った現 …