つかびーの技術日記

(情報)工学修士, 元SIer SE, 現Web系 SEの技術blogです。Scala, Java, JS, TS, Python, Ruby, AWS, GCPあたりが好きです。

「 Apache Spark 」 一覧

Spark DataFrameのschemaにまつわる罠とschemaの補正

  2017/10/04    Spark , , ,

こんにちは、@s_tsukaです。今日はSpark DataFrameのsche …

Google Cloud Pub/Sub のデータをSpark Streamingで読む

今回はPub/SubのデータをSpark Streamingで読んでみたいと思い …

SparkSQLで文字列型を日付型に変換する

  2016/08/29    Spark , ,

SparkSQLで日付文字列を日付型に変更する方法のメモです。 Processi …

Spark Streaming (Kinesis) ではdynamic resource allocationは使えない

  2016/06/15    Spark ,

こんにちは、@s_tsukaです。 Apache SparkのStreaming …

SparkのTASKが停止する問題を回避する

こんにちは、@s_tsukaです。 Apache Sparkを触っていて困った現 …