2014-11-07から1日間の記事一覧

Spark で SortBasedShuffle を有効にするには

訳あって Spark を動かしている.1.1.1 で最適化されたと評判の SortBasedShuffle (MapReduce と同じ Shuffle 方式)を実行するには以下のオプションを設定すれば良い. conf.set("spark.shuffle.manager", "org.apache.spark.shuffle.sort.SortShuffleManage…