Spark で SortBasedShuffle を有効にするには
訳あって Spark を動かしている.1.1.1 で最適化されたと評判の SortBasedShuffle (MapReduce と同じ Shuffle 方式)を実行するには以下のオプションを設定すれば良い.
conf.set("spark.shuffle.manager", "org.apache.spark.shuffle.sort.SortShuffleManager”)
訳あって Spark を動かしている.1.1.1 で最適化されたと評判の SortBasedShuffle (MapReduce と同じ Shuffle 方式)を実行するには以下のオプションを設定すれば良い.
conf.set("spark.shuffle.manager", "org.apache.spark.shuffle.sort.SortShuffleManager”)