混洗操作

在Spark中,确定的操作会触发一个称为shuffle(混洗)的事件,混洗是Spark对于重新分发数据的机制,以便于它在整个分区中分成不同的组。这通常会引起在执行器和机器上之间复制数据,使得混洗是一个复杂而开销很大的操作。

results matching ""

    No results matching ""