某个Task比其他慢了10倍——Spark数据倾斜怎么解决？

Spark的数据倾斜和Hive类似，但解决方案更丰富。我做了9年大数据，倾斜是遇到最多的性能问题。今天把Spark里解决倾斜的四种方案按优先级讲清楚。

怎么发现倾斜？

在Spark UI的Stage详情页，看每个Task的“Shuffle Read Size”。如果多数Task只读了10MB，但有一个Task读了5GB，那就是倾斜。

也可以用代码检查：

-- 检查Key分布，找出倾斜Key
SELECT join_key, COUNT(1) AS cnt
FROM table_a
GROUP BY join_key
ORDER BY cnt DESC
LIMIT 20;

方案一：开启AQE自动处理（最简单）

Spark 3.0+的AQE能自动检测倾斜分区并拆分。这是最简单的方案，90%的倾斜场景可以解决。配置见上一篇。

方案二：加盐打散（两阶段聚合）

用于GROUP BY倾斜场景。核心思想：先给Key加一个随机后缀做第一次聚合（打散到多个Task），再去掉后缀做第二次聚合。

// 第一次聚合：加盐打散
val salted = df.withColumn("salted_key",
  concat(col("country"), lit("_"), (rand() * 10).cast("int")))
 
val partial = salted.groupBy("salted_key")
  .agg(sum("amount").as("partial_sum"), count("*").as("partial_cnt"))
 
// 第二次聚合：去盐汇总
val result = partial
  .withColumn("country", split(col("salted_key"), "_")(0))
  .groupBy("country")
  .agg(sum("partial_sum").as("total_amount"),
       sum("partial_cnt").as("total_count"))