同样的SQL在Hive跑10分钟在Spark跑2分钟——Spark为什么更快？

这是一个非常经典的面试题。很多人只能说“Spark是内存计算”，但这个回答很粗糙。实际上Spark快在很多方面，“内存计算”只是其中一部分。今天拆解每一个“快的原因”。

用一个例子解释差异

-- 同样的SQL，Hive MapReduce vs Spark
SELECT country, SUM(amount)
FROM orders o JOIN users u ON o.user_id = u.id
WHERE o.dt = '2025-03-15'
GROUP BY country
ORDER BY SUM(amount) DESC;

Hive MapReduce的执行方式：

Job 1：Join——读数据→Shuffle→Join→写HDFS

Job 2：GROUP BY——仏HDFS读→Shuffle→聚合→写HDFS

Job 3：ORDER BY——仏HDFS读→Shuffle→排序→写结果

三个Job串行执行，中间结果写HDFS两次、读HDFS两次。

Spark的执行方式：

生成一个DAG，拆成三个Stage（按Shuffle边界划分）。Stage之间的数据通过内存传递，不写HDFS。而且可能自动把Join变成Broadcast Join（如果users表足够小），减少一次Shuffle。