两张千万级的表Join特别慢，你怎么优化？

Join优化是Hive性能调优的核心场景。大多数慢查询都是因为Join不当导致的。今天用一个真实的广告归因场景，把Hive里所有Join优化的招数讲清楚。

业务场景：广告归因Join

在我当前的短剧出海公司，广告归因需要把ad_click表（5亿条/天）和user_install表（3000万条/天）做Join，判断哪些点击最终导致了安装。

-- 原始SQL，跑了45分钟
SELECT a.ad_id, a.user_id, a.click_time, i.install_time
FROM ad_click a
JOIN user_install i
  ON a.user_id = i.user_id
 AND a.click_time < i.install_time
 AND a.click_time > DATE_SUB(i.install_time, 7)
WHERE a.dt = '2025-03-14'
  AND i.dt = '2025-03-14';

这条SQL跑了45分钟，主要问题是两张大表做Shuffle Join，Shuffle数据量巨大。

优化招数一：Map Join（小表广播）

如果其中一张表较小（默认<25MB），Hive会自动广播到所有Map Task，避免Shuffle。

SET hive.auto.convert.join = true;  -- 默认开启
SET hive.mapjoin.smalltable.filesize = 50000000;  -- 调大到50MB
 
-- 手动Hint
SELECT /*+ MAPJOIN(dim) */ *
FROM fact_table f JOIN dim_table dim ON f.dim_id = dim.id;