Hive也能做UPDATE和DELETE了？事务表怎么用？

Hive 3.0开始支持ACID事务，可以做UPDATE、DELETE、MERGE INTO。很多人不知道这个功能，知道的人又很少真正用过。为什么？因为限制太多，生产环境有更好的替代方案。今天把这个问题彻底讲清楚。

使用前提

要使用Hive ACID，必须同时满足：

① 文件格式必须是ORC（不能是Parquet）

② 表必须分桶（Hive 3.0）或开启非分桶事务（Hive 3.1+）

③ 表属性必须设置 transactional=true

-- 建表示例
CREATE TABLE user_profile (
  user_id STRING,
  name    STRING,
  email   STRING,
  country STRING
)
CLUSTERED BY (user_id) INTO 16 BUCKETS
STORED AS ORC
TBLPROPERTIES ('transactional'='true');
 
-- 现在可以做更新和删除
UPDATE user_profile SET email = 'new@mail.com'
WHERE user_id = 'u001';
 
DELETE FROM user_profile WHERE country = 'test';
 
-- 还能做MERGE INTO
MERGE INTO user_profile t
USING user_update s ON t.user_id = s.user_id
WHEN MATCHED THEN UPDATE SET email = s.email
WHEN NOT MATCHED THEN INSERT VALUES (s.user_id, s.name, s.email, s.country);