不用导入数据就能查Hive和S3？——Multi-Catalog湖仓一体

Doris 2.0引入的Multi-Catalog功能让Doris从一个纯OLAP引擎进化成了湖仓一体的查询引擎。在某元宇宙社交公司，我用Multi-Catalog实现了Doris直接查询S3上的历史数据（Parquet文件），不用把数据导入Doris就能跨热数据和冷数据做联合查询。面试官现在很喜欢问这个，因为湖仓一体是大数据的热门趋势。

常见Catalog创建示例

-- 创建Hive Catalog（查Hive表）
CREATE CATALOG hive_catalog PROPERTIES (
    'type' = 'hms',
    'hive.metastore.uris' = 'thrift://hms-host:9083'
);
 
-- 创建Iceberg Catalog
CREATE CATALOG iceberg_catalog PROPERTIES (
    'type' = 'iceberg',
    'iceberg.catalog.type' = 'hms',
    'hive.metastore.uris' = 'thrift://hms-host:9083'
);
 
-- 创建JDBC Catalog（查MySQL）
CREATE CATALOG mysql_catalog PROPERTIES (
    'type' = 'jdbc',
    'user' = 'reader',
    'password' = 'xxx',
    'jdbc_url' = 'jdbc:mysql://mysql-host:3306',
    'driver_url' = 'mysql-connector-java-8.0.jar',
    'driver_class' = 'com.mysql.cj.jdbc.Driver'
);

-- 跨Catalog联合查询（热数据+冷数据）
SELECT
    d.country,
    SUM(d.amount) AS hot_amount,
    SUM(h.amount) AS cold_amount
FROM internal.mydb.dwd_user_event d     -- Doris本地热数据
FULL JOIN hive_catalog.mydb.history h    -- Hive冷数据
    ON d.user_id = h.user_id
GROUP BY d.country;
-- Doris本地数据秒级返回，Hive数据分钟级返回
-- 不需要把历史数据导入Doris，节省大量SSD存储成本