数据开发与治理面试题100 道

数据质量、血缘、采集同步与 CDC、调度、幂等、回刷对账

全部 Flink Spark Kafka 项目与面试表达 Hadoop / Hive / HBase AI 与大模型 OLAP 与数据湖数仓建模 SQL 与数据库数据应用：画像 / 指标 / 报表数据开发与治理 Java 与 JVM Python Linux 与运维分布式与综合

按题号最新在前

001 数据质量检查怎么设计？
011 离线任务出现重复数据，你怎么排查？
088 CDC 增量同步如何保证不丢不重？
102 数据血缘怎么设计才真正有用？
120 ETL 任务如何设计幂等和可重跑？
121 历史数据回刷怎么避免影响线上数据？
146 ODS 层全量表、增量表和快照表怎么设计？
185 数据合同 Data Contract 怎么设计？
204 Schema Drift 怎么治理？
214 数据目录 Data Catalog 怎么设计才有人用？
227 CDC 全量快照和增量日志怎么无缝衔接？
228 调度依赖怎么设计？上游成功为什么下游仍然缺数据？
229 源表和目标表怎么对账？为什么行数一致还不够？
260 数据任务重试怎么设计？为什么越重试故障越严重？
270 数据脱敏和权限控制有什么区别？测试环境怎么安全使用生产数据？
280 数据任务零行输出算成功吗？空跑和真实零业务怎么区分？
290 数据任务怎么断点续传？游标保存了，为什么还是丢数或重复？
300 数据质量阈值怎么定？固定波动百分比为什么总误报？
310 数据新鲜度怎么监控？最大事件时间很新就代表数据完整吗？
319 历史回填怎么不影响当天任务？只换一个调度队列够吗？
13-01 100个ETL任务谁先跑谁后跑——DAG调度的基本原理
13-02 Airflow vs DolphinScheduler怎么选——主流调度器对比
13-03 下游任务等了2小时上游还没跑完——依赖管理和优先级
13-04 凌晨3点ETL失败了早上才发现——失败告警和自动重试
13-05 重跑一次数据翻倍了——幂等性设计
13-06 Airflow的DAG写了500行没人看得懂——DAG设计最佳实践
13-07 一个任务卡住了后面30个任务全堵了——任务超时和熔断
13-08 昨天的数据今天才到怎么办——数据就绪检测和Sensor
13-09 要回溯最近30天的数据——Backfill和历史补数
13-10 调度平台迁移从Oozie到Airflow——调度器迁移实战
13-11 每天500个任务跑6小时——调度性能优化和并行度
13-12 两个团队的DAG互相依赖——跨团队调度协作
13-13 数仓分层ODS/DWD/DWS的调度怎么编排——分层调度设计
13-14 Airflow的XCom传了个10GB的DataFrame——任务间数据传递
13-15 定时任务和事件驱动任务混在一起——触发方式设计
13-16 生产环境的DAG版本管理——代码即调度
13-17 Airflow的Executor选哪个——执行架构选型
13-18 任务运行日志找不到了——调度平台的可观测性
13-19 DataWorks和Airflow有什么区别——云调度 vs 开源
16-10 倾斜爆发才来处理已经太晚了——怎么建立数据倾斜的监控和预警体系？
19-01 数据质量出了问题怎么发现？——完整性、准确性、一致性、及时性四性体系
19-02 上游表字段突然改了，下游全挂了——数据血缘到底怎么用？
19-03 1000+埋点事件乱成一锅粥——埋点治理从哪下手？
19-04 业务说「数据不准」，你怎么排查？——数据质量问题排查SOP
19-05 同一个指标，两个部门算出来不一样——指标口径一致性怎么管？
19-06 元数据管理到底管什么？——技术+业务+操作三类元数据一次讲清楚
19-07 数据延迟了2小时，老板来问了——任务SLA监控怎么做？
19-08 数据仓库里一半的表没人用——数据资产盘点和治理怎么做？
19-09 NULL值占了30%，到底该怎么处理？——数据完整性治理实战
19-10 两个系统的用户ID对不上——数据一致性问题怎么解？
19-11 ETL跑完了但数据是错的——数据准确性校验怎么做？
19-12 埋点上报丢了10%的数据——客户端埋点 vs 服务端埋点怎么选？
19-13 数据治理推不动，业务不配合——数据治理的组织和流程怎么搞？
19-14 维度表更新不及时导致报表出错——维度数据质量管理怎么做？
19-15 血缘图太复杂看不懂——血缘分析的正确打开方式
19-16 指标体系从0到1怎么建——北极星指标+指标分层方法论
19-17 数据质量报告写了没人看——怎么让领导重视数据治理成果？
19-18 跨时区+多语言+合规——出海业务的数据治理有哪些特殊挑战？
19-19 谁动了我的数据——数据权限和安全管理怎么做？
19-20 面试中怎么讲数据治理项目？——STAR法则+答题模板
23-01 DQC规则写了200条还在漏报——校验规则到底怎么设计？
23-02 Great Expectations、Deequ、DataWorks DQC——三大DQC工具到底怎么选？
23-03 主键唯一性，光靠PRIMARY KEY是不够的——ETL层去重的5种姿势
23-04 数据校验放事前还是事后？——数据质量门禁（CI/CD for Data）实战
23-05 一张新表上线前必做的「体检清单」——数据剖析（Data Profiling）实战
23-06 某指标突增200%是真的还是脏数据？——统计学异常检测落地
23-07 实时数仓和离线数仓数据对不上——流批对账（Reconciliation）框架怎么搭？
23-08 业务库↔数仓↔BI三方数据对不上——跨系统对账框架怎么落地？
23-09 数据延迟3天才到——Late Arriving Data怎么处理才不破坏历史？
23-10 上游分布悄悄变了——数据漂移（Data Drift）你怎么发现？
23-11 上游schema改了下游全挂——Schema Evolution怎么治？
23-12 数据契约（Data Contract）是不是新瓶装旧酒？——落地实操
23-13 离线作业失败下游已出报表——数据故障止损与回滚SOP
23-14 补数把历史数据搞乱了——重跑机制怎么设计才安全？
23-15 高基数字段（user_id/device_id）的质量校验怎么做才不爆内存？
23-16 埋点数据30%是脏的——SDK到数仓的端到端质量治理
23-17 同一商品在不同系统SKU都不一样——主数据（MDM）管理怎么落地？
23-18 一份数据被10个下游用，改一处坏全部——数据血缘如何用于质量保障？
23-19 数据质量告警太多没人看——告警降噪与分级响应实战
23-20 数据质量左移——从被动监控到主动预防的体系建设
27-01 MySQL Binlog采集突然延迟5分钟——Canal卡住了怎么排查？
27-02 上百张MySQL表要同步到数仓——DataX、Canal、Flink CDC怎么选？
27-03 全量+增量同步方案——一张10亿行的订单表怎么平滑迁移到数仓？
27-04 业务库改了字段类型——下游CDC作业全挂了，Schema演进怎么处理？
27-05 Flink CDC读Binlog导致MySQL主库IO飙高——怎么优化不影响线上？
27-06 埋点上报数据丢了30%——前端SDK的可靠性怎么保证？
27-07 一条行为日志要进Kafka又要进HDFS——怎么避免重复采集和数据不一致？
27-08 Filebeat采集日志跟不上写入速度——怎么调优才不丢数据？
27-09 Flume Agent挂了导致数据积压——Channel选MemoryChannel还是FileChannel？
27-10 App端埋点字段经常变——埋点Schema管理体系怎么搭？
27-11 跨时区数据采集——海外业务的时间字段怎么处理？
27-12 同一份订单在三个系统里——主数据采集口径怎么统一？
27-13 Kafka Connect vs Flink CDC——CDC到Kafka用哪个方案更稳？
27-14 历史数据补采跑了8小时——怎么设计回溯采集机制？
27-15 接入第三方API数据——分页、限流、断点续传怎么做？
27-16 数据采集任务监控——延迟、丢失、重复指标怎么打？
27-17 采集到的数据有重复——Exactly-Once到底能不能保证？
27-18 DataWorks数据集成同步速度慢——并发、批量、网络怎么调？
27-19 离线采集和实时采集要不要分开——同一份业务数据的Lambda取舍
27-20 业务方要"数据T+0"——离线全量+实时增量的合并策略怎么设计？