Flink 实时计算 20 天
每天一个主题:架构、时间语义、状态、Checkpoint、反压到实时数仓和项目表达。
- 1 Flink架构全景:JobManager、TaskManager到底在干嘛架构组件 · 部署模式 · 资源管理 · 任务提交流程 基础
- 2 时间语义与Watermark:实时计算最核心的概念Event Time · Processing Time · Watermark · 乱序处理 基础
- 3 窗口机制:四种窗口一次讲透滚动窗口 · 滑动窗口 · 会话窗口 · 全局窗口 · 触发器 基础
- 4 State状态管理:实时计算的记忆力Keyed State · Operator State · State Backend · TTL 基础
- 5 Checkpoint与容错:任务挂了数据不丢的秘密Checkpoint · Savepoint · Barrier对齐 · 增量Checkpoint 进阶
- 6 Exactly-Once语义:端到端不丢不重的完整链路三种语义 · 两阶段提交 · 端到端保证 · Kafka事务 进阶
- 7 反压排查:任务延迟飙升的第一嫌疑人反压原理 · Web UI诊断 · 定位瓶颈 · 解决方案 进阶
- 8 数据倾斜处理:KeyBy之后一个SubTask累死倾斜原因 · 两阶段聚合 · 加盐打散 · LocalKeyBy 进阶
- 9 内存模型与调优:OOM了先别加内存内存划分 · JVM/堆外 · RocksDB内存 · 调优实战 进阶
- 10 Flink SQL实战:写SQL就能搞定实时计算动态表 · 连续查询 · 时间属性 · 常用语法 进阶
- 11 CDC与Flink:数据库变更实时同步CDC原理 · Flink CDC · Binlog捕获 · 全增量一体 · 实战场景 进阶
- 12 维表JOIN:实时流怎么关联维度数据同步查询 · 异步IO · 缓存策略 · Lookup Join · 广播维表 进阶
- 13 实时数仓架构:Kafka分层还是OLAP引擎直出Lambda · Kappa · 实时分层 · Kafka分层 vs OLAP直出 高阶
- 14 Flink+Kafka最佳实践:实时计算的黄金搭档消费语义 · Offset管理 · 分区策略 · 生产踩坑 进阶
- 15 Flink+Doris/StarRocks:实时数仓的最后一公里写入模式 · 主键模型 · 微批优化 · 数据一致性 进阶
- 16 双流JOIN:两条流怎么关联到一起Interval Join · Window Join · Regular Join · State清理 高阶
- 17 迟到数据处理:Watermark之后来的数据怎么办允许迟到 · 侧输出流 · 累积窗口 · 三层防线 进阶
- 18 任务上线与运维:跑起来只是开始上线Checklist · 监控告警 · 优雅停机 · 版本升级 · 故障处理 进阶
- 19 Flink vs Spark Streaming:到底选哪个架构对比 · 延迟 · 语义 · 生态 · 选型决策 高阶
- 20 面试项目表达(实时篇):讲实时项目的正确姿势STAR法则 · 实时项目模板 · 技术选型理由 · 追问应对 高阶