Flink作业OOM了——内存模型和调优思路
先说结论
Flink TaskManager的内存分为四大块：Framework Heap + Task Heap + Managed Memory + Network Memory。OOM通常发生在Task Heap（用户代码）或Managed Memory（RocksDB状态）。
先把这段讲顺；面试官追问时，再展开下面的原理和细节。
详细讲解
Flink的内存模型和Spark完全不同。Spark的内存主要分为Execution和Storage，而Flink分为Framework、Task、Managed、Network四块。很多人从Spark转到Flink时，用Spark的思路调优Flink内存，结果越调越差。今天把Flink的内存分配和OOM排查彻底讲清楚。
TaskManager内存结构详解
| 区域 | 配置参数 | 默认占比 | 用途 |
|---|---|---|---|
| Framework Heap | taskmanager.memory.framework.heap.size | 固定128MB | Flink框架内部对象 |
| Task Heap | taskmanager.memory.task.heap.size | 剩余堆内存 | 用户代码、算子逻辑、序列化 |
| Managed Memory | taskmanager.memory.managed.fraction | 40% | RocksDB状态、排序、哈希表 |
| Network Memory | taskmanager.memory.network.fraction | 10% | Shuffle缓冲区（输入/输出） |
关键点：Managed Memory是Flink自己管理的堆外内存，不会触发Java GC。RocksDB的Block Cache和Write Buffer都仏M anaged Memory分配。如果你用的是HashMapStateBackend（不用RocksDB），Managed Memory可以调小，把更多内存给Task Heap。
三种OOM场景和解决
场景一：Task Heap OOM（java.lang.OutOfMemoryError: Java heap space）
原因：用户代码创建了太多对象。常见于：算子里用HashMap缓存大量数据、反序列化大消息、使用HashMapStateBackend且状态很大。
解决：加大taskmanager.memory.task.heap.size，或者改用RocksDB Backend（状态存磁盘不占堆内存）。
场景二：Managed Memory不够（RocksDB写入变慢、Checkpoint变大）
原因：Managed Memory分配给RocksDB太少，Block Cache命中率低，大量读写落磁盘。
解决：加大managed.fraction（从默认的40%调到0.5或更高）。
场景三：Network Memory不够（多并行度时Shuffle缓冲区不够）
原因：并行度很高时，每个Subtask之间都需要网络缓冲区。100个Subtask之间就是10000个连接。
解决：加大network.fraction（从10%调到15%），或者减少不必要的并行度。
实战配置示例
# flink-conf.yaml 生产环境配置示例
taskmanager.memory.process.size: 8g # 总进程内存
taskmanager.memory.managed.fraction: 0.4 # 40%给Managed（RocksDB）
taskmanager.memory.network.fraction: 0.1 # 10%给Network
taskmanager.memory.framework.heap.size: 128m # 框架固定
# 剩余的自动分配给Task Heap
# RocksDB的调优
state.backend.rocksdb.block.cache-size: 256m # 读缓存
state.backend.rocksdb.writebuffer.size: 128m # 写缓存
state.backend.rocksdb.writebuffer.count: 4 # 写缓存数量总结
Flink内存分四块：Framework/Task Heap/Managed/Network。OOM先确认是哪块不够，再对症下药。用RocksDB时重点调Managed Memory，用HashMap时重点调Task Heap。面试时能画出内存结构图、说清楚三种OOM场景的解决方案，就很有深度。
下一篇聊一个经典选型问题：Flink和Spark Streaming到底选哪个？什么场景选Flink更合适？
你们生产环境的Flink TaskManager内存设了多大？评论区聊聊～
关注「Wood聊大数据」| 9年大数据老兵，聊技术、聊职场、聊成长