Flink作业上线后指标不对——怎么做实时数据质量监控？

实时数据质量监控是实时数仓的“最后一公里”。作业跑起来了，但数据对不对？很多团队只关注“作业能不能跑”，不关注“数据对不对”。我做了9年数据开发，最痛苦的教训就是：数据质量问题往往在上线几天后才被发现，此时已经影响了业务决策。

四个监控维度

实现方案：在Flink作业内部做监控

// 在Flink作业里加一个监控算子
stream
.process(new ProcessFunction<Event, Event>() {
private transient Counter totalCount;
private transient Counter nullCount;
 
@Override
public void open(Configuration params) {
// 注册Flink Metrics，可以被Prometheus采集
totalCount = getRuntimeContext().getMetricGroup()
.counter("total_events");
nullCount = getRuntimeContext().getMetricGroup()
.counter("null_user_id_events");
    }
 
@Override
public void processElement(Event e, Context ctx, Collector<Event> out) {
totalCount.inc();
if (e.getUserId() == null) {
nullCount.inc();  // 统计NULL率
      }
out.collect(e);
    }
})