某指标突增200%是真的还是脏数据？——统计学异常检测落地

「老板说今天的DAU突然涨了200%，让你赶紧看看是真是假」——这种场景每个数据人都遇到过。靠肉眼看波动、靠经验拍脑袋判断都不靠谱。这道题考的是你能不能用统计学方法做异常检测，给出置信度高的结论。我在出海硬件公司搭建过一套基于3σ+MAD+季节性分解的异常检测体系，覆盖800+核心指标，今天聊聊到底怎么做。

方法一：3σ法则（最经典）

假设数据近似正态分布，超过均值±3倍标准差就是异常（概率<0.3%）。

-- 用过去30天数据计算基线（均值+标准差）
WITH baseline AS (
  SELECT
    AVG(metric_value) AS mu,
    STDDEV(metric_value) AS sigma
  FROM dwd_metric_daily
  WHERE metric = 'dau'
    AND dt BETWEEN DATE_SUB('${bizdate}', 30) AND DATE_SUB('${bizdate}', 1)
),
today AS (
  SELECT metric_value AS today_v FROM dwd_metric_daily
  WHERE metric = 'dau' AND dt = '${bizdate}'
)
SELECT today_v, mu, sigma,
  (today_v - mu) / sigma AS z_score,
  CASE WHEN ABS((today_v-mu)/sigma) > 3 THEN 'ANOMALY' ELSE 'NORMAL' END AS flag
FROM today, baseline;

适用场景：分布近似正态、无强周期性的指标。

不适用：有周期性的指标（DAU周末天然偏低）、长尾分布的指标（订单金额这类有少量超大值）。强行用3σ会误报一片。

方法二：MAD（中位数绝对偏差，更鲁棒）

3σ的弱点是均值和标准差对离群值敏感——一个极端值就会把sigma拉大，导致后续异常检测失效。MAD用中位数代替均值，鲁棒性强很多：

import numpy as np
 
def mad_anomaly_detect(history, today_value, k=3):
    """基于MAD的异常检测
    history: 过去N天的值
    today_value: 今日值
    k: 阈值倍数，常用2.5-3
    """
    median = np.median(history)
    mad = np.median(np.abs(history - median))
    # 经验系数1.4826把MAD换算成标准差等价值
    modified_z = 0.6745 * (today_value - median) / mad
    return abs(modified_z) > k, modified_z
 
# 实战：DAU过去30天 [10000, 10500, 9800, ..., 50000(异常值)]
# 3σ会被那个50000拉偏，MAD不会

MAD是我在出海硬件公司日常用得最多的方法。订单量、用户量这类指标偶尔会因为运营活动出现脉冲，MAD能稳住基线不被脉冲带偏。

方法三：时间序列分解（处理周期性）

DAU周末比工作日低、电商大促期间GMV会暴涨——这些都是「正常波动」，简单的3σ/MAD会误报。时间序列分解（STL Decomposition）把指标拆成趋势+季节性+残差，对残差做异常检测才准确。

from statsmodels.tsa.seasonal import STL
import pandas as pd
 
# 把每日DAU序列做STL分解
ts = pd.Series(dau_history, index=pd.date_range('2024-01-01', periods=90))
stl = STL(ts, period=7, robust=True)  # period=7 周周期
result = stl.fit()
 
trend = result.trend           # 趋势项
seasonal = result.seasonal     # 周期项
resid = result.resid           # 残差项（这是要检测异常的部分）
 
# 对残差做MAD检测
mad = np.median(np.abs(resid - np.median(resid)))
modified_z = 0.6745 * (resid.iloc[-1] - np.median(resid)) / mad
is_anomaly = abs(modified_z) > 3