用大模型做敏感数据识别和自动分级,怎么落地?

第 1210 题 约 2 分钟读完

本文目录
  1. 面试怎么回答
  2. 先定分级标准
  3. 识别的分层方案
  4. 落地流程
  5. 注意事项

面试怎么回答

我会先和安全、法务确定分类和分级标准,以及每一级的访问和脱敏要求。识别分层做:格式固定的手机号、身份证、银行卡用正则加校验算法;字段名和注释用关键词字典;规则判断不了的,比如备注字段或 JSON 扩展字段,把字段名、注释、表用途和脱敏后的样例交给大模型判断;再沿血缘把上游的敏感标签传播到下游并确认是否已脱敏。新表上线自动扫描,高置信度自动打标,低置信度推送负责人确认,高敏字段自动关联脱敏和访问控制,并定期复扫。发给模型的样例要先掩码或用内部模型,评估时宁可多报不能漏报,每个标签都记录识别依据便于审计。

先把这段讲顺;面试官追问时,再展开下面的原理和细节。

详细讲解

数据安全法规要求企业对数据分类分级,但数仓里有几万张表、几十万个字段,人工梳理不现实。传统的规则(正则匹配手机号、身份证)只能识别格式固定的数据。面试官问这题,想看你怎么把规则和大模型结合起来,做出一套能持续运行的分级体系。

先定分级标准

技术方案之前,先和安全、法务确定:

  • 有哪些分类(个人信息、财务、经营数据、员工信息……);
  • 分几级(比如公开、内部、敏感、高度敏感),每一级的访问和脱敏要求;
  • 哪些字段属于个人敏感信息。

没有标准,识别出来也没法用。

识别的分层方案

  1. 规则先行:手机号、身份证、银行卡、邮箱这类格式固定的数据,用正则和校验算法(比如身份证校验位)识别,准确、便宜;
  2. 字典和元数据:字段名、注释里包含「手机」「地址」「薪资」等关键词,结合公司的字段命名规范;
  3. 大模型补充:对规则无法判断的字段,把字段名、注释、表的用途、脱敏后的样例值交给模型判断分类和级别。比如 remark 字段里经常出现用户的地址和电话,或者 ext_info 这种 JSON 字段里混着敏感信息;
  4. 血缘传播:上游字段是敏感的,经过简单加工的下游字段通常也是敏感的,沿血缘自动继承标签,再由模型或人工确认是否已经脱敏或聚合。

落地流程

  • 新表上线时自动扫描,识别结果写入元数据系统;
  • 高置信度的结果自动打标;低置信度的推送给负责人确认;
  • 高度敏感的字段,自动关联脱敏策略和访问控制;
  • 定期全量复扫,因为字段内容会变化(比如原本没用的字段开始存手机号)。

注意事项

  • 样例数据本身就是敏感的:发给模型的样例要先做格式化掩码,或者使用内部部署的模型;
  • 准确率评估:用人工标注的样本集评估召回率和准确率,宁可多报不能漏报,漏报一个身份证字段的代价远大于误报;
  • 可解释:每个标签记录识别依据(规则、模型、血缘继承、人工),方便审计。