技术与工程已解决
数据脱敏的方案:正则与 NER 的组合拳
送入大模型前的敏感信息脱敏:规则兜底、NER 主力、可逆与不可逆的选择。
问题正文
为什么要脱敏
手机号、身份证、银行卡、住址一旦进入第三方 API,就脱离了你的控制。脱敏是用云端模型与数据合规之间的桥梁。
两层防线
NER 模型识别人名、地址、机构等实体(正则覆盖不了的);正则规则覆盖强格式信息(手机号、证件号、卡号)。两层互补,先 NER 后正则兜底。
可逆与不可逆
需要还原(如生成报告后填回真实信息)用可逆替换(映射表加密存储);只需分析用不可逆替换(哈希或占位符)。默认不可逆,可逆要特别审批。
