AnyAIS

开源推荐 · 2026-08-28

开源项目推荐|Presidio:在 AI 数据进入模型前识别与匿名化 PII

Presidio 提供可扩展的 PII 检测、匿名化与图像遮盖能力,适合在 Prompt、日志、评测集和文件处理环节实施数据最小化。

开源项目推荐|Presidio:在 AI 数据进入模型前识别与匿名化 PII封面

AI 数据隐私问题常发生在调用之前

客服记录、合同、病历、简历和工单经常同时包含姓名、电话、证件号、账号与业务事实。团队即使选择可信模型,如果把原始文本完整写入 Prompt、向量库、调试日志和评测集,敏感信息仍会沿着处理链被复制。真正有效的隐私治理,需要在数据进入模型和可观测系统之前先做识别与最小化。

Presidio 是面向 PII 检测与去标识化的开源框架。项目已从原 Microsoft 仓库迁移到 data-privacy-stack,覆盖文本分析、匿名化、结构化数据与图像遮盖等模块。Analyzer 可以组合正则表达式、命名实体识别、规则、校验和及上下文,也允许团队增加自定义 recognizer。

官方仓库:https://github.com/data-privacy-stack/presidio

检测与匿名化要分成两个步骤

第一步是找出实体类型、位置和置信度,第二步才决定删除、替换、遮盖、哈希或采用其他去标识方式。不同用途需要不同策略:发送给外部模型的临时文本可以替换姓名和证件号;同一会话内仍需区分不同客户时,可以使用一致的假名;用于统计的数据则应尽量保留非识别性属性。

替换结果与映射表不能放在同一个低权限位置,否则匿名化很容易被逆转。需要恢复原值的业务,应把映射作为独立敏感资产管理,并记录谁在什么目的下执行了还原。对不可逆分析任务,不保留映射通常更符合数据最小化原则。

开箱规则不是业务准确率保证

Presidio 官方明确提醒,自动检测无法保证发现所有敏感信息。姓名可能与普通词重合,内部客户编号、设备序列号和本地证件格式也未必在默认实体中。上线前要按语言、文档类型和实体类别建立真实评测集,分别观察漏检与误报,而不是只看一个平均分数。

高风险实体可以叠加格式校验、上下文词、业务词典和自定义 recognizer。抽样结果由隐私或业务人员复核,边界样本再交给独立模型比较原文与检测结果,但原始敏感文本只能发送到获得授权的环境。独立模型用于发现盲点,不应成为唯一的数据出境许可。

在 AI 链路中设置多道关口

一条稳健流程通常会在文件解析后、模型调用前、日志写入前和评测样本入库前分别检查。输入侧阻止不必要 PII 进入模型,输出侧防止模型复述敏感字段,日志侧保留实体类型、策略版本和处理计数,而不是原值。图片场景还要结合 OCR 与 image redactor,并对低质量扫描件进行人工抽检。

AnyAIS 可以统一模型与文件能力、API Key、额度和调用日志;Presidio 作为调用前后的隐私处理层,帮助团队只发送完成任务所需的信息。两者结合时,应为每种业务定义允许实体、处理动作、例外审批和保留周期,并用 request ID 关联脱敏事件与模型调用,而不在普通日志保存原文。

适合哪些团队

只要 AI 会接触真实客户、员工或医疗金融资料,就值得在原型阶段评估 Presidio。它不是合规结论,也不能替代访问控制、加密和法律评估;它的价值是把“发现并减少 PII”变成可测试、可定制的工程步骤。

参考资料:

  • Presidio 官方文档:https://data-privacy-stack.github.io/presidio/
  • Presidio Analyzer:https://data-privacy-stack.github.io/presidio/analyzer/
  • Presidio Anonymizer:https://data-privacy-stack.github.io/presidio/anonymizer/
  • Presidio 安装说明:https://data-privacy-stack.github.io/presidio/installation/

在模型调用前减少不必要的 PII

用 Presidio 识别和匿名化敏感数据,用 AnyAIS 统一模型、文件能力与调用日志。

访问 Presidio 官方仓库