Google 试做双盲 AI 评测：第三方拿不到模型，厂商也看不到题目

Google 试做双盲 AI 评测：第三方拿不到模型，厂商也看不到题目

Google DeepMind 8 月 27 日宣布试验一种双盲 AI 评测：外部机构保留机密测试题，模型厂商保留专有权重，双方在加密环境中完成测试。参与方包括新加坡 AI Safety Institute、OpenMined、AVERI 和 MLCommons，首个试点对象是一款 Gemini Flash Lite 模型。

这项工作瞄准模型榜单长期存在的污染问题。测试题若进入训练数据，或厂商在发布前针对题型优化，分数就难以代表未知任务能力；评测机构若必须交出题库，下一轮也很难保持秘密。普通的保密协议和零日志承诺能约束流程，却不能像技术证明那样验证执行环境。

双盲机制同时保护题库和模型权重

[Google DeepMind 介绍](https://deepmind.google/blog/piloting-the-worlds-first-double-blind-ai-evaluations/)称，测试运行在 Google Cloud Confidential Space 的 GPU Enclave 中。评测方无法查看 Gemini 权重，Google 也无法读取外部测试提示。通过加密验证，双方可以确认约定的代码和数据在受保护环境里运行。

这解决了高价值评测的交换困境。安全机构可能掌握未公开的攻击样本，企业可能有真实客户工单，模型厂商又不能把权重交给第三方。双盲环境允许双方在不暴露核心资产的前提下得到结果，尤其适合网络安全、政府采购和敏感行业模型验收。

技术隔离仍需配合版本和配置记录。模型快照、系统提示、采样参数、工具权限、上下文长度与硬件都会影响成绩。只有题库保密而运行参数不固定，结果仍可能无法复现；只公开一个总分，也看不出模型在哪些任务失败。

它没有替企业完成生产选型

双盲评测证明模型没有提前看到题目，并不自动覆盖延迟、价格、地区可用性、限额、内容策略和故障率。一个模型在受控 Enclave 中表现很好，经过公共 API、网关、缓存和工具链后仍可能出现不同结果。采购决策需要把能力测试与生产链路测试分开。

机密题库也可能带有样本偏差。题目来自某个国家、语言或行业时，分数未必能代表中文客服、代码仓库或长文档分析。评测报告应说明任务分布、判分规则和置信区间，并保留失败样本供授权人员审阅。涉及事实或高风险建议时，可用独立模型或规则复核关键结论。

Agent 测试还要观察工具调用与状态恢复。最终答案正确，过程可能访问了越权资源、重复扣费或依赖偶然重试。[OpenTelemetry Agent 评测方法](/articles/agent-evaluation-opentelemetry-framework-independent-guide)可以补足运行轨迹，双盲机制则负责保护隐藏题目和模型资产，两者关注的层面不同。

普通团队可以先复制评测流程

多数企业不需要自建 GPU Enclave，也能提高测试可信度。隐藏测试集应与开发样本分开存储，限制可见人员；发布前由独立流水线取模型版本和题库哈希，运行后保存原始响应、判分程序、参数和时间。开发者只看聚合结果，减少针对单题调参。

题库还要持续更新。把已公开或频繁调试的样本移出隐藏集，用线上失败、人工返工和新业务场景补充；同时保留稳定锚点，观察模型版本变化。[DVC 管理评测数据](/articles/open-source-dvc-version-ai-evaluation-data)能记录数据、Prompt 与结果版本，避免同名文件被悄悄替换。

在 AnyAIS 中比较多模型时，可以固定隐藏请求，通过统一接口调用不同模型，再按质量、延迟和 Token 成本生成对照。模型网关降低接入差异，题库隔离和判分独立性仍由评测流程保证。榜单可用于筛选候选，最终结论应来自未被模型和开发团队提前看过的真实任务。