Open ASR Leaderboard 加入印地语：语音转文字 API 不能只看平均 WER

Open ASR Leaderboard 加入印地语：语音转文字 API 不能只看平均 WER

Hugging Face 与 Voice Arena 在 8 月 28 日把印度英语和印地语加入 Open ASR Leaderboard。新发布的 Monsoon en-IN 与 Monsoon hi-IN 分成公开、私有四个 split，共覆盖 4,888 名互不重叠的说话者，并记录地区、年龄、性别、职业、教育、设备等属性。印地语也成为该榜单多语言区域中的首个印度语言。

这条更新对语音转文字 API 的启发，不在于又多了一列排名。许多团队选 ASR 时仍只抄一个平均 WER，再用几段清晰普通话做演示。真实客服、会议和移动端录音里，口音、方言、设备、噪声、语速与中英混说会同时出现；平均分可以不错，某一类用户却持续得到更差结果。

平均 WER 看不见谁在说话，也容易把拼写差异算成识别错误

Monsoon 的印度英语公开集来自 1,444 名说话者、428 个地区和 556 种设备，私有集规模相近；印地语两部分还覆盖数百个地区与设备型号。音频来自非脚本化的双声道对话，话题包括旅行、医疗、农业、教育和数字服务。每位说话者的时长受限，避免少数高频参与者主导结果。

这样的设计能把失败定位到人群和环境。官方文章举例，不同模型最难处理的印度区域并不相同：如果只是某个地区录音天然更难，模型排名应该一起下降；实际差异更像模型对口音、词汇或声学条件的适配不足。采购方因此需要看分组误差，而不是把一个 WER 当作所有用户的体验。

印地语还有书写体系带来的特殊问题。日常表达常夹杂英语词，外来词的天城文写法没有唯一标准，复合词也可能连写或分写。传统单参考答案会把另一种合理拼写判错。Monsoon 为每个片段提供可接受写法的 lattice，并使用 OIWER 评分；官方对照显示，换回单一参考后，一些模型的相对名次会发生变化。

榜单还保留私有 split，由维护者统一运行，降低模型针对公开测试集过拟合的空间。公开数据适合复现和调试，私有数据用来验证泛化，两者结合比完全封闭或完全公开更接近生产评测。但这些数据主要面向印度英语和印地语，不能直接替代中文、粤语或企业专有术语测试。

国内语音产品需要自己的分层评测，而不是照搬榜单冠军

评测可以从业务流量采样开始。按地区口音、设备、信噪比、通话与会议、实时与录音、普通话与中英混说分层，每层保留人工校对的参考文本。除 WER 外，单独记录人名、产品名、数字、时间和否定词错误；对客服质检来说，把“可以退款”识别成“不可以退款”，影响远大于少一个语气词。

实时服务还要测首字延迟、最终稳定时间、断线恢复和说话人分离，批处理则关注长音频吞吐、时间戳漂移和失败重试。[Gemini 3.5 Transcribe 的实时与批处理分析](/articles/gemini-3-5-transcribe-speech-to-text-api)给出了两类接口差异。模型质量、工程稳定性和每小时音频成本应分开记录，再汇总到真实任务成功率。

参考文本也要允许合理变体。中文数字、英文缩写、繁简体、标点和专有名词经常有多种写法，可以先做业务可接受的归一化，再保留原始输出用于审计。对影响订单、医疗、法律或财务判断的内容，增加规则检查、独立模型复核和人工抽检，避免把转写结果直接当成事实。

如果团队通过 AnyAIS 统一接入语音和文本模型，可以在同一批脱敏音频上比较候选服务，并把模型版本、参数、延迟和费用一起留档。真正可复用的资产是这套分层数据和判分规则；供应商更换时，它仍能回答“哪些用户变好了，哪些用户退步了”。

资料来源：[Hugging Face 与 Voice Arena 公告](https://huggingface.co/blog/open-asr-leaderboard-global-south)、[Open ASR Leaderboard](https://huggingface.co/spaces/hf-audio/open_asr_leaderboard)。