arXiv · cs.CY（AI+教育/社会）· Chris Rohlfs, Rodrigo Vergara Bosse, Priscilla Rain Hopper, Keanon O'Keefe, Patrick Russell·2026-10-01 12:00· 11 天前AI 评分52

MagicSchool 发布教育 AI 中 LLM-as-Judge 评估的误报治理经验

When Evaluators Cry Wolf: Lessons from Production LLM-as-Judge Evaluation in Educational AI

AI 导读

MagicSchool 团队总结其 K-12 AI 产品套件中 LLM-as-Judge 评估的生产经验，指出随着评估体系成熟，误报逐渐主导评估标记，分散了分析人员对真正需要产品改进的失败的注意力。