arXiv · cs.CL（语言与教育交叉）· Longwei Cong, Sonja Hahn, Sebastian Gombert, Leon Camus, Fabian Zehner, Hendrik Drachsler, Ulf Kroehne·· 7 天前AI 评分22
超越分数对齐评估 LLM-as-a-Judge：评判残余难度的心理测量学分析
Evaluating LLM-as-a-Judge Beyond Score Alignment: A Psychometric Analysis of Residual Judging Difficulty
AI 导读
研究从心理测量学视角分析 LLM-as-a-Judge，用多面Rasch模型将人类与 LLM 评分分解为摘要质量、评分者严厉度等成分，提出"残余难度"指标。在 SummEval 上测试 17 个开放权重 LLM 评判者发现，潜在摘要质量的中等对齐并不意味着残余难度对齐，且这种错配强烈依赖评分维度：一致性维度呈 LLM 更难趋势，连贯性维度则人类更难。
来源：arXiv · cs.CL（语言与教育交叉） · arxiv.org