arXiv · cs.CY(AI+教育/社会)· Shuyi Fan, Boyuan Deng, Mengyu Xu, Xinhong Xie, Chenyang Li, Hongyang Zhang·· 2 小时前AI 评分31
有界评分量表上的双重差分可能制造效应:一项预注册 LLM-Judge 审计的证据
Difference-in-Differences on a Censored Rating Scale Can Manufacture an Effect: Evidence from a Pre-Registered LLM-Judge Audit
AI 导读
一项预注册审计发现,当评分量表有界时,双重差分设计可能凭空制造出交互效应。研究对冻结的教学法 LLM-Judge 发起 990 次调用,主分析未检测到新手或高级画像对支架式教学偏好的影响,唯一名义显著的次要交互出现在"生产性挣扎"子分数上(+0.378 分,p=0.002)。事后构造显示,零差异偏好的模拟仅凭观察到的严重度偏移和量表下限即可复现该交互的 79% 至 85%。
来源:arXiv · cs.CY(AI+教育/社会) · arxiv.org