研究:优化教学指标反而降低 LLM 家教质量
一项 arXiv 研究测试了用教学表现指标微调大语言模型家教的做法:在 2000 个学习者场景中审计某前沿家教,并用开源权重代理模型修正其最弱案例后,指标从 +0.05 升至 +0.42,但 31 位受训教育者的盲评分数从 4.46 降至 3.03,未修改的对照组保持不变。
推荐理由:研究用 2000 个学习场景与 31 位教师盲评,展示教学指标优化与专家判断背离的过程,为 AI 家教评测设计提供参照。
一项 arXiv 研究测试了用教学表现指标微调大语言模型家教的做法:在 2000 个学习者场景中审计某前沿家教,并用开源权重代理模型修正其最弱案例后,指标从 +0.05 升至 +0.42,但 31 位受训教育者的盲评分数从 4.46 降至 3.03,未修改的对照组保持不变。
推荐理由:研究用 2000 个学习场景与 31 位教师盲评,展示教学指标优化与专家判断背离的过程,为 AI 家教评测设计提供参照。
一项针对 112 名九年级学生的研究发现,学生使用通用 GenAI 进行数学建模练习时,其求助内容在会话内逐渐转向理解导向(概念与程序性帮助,而非寻求答案或验证)的轨迹,能预测后续无 AI 辅助下的表现;而 AI 使用行为的静态汇总在预测试成绩之外无法解释额外方差。研究共采集 880 条实质性学生发言,其中 95 人完成前后测,89 人可计算求助轨迹。
多伦多大学研究人员在田纳西州 18 所中学追踪学生两年(2024 至 2026 年),测试 Khanmigo 能否提升至少落后一个年级的低成就学生。结果显示,使用 Khan Academy 干预的学生数学表现优于常规补习班,但提升幅度有限,且不高于此前无 AI 助手时 Khan Academy 练习的效果,Khanmigo 并未带来额外增益。
研究团队发布 StudentBench,一套 AI 教学评估工具与公开平台,已收集超过 175,000 条学生与 AI 的对话消息,用于检验大语言模型能否带来与人类辅导等效的学习增益。
推荐理由:研究用 2383 名参与者的 GRE 学习增益数据,比较 AI 辅导与人类辅导的等效性及成本差异。