研究：LLM结构化评分与反馈的诊断质量存在三类系统性偏差
一项基于JorGPT数据集的研究考察了LLM生成的结构化评分与反馈是否名副其实，该数据集包含50道计算机科学开放题的3041份学生作答，由人类教师和三个商业LLM分别评分。
推荐理由：基于3041份学生作答的实证数据，揭示LLM评分与反馈在诊断质量上的三类系统性偏差，为教师判断哪些环节仍需人工把关提供依据。
#智能批改
#智能批改
今日 0 条arXiv · cs.CY（AI+教育/社会）精选AI 评分6262
arXiv · cs.CY（AI+教育/社会）AI 评分3131 DBWorkout：面向数据库课程形成性学习的游戏化 SQL 练习平台
DBWorkout 是一个基于网页的 SQL 练习平台，通过沙箱执行、基于结果的自动反馈和会话式游戏化支持形成性学习，并用 LLM 辅助工具在人类参与流程中生成数据库模式与任务。在 170 名本科生两次课堂部署中，90% 学生认可学习价值、87% 感到有趣、仅 22% 报告压力低，但只有 42% 认为自动反馈足够可操作，40% 的开放式回答也提出反馈质量问题。