大语言模型从哪里学会推荐 AI？预训练与微调的影响

大语言模型被问及学什么、做什么职业时倾向推荐 AI 相关选项，预训练模型已有 27% 的回答含明确 AI/ML 术语，指令微调版本升至 59%。自行微调实验显示这一上升并非必然：移除 7% 涉及 AI 的指令样本可使比例下降 14 个百分点，低于其起始预训练模型水平；奖励有用性的数据提高 9 个百分点，而按多样模拟用户偏好排序的数据降低 9 个百分点。