前沿科技丨你的大学，AI来定？几分钟算出你的7种个人品质

目前，许多大学在招生时都秉承全面综合审查的理念。

在美国大学招生咨询协会（NACAC）最近的一项调查中，70% 的招生官表示，在选择申请者时，他们认为个人品质是一个重要的因素。

然而，现实中的审查并不能确保公平，并且招生工作也受到相关资源的限制。

（图源版权图库）

为应对上述挑战，宾夕法尼亚大学 Benjamin Lira 领导的研究团队训练了一个名为“Robustly Optimized BERT Pretraining Approach（RoBERTa）”的语言模型，用于审查入学申请者课外或工作中的论文，并寻找其中蕴含的7种个人品质。

研究结果表明，基于人工评分训练的 AI 模型能在几分钟内生成数百万个个人品质分数，精确地复制人工评分，而且具有可解释性和公平性。

相关研究论文以“Using artificial intelligence to assess personal qualities in college admissions”为题，已发表到 Science 子刊 Science Advances 上。

然而，研究团队也强调：“没有算法能够决定大学入学过程的目标，或者哪些个人品质最重要，在自动化审查过程之前需要大学明确其入学目标。”

在这项研究中，团队借助 AI 技术开发了一种能更好地评估个人品质的方法。首先，他们选取了去标识化的 309594 份大学申请样本，每份申请都包括一篇 150 字的论文，描述申请者选择的课外活动或工作。

接下来，研究人员和招生人员选取了其中的 3131 篇论文用来训练语言模型——RoBERTa。他们在申请者的论文中寻找他们是否具有以下 7 种品质：学习能力、毅力、目标追求、团队合作、内在动力、领导能力和利他目标，而这些品质可以帮助确定哪些申请者最有可能在大学中成功。

最后，研究人员将这些微调的模型用于审查另外 306463 篇文章，并为每篇文章打分。

结果发现，研究人员和招生人员在每篇文章中都找到了七种个人品质中的证据。有些个人品质比其他更常见。例如，他们分别在 42% 和 44% 的文章中识别出了“领导能力”；相比之下，他们只在 19% 和 21% 的文章中识别出了“毅力”。

然而，这项研究也存在一定的局限性。

首先，研究未包括 Common Application 所要求的个人陈述，这限制了研究的广度。未来的研究应考虑包括这一要素，尤其是考虑到近期申请人的个人陈述是以 PDF 附件形式提交的。

其次，数据集中的高中 GPA 仅基于一小部分申请人，这可能影响研究的代表性。未来的研究需要更多关注如何获取更多可用数据。

第三，个人品质对大学毕业的预测效应在适度程度上较高，但这只是相对于标准化考试成绩来说。长期生活结果的预测具有复杂性，需要考虑多种因素。未来研究可以探索其他未考虑的因素，如学费支付、学术准备和支持等。

第四，研究仅关注大学毕业作为结果，而未考虑其他成功方面，如 GPA、课外活动和社区贡献。这需要更广泛的共识，优化大学入学决策的目标和实施方式。未来的研究可以考虑更多方面的成功和其对个人品质的影响。

因此，本次研究对全面审查和选择性入学的当前状况带来了批判性的观点。未来的研究和实践应该集中于在自动化流程之前明确全面审查的目标。

另外，研究还发现，坎贝尔定律表明，在高风险决策中（与低风险研究相对），对评估赋予的权重越大，就越容易引发扭曲的动机。例如，申请者可能会尝试塑造自己的论文，也许使用 AI 工具（如 ChatGPT），来迎合招生官和训练的算法的要求。

因此，该研究建议使用 AI 来辅助而不是替代人工判断。没有算法能够决定大学入学流程的目标，或者哪些个人品质最为重要。**将算法视为人工判断的补充而不是替代，也可以应对算法回避的问题，即在有矛盾证据的情况下，人们更倾向于信任人工决策者而不是算法。

来源：学术头条

编辑：陈超

审核：罗声

监制：蒋金轩