影响传统推荐信效度的第三个主要原因是推荐信评分的主观性。传统推荐信的形式使得推荐信在评分环节很容易出现问题［102］。一方面，推荐信往往充满一般性的、含糊的语言，评阅人不得不从字里行间猜测推荐人的真正意图［24］，评阅人对推荐信中信息的这种主观解释容易导致误读或错误的判断；另一方面，不同的评阅人对同一封推荐信的评价可能由于标准的不同而差别很大，由此，一封推荐信是否包含有效的证据以证实申请人所具有的特点，在很大程度上依赖于评阅人各自的标准甚至推荐人写信的技巧。Aamodt等［97］的研究发现，通过改进推荐信的评分方式，可以在一定程度上提高推荐信对未来绩效的预测效度。该评分过程要求两位专家依据详细的编码规则将推荐信中提及的申请人的特征归入事先确定的类别中。尽管采用这种方法的推荐信的预测效度能够得以提高，但这种评分过程要求专家投入大量的时间和精力，因而难以应用于大规模的研究生选拔实践。
（三）标准化推荐信的研究与实践
为了弥补传统推荐信的不足，研究和实践领域逐渐探索和推出了标准化推荐信。与传统推荐信完全开放式的主观描述不同，标准化推荐信采用所有推荐人都必须遵循的结构化的形式收集有关申请人的信息。相比较而言，标准化推荐信的优势主要体现在两个方面：其一，针对传统推荐信推荐者一致性信度过低的问题，标准化推荐信的形式有助于促使推荐人对申请人进行评价时依据相对一致的评价标准，而且标准化的格式可以减少推荐人的特点（如写作质量和风格、人格特征等）对推荐信内容的影响；其二，针对传统推荐信评分的主观性问题，标准化推荐信往往采取Likert量表、相对百分位数量表等方式对申请人的重要特征进行定量评价，从而使得推荐信的评分像标准化测验一样客观和便捷。Daniel［103］的研究发现，标准化推荐信可以成为未来绩效的有效预测变量（r=0.33）。McCarthy等［89］比较了多种形式标准化推荐信的有效性，结果表明，采用恰当形式的标准化推荐信可以显著预测绩效，效度系数可达到0.41，明显高于传统推荐信的效度。
美国教育测验服务中心（EducationalTestingService，ETS）研究生入学考试委员会的研究者Walpole等［24］对来自多个机构代表不同学科的101位参与研究生录取的教师就研究生选拔的方式进行了访谈，其中大多数教师都提出希望能够用更为系统化的推荐信取代传统的推荐信。2009年7月，ETS在大量前期调查研究［24，102，104］的基础上，推出了研究生申请者的“个人潜力指数”标准化推荐信系统（PersonPotentialIndex，ETS PPI）［105］。PPI作为第一个在高等教育选拔领域中大规模使用的非认知因素的测量指标，已经正式成为标准化研究生入学考试的补充，用于提供标准化入学考试所不能评价的申请者在非认知因素上的特征［105］。PPI是一种基于网络的标准化推荐信［106］，该系统允许每位研究生申请者最多选择五位推荐人（往往是其导师或其他授课教师），由推荐人从6个对研究生学业成功非常重要的维度上对申请人进行评价，包括知识与创造性、沟通技能、团队合作、韧性、计划与组织以及道德与诚实。评价采用Likert5点量表，每个维度4个项目，共24个项目。此外，推荐人还可以就自己的评分给出简短注解。在大规模推广之前，PPI已经被用于ETS的夏季实习生和研究者招募［107］，并在项目1000（Project1000）中被用于选拔研究生［106］，这些预实验为PPI用于大规模研究生选拔提供了支持证据。
PPI作为一种标准化推荐信，较好地解决了传统推荐信推荐者一致性信度过低以及评分主观性的问题。但到目前为止，PPI仍然不能很好地解决宽容偏差对推荐信预测效度的影响。对此，ETS提出了如下主要思路和方案来逐步解决这一问题［108］。（1）国家和局部常模锚定。随着推荐信数据的积累，PPI将为研究生招生机构提供PPI总分以及每个维度的国家和局部（如学校和院系）常模。常模信息可以提供申请人推荐信得分的相对百分位数。根据申请人的PPI分数以及国家和局部常模，招生机构可以定位该申请人相对于全国其他申请人或相对于特定学校、院系的其他申请人在影响研究生成功的6个非认知因素总分以及每个具体维度上的相对位次，从而便于招生机构更恰当地基于PPI进行决策。（2）推荐人评价历史即时反馈。PPI标准化推荐信系统在线收集评价数据并自动记录每位推荐人的个人评价历史。每当推荐人完成对特定申请人在某个项目、维度或总体的评分之后，系统将根据该推荐人以往的评价历史提供即时反馈，例如：“您对这位申请人的评价是您已有评价的第90百分位数，您确定吗？”同时，推荐人还可以随时查阅自己的推荐历史。这种反馈机制使得推荐人对自己的评价更谨慎，并有助于推荐人保持自身评价标准的一致性。（3）推荐人宽严程度校正。随着PPI标准化推荐信系统中越来越多的推荐人评价信息的汇集，PPI可以对每位推荐人的评分宽严程度进行估计并最终实现对其评分的相应校正。与其他推荐人相比，如果某位推荐人在对相同申请人进行评价时总是给出过高的评价，那么该推荐人的评分经过统计校正后将被相应减低，以校正其过度宽容偏差。（4）推荐人效度校正。这种方法将推荐人评分的预测效度考虑进来，在推荐人的评分与申请人的效标变量（如研究生GPA）之间建立联系，并使得不同推荐人的评分可以在同一效标变量的尺度上进行比较。如果某位推荐人的评价能够更为准确地预测申请人随后的研究生阶段的绩效效标的话，则表明该推荐人的评价有良好的预测效度。与那些效度比较差的推荐人相比，预测效度良好的推荐人的评价将被赋予更大的权重。这种方法尽管一开始难以做到，但随着推荐信数据的积累以及申请人效标数据的定期收集，这种校正对于提高整个PPI标准化推荐信系统的预测效度有着深刻的影响。
（四）关于推荐信的小结
推荐信能够提供通过其他方式难以获得的有关申请人的独特信息，因而在国外研究生选拔中使用非常广泛。但是，由于宽容偏差、推荐者一致性信度过低以及评分主观等问题的存在，传统推荐信的预测效度并不理想。标准化推荐信采用结构化的形式收集有关申请人的信息，从而较好地解决了传统推荐信信度过低和评分主观的问题。对于宽容偏差，ETS推出的PPI标准化推荐信系统将通过国家和局部常模锚定、推荐人评价历史即时反馈、推荐人宽严程度校正和推荐人效度校正等方法逐步予以解决。总而言之，标准化推荐信是研究生选拔过程中对申请人非认知因素进行评估的一个极具潜力的发展方向。
