术语
从概念上讲,人才地图是一种评价量规,或简称量规。以下是相关术语,其中中文术语引用自百度百科 (2022) ;英文术语引用自Schoepp et al (2018)。
- 量规(scoring rubric),即地图
- 特征(指标?素养?准则?素养锚点?performance criteron),即地标
- 等级(水平?level of attainment),即地标高度
- 等级名称(level name)
- 等级描述(performance descriptor)
设计标准
<aside>
👉 怎么评估一个量规的设计质量?
</aside>
Gallardo (2020) 讨论了考察量规设计的两个维度:
- 可靠性与有效性(reliability and validity)。统计方法比如 Cronbach’s alpha、Pearson correlation coefficient,、Cohen Kappa score 等都可以作为评估工具。大量论文,比如Schoepp et al (2018) 和其引用的一些文章,对此有深入的研究。
- 量规设计者受训练和准备的程度。Gallardo 强烈建议设计者系统地学习量规设计方法,并制定明确设计标准。
为保证设计质量,我们在人才地图的 设计原则和方法 中囊括了用于系统学习的文献研究、用于评价设计效果的定性与定量分析,以及多方参的产品迭代。同时,我们需要通过反复内部讨论以达到对各个设计层面的共识。
TODO: Martínez & Hurtado (2018)
量规种类
UMN 提出了三种量规设计的分类法,并讨论了每种设计的优势与局限。
- Generic vs Task-Specific。每个地标可以采用两种模式之一。具体采用哪种模式根据地标的性质决定。
- Holistic vs Analytic。人才地图采用了 Analytic 模式,单独描述每个地标。同时,某些地标涉及的领域比较宽泛。这些地标采用 holistic 模式,用单个量标考察相应领域的总体素养。
- Primary vs Multiple Trait。Multiple Trait 基本等价于 analytics。