上世纪50年代末,唐纳德L.柯克帕特里克在美国威斯康星州立大学撰写博士论文时首次提出了四级评估概念(人称柯氏四级评估),在其后的半个多世纪来,四级评估方法在培训领域一直保持着不可撼动的地位。今天,我们一起来探讨下这个对于培训来说非常重要的话题。
四级评估是指从四个层次上来评价培训的价值,这四个层次分别是:反应(第一级)、学习(第二级)、行为(第三级)和结果(第四级),下面分别简单介绍下这四个层级的评估。
反应(第一级)
简单地说,反应指的是学员对于培训的满意度,细项中包括对讲师、课程及行政安排等方面的满意度。这一级评估通常在培训结束时进行。
学习(第二级)
学习层面的评估是指学员参加培训后,能够在多大程度上实现态度转变、知识扩充或技能提升等相应结果。
行为(第三级)
行为层面的评估是指学员参加培训后,能够在多大程度上实现行为的转变。
结果(第四级)
第四级评估可以看作是第三级行为转变的衍生物,即因行为的转变而为组织带来的收益,通常需要落在硬性或软性指标上(硬性指标如生产效率的提升或员工流失率的下降;软性指标指员工凝聚力的提升等)。
“人人都在谈论,但人人都束手无策。”马克吐温在说这话时,指的是天气。这段话也可以用在培训评估上:其实,绝大多数培训工作者并不十分了解四级评估。
目前应用最多的是第一级的评估,学员在培训结束时填写的评估表就是一级问卷。一级评估的优点很突出:它操作简便,且可以立等输出评估结果,所以运用最广泛。但缺点也很明显:有时很不准确。如某堂课的一级评估分数可能并不低,但作为培训管理者来说,冷静分析下来,你或许会发现培训分数高的原因是如下的一点或几点:
1)课程内容本身轻松有趣(如心理学和国学课程通常分数普遍较高,而技术类课程一般却不太能吸引人)。
2)讲师的授课严重跑题,但内容对于学员来说是有用的,学员忽视了来上课的原始目的,但因为他有所收获,所以给评了高分(实际上我们的培训都是基于需求分析而来的,而授课内容与需求分析得出的教学目标不符是非常严重的教学事故,但学员作为受众,通常并不清楚这一点)。
3)学员很少参加培训,当讲师非常风趣地侃侃而谈时(很多商业讲师会有这个问题),大多数学员被讲师所吸引,将对讲师的好感迁移到了满意度上,却忽略了课程是否有收获。
4)讲师刻意、故意地讨好学员(如言语上的恭维等)。
基于第一级评估的缺点,很多公司更注重第二级的评估,即评价学习是否有发生。较常用的方式是在培训结束时通过试卷或实操来检测学生对所学内容的掌握程度。因行为的转变(第三级)及业务结果的改善(第四级)都要以学习的发生为基础,所以第二级评估显得非常重要。
既然二级评估如此重要,那是不是二级评估的得分很高就说明培训很成功呢?答案是否定的。要解释这个问题,在此必须引入一个“一致性”的概念,所谓“一致性”是专指教学目标、实际授课与二级评估的一致性。举个简单的例子:若你的培训目标是让学员能熟练操作衣车来埋夹,那么你授课的内容(也可称之为教学事件)应该是围绕学员能够熟练埋夹这个目标为中心展开的,且最终实操考核时的难度设定也要与教学目标和教学活动设置相一致(即要考核是否可以熟练埋夹,而非熟练车洗水唛等简单工序)。如果培训管理员没有留意这个问题,那就很可能对二级评估的“好成绩”盲目乐观,影响了培训效果。
第三级别的评估(即行为层的评估)通常是培训管理者误解最深的地方,这主要表现在两个方面:
1)抱怨行为的评估难,不好操作;
2)认为没有行为的转变,就表示培训没有起作用。
我们首先来看看第一个问题。的确,相较于一、二级别的评估,第三级评估的操作确实难了一些,但也绝没有大家所想象的那么神秘。我们通常采用的方式有如下三种:
1)问卷调查法。这是最常用的方法,通常会从学员、学员上司、学员平级同事及下属等几个方面做调查。
2)访谈法。通常采用结构化访谈,因可信度与实操性之间的矛盾关系,所以用得没有第一种方法多。
3)观察法。即由专人来观察学员是否有行为转变。观察法比较耗费人力,且因为学员受到了额外的关注,所以他们会表现得更积极(即“霍桑效应”),而这一点是并非培训带来的直接效果。
以上三种方法中,因“问卷调查法”操作简便且便于统计,所以用得最普遍,当然,他也有缺点,那就是问卷的设计不好拿捏:若封闭式问题多了,那么培训管理员很容易拿到统计结果,但可能漏掉更多有价值的信息;若开放式问题问多了,问卷的回收率会偏底(调查对象不愿意花费太多时间填写问卷),且统计起来困难。
学员从接受完培训到实现行为的转化,通常需要3-6个月,甚至更长的时间,所以行为层面的评估要在合适的时间来做。
现在,让我们来讨论下第二个问题:是否学员没有行为的转变,就表示培训没有起作用。通常情况下,为了促使学员行为发生转变,必须具备如下四个条件:
1)学员必须知道该做什么,该怎么做。
2)学员必须有行为转变的欲望。如果学员不是自愿来参加培训的,那么他的学习动机就不强烈,实现行为转变的欲望很可能也不大。
3)学员必须有一个恰当的工作氛围。如在心态类课程中教授学员在与人沟通时要保持微笑,但当学员回到工作岗位实践这种方法时,却遭到了上司的训斥(上司认为工作任务非常紧迫,微笑是不负责任的表现),这是典型的工作氛围不支持。
4)学员必须能够从转变中获得相应的回报。这个回报可以是内在的(如行动后的个人内心满足感),也可以是外在的(如上司的表扬,或相应的物质奖励)。
在培训中,我们致力于解决第一个条件(即保证学习的发生),余下的三个条件则不在培训管理者的控制范围内,而这三个条件中的任何一个不支持,都会导致没有行为的转变。
第四级别的评估是第三级行为转变的衍生物,即因行为的转变而为组织带来的收益。因为通常需要落在硬性或软性指标上,所以需要建立有效的证据链(一条清晰的从培训指向组织收益的因果链条)。而建立这条证据链所花费的成本很可能比由培训带来的组织收益还要大,所以采用第四级别评估的组织很少,目前只有摩托罗拉和GE等少数公司可以做到。
基于四个级别评估的特点,以及单级评估的偏差性问题,我们建议在实际操作中,可以:
1 )通常的培训只做一、二级评估即可。有充足的证据表明,在一级评估中,学员确实更倾向于客观地评价培训。
2)重点培训可以做三级评估(即一、二、三级同时做),而非第三级(行为层面)的评估。且第三级别的评估时间要足够长。
3)第四级的评估比较复杂,一般不建议做。
以上谈的都是结果性评价(即培训完成后的评价),而实际上为了保证培训的成功,过程性评价的意义会更大,以后有机会我们将继续进行探讨。