引言:“培训不是万能的,但没有培训是万万不能的!”虽套用了一句耳熟能详的流行语,确是企业对培训最真切的感受。固然,培训不可能解决所有问题,但有效的培训对提升员工能力和企业绩效的作用往往令人为之心动。但任何一种培训都必须接受效果评估,否则培训将流于形式,起不到任何作用。为了避免培训的盲目性,建立一套科学有效的培训效果评估系统势在必行!
培训评估(Training evaluation)是培训管理流程中的一个重要的环节,是衡量企业培训效果的重要途径和手段,通过评估,你可以知道你的培训使学员的知识得到了怎样的更新,学员的工作表现产生了怎样的变化,同时,企业可以对当年培训的效果有一个反馈,对下一年度的培训工作起到很好的借鉴作用。本文将从培训评估的定义着手分析,在对培训评估模型阐释的基础上,设计培训评估指标体系和分析如何进行培训评估。
一、培训评估的定义
英国的管理服务委员会(MSC)将评估定义为:通过评估来判断培训是否达到既定目标的过程,它包括审定和评估。评估不同于审定的地方是:它对培训的成本效益进行分析而不是仅仅判断其是否达到既定目标。Warr, Bird和Rackham认为培训评估有两个基本意义:投入评估和产出评估。Hamblin则把评估定义为“得到有关培训效果的反馈并对反馈信息进行评价”。与Warr, Bird和Rackham相比,Hamblin对“评估”的定义更综合,包含了MSC对评估下的两个定义。
二、培训效果评估模型
在上述MSC的定义的基础上,Kirkpatrick(1976),Hamblin(1974)和Warr, Bird和Rackham(1970)分别创建了三个基本模型,。虽然这三个模型之间各有不同,但是前两个都是集中针对实际的审定和评估行为,而不是一个完全的评估方法;第三个(Warr等人1970年提出的)作为一个完整的系统,在评估时有更广泛的应用。
(1)Kirkpatrick模型
这个模型对培训评估划分了四个层次:
反应:学员对培训方案的反应,学员对培训项目结构、内容和方法的看法;
学习:学员在培训项目中的进步;
行为:培训项目使学员在工作行为和表现方面产生的变化;
结果:上述变化对组织发展带来的可见的和积极的作用。
(2)Hamblin模型
Hamblin模型的一般条件和Kirkpatrick模型很相似,它分为五个层次:
反应:在培训过程中、培训结束后、培训结束后一段时间内进行,学员对一系列因素的反应都被考虑在内;
学习:在培训项目之前和之后进行,评价学员的知识、技能和态度的进步;
工作行为:确认由培训项目导致的学员在工作中表现的变化,在培训项目之前和之后进行;
执行:量化培训项目给学员所在部门、组织带来的影响,多数情况下,用成本—收益分析的逻辑来分析;
最终评价:培训项目对组织盈利能力和对抗能力影响的大小。
(3)Warr, Bird, 和Rackham模型
该模型包括四类评估:
背景评估:审查培训项目运行背景的基本条件,确定培训的需求,培训最终要克服的问题,在中间阶段组织行为的变化,即期目标及其完成程度;
投入评估:评估培训项目本身;
反应评估:评估学员在培训项目中和培训后的态度;
产出评估:①确定培训目标;②策划、准备培训技术;③使用培训技术;④审查培训结果。
三、培训层级评估的操作方法
根据以上的评估模型,如果单独就层级的评估操作方法来说,每一个层级关注的焦点不同,评估结果都有一定的局限性。结合1970年Warr、Bird、Rackham几位专家提出的背景评估、投入评估、反应评估和产出评估四类评估模型,在实际操作中,较能得出完整的层次评估。 1、反应层面
这个层级评估通常是以设计问卷调查表的形式进行,也是现在企业通常采用的评估形式。通常企业的反应评估的内容主要分为培训行政安排、讲师和自我评估三个方面基础的了解,详细内容分为:
A、培训组织情况(通知时间、环境与设施、课程及教材、住宿安排、工作人员服务等)
B、讲师情况(能力、语气语调、控场能力等)
C、自我评估(投入状况、积极性、学习内容等)
采用问卷方式进行培训评估,问卷分两种:Knowledge &Attitude Question(知识与态度问卷)与Behavior Performance Question(行为表现问卷)。分别在培训前与培训后,由培训学员及其主管共同填写。
① Knowledge &Attitude Question (知识与态度问卷,简称KA问卷)
KA问卷是对学员培训前后的知识与态度进行调查的问卷,由讲师根据课程内容设计,一般为四十到五十个问题,每个课程单元对应五个问题左右,问题一般采用如下结构:
针对知识的问卷:我 + 清楚/了解/明白/知道 + 问题内容
针对态度的问卷:我 + 认为/觉得 + 问题内容
如:“我认为只要下定决心,没有办不到的事”
KA问卷在培训前由学员填写,由培训部门收集后汇总交由讲师,作为对学员学前了解与评量的依据。培训结束后,学员须再次填写相同内容的KA问卷。
② Behavior Performance Question (行为表现问卷,简称BP问卷)
BP问卷是对学员培训前后的行为表现进行调查的问卷。主要分为两种,一种由学员填写的Behavior Performance Question for Self, 简称BP-S问卷;另一种由学员直属主管填写的Behavior Performance Question for Boss, 简称BP-B问卷。问卷亦由讲师根据课程内容设计,一般为四十到五十个问题,每个课程单元对应约五个问题,一般采用如下结构:
我 + 会/能够/做得到 + 问题内容。
如“我能够在沟通时多听少说”
KA问卷在培训前由学员填写,由培训部门收集后汇总交由讲师,作为对学员学前了解与评量的依据。培训结束后,学员须再次填写相同内容的KA问卷。
② Behavior Performance Question (行为表现问卷,简称BP问卷)
BP问卷是对学员培训前后的行为表现进行调查的问卷。主要分为两种,一种由学员填写的Behavior Performance Question for Self, 简称BP-S问卷;另一种由学员直属主管填写的Behavior Performance Question for Boss, 简称BP-B问卷。问卷亦由讲师根据课程内容设计,一般为四十到五十个问题,每个课程单元对应约五个问题,一般采用如下结构:
我 + 会/能够/做得到 + 问题内容。
培训部门负责人需要将学员培训前后填写的KA问卷及BP-S问卷与BP-B问卷的分数按课程单元对问题进行汇总,一般将一个单元内五个问题汇总成总分,而后按以下方式进行比较:
对学员培训前后填写的KA问卷中相同单元的汇总得分进行两两比较;
将学员培训前填写的KA问卷与培训前填写的BP-S问卷中各单元的汇总得分进行交叉比较;
将学员培训前填写的BP-S问卷与培训后三个月填写BP-S问卷中相同单元的汇总得分进行两两比较;
将学员直属主管在培训前填写的BP-B问卷与培训后三个月填写BP-B问卷的中相同单元的汇总得分进行两两比较。
根据比较结果,可以量化的方式衡量出学员的知识、态度及行为表现在培训前后的不同程度,可以切实衡量出培训后学员的行为表现能否得到提升。
例:学员在培训前的BP-S问卷中对“我能够做好成功地授权”的评分为5分,在培训后的BP-S问卷中对这一项的评分为8分,其直属主管在培训前的BP-B问卷中对“他能够做好成功地授权”这一项的评分为3分,在培训三个月之后填写的BP-B问卷中对这一项的评分为4分。可看出虽然该学员对培训后行为的改善自我感觉良好,但从其直属主管的评价来看,其实该员工的授权能力并没有得到显著提升,证明培训并未取得较好成效。
依据以上比较问卷中各单元的总评分数绘制折线图,通过图形直观地进行比较
从上图中可以得知,通过培训,学员在沟通与协调及组织管理的原则等方面的知识与态度获得了较大提升,但培训对学员在管理基本认知、计划与执行等领域的帮助不大。
BP-S问卷和BP-B问卷可以和绩效管理有机结合,问卷中的内容均可参考绩效考核中,由负责考评的主管与被考评人共同确定的,如:个人知识、态度、能力与表现方面的提升目标,并可结合课程内容制订。
以上培训效果评估方式具有系统、准确、量化、直观等优点,但需要参加培训的学员及其直属主管密切配合。同时,由于问卷需要由对课程最熟悉的讲师编写,还需参考公司培训需求调查与绩效管理方面的详细资料,因此耗时较长,工作量较大。
2、学习层面
学习层面的评估,主要是学员掌握了多少知识和技能。因此,通常通过书面考试、撰写学习心得报告、行为改善方案等进行。具体操作中,有如下的方法:
A、在反应层级评估基础上,增加学习内容测试和问答题,要求运用所学的知识进行解答。可以分为基础知识点和情景模拟问答。
B、在实际过程中,特别是OTJ内容,学习层面的评估是进行现场操作,在操作过程中主要关键知识点的掌握。
C、一些专业性岗位的课程学习后,要求按照学习的内容和时间提出自己的改善方案,并交给直接上级负责监督执行。
3、行为层面
行为层面的评估是一个需要时间的过程,通常此类评估通过前后对照、360度调查和绩效考核方式进行。 一般时间大约是3~6个月,甚至一年以后进行。为考虑公平性,行为层面评估需要其他人的介入,一般评估人员的组合是由学员、同事、下属和上司进行。操作的基本步骤是,在培训结束之时,要求学员制定一份有量化改进的实践计划,列明现在的情况和需要改进达到的方面。然后,制定为跟踪评估调查问卷,并约定在培训结束3~4个月左右的时间里,对学员进行跟踪调查。然后,培训师、学员与学员上司讨论实践详细计划,并由直接上级备份。当约定的评估时间内,培训师需要进一步与直接上级接触进行评估交流。约定的时间到后,学员本人和直接上级进行评估。有的时候,培训师也参加到评估中。
值得注意的是,在实际的操作中,我们发现直接上级的评估存在一定的偏差,因此,我们在进行行为层面的评估中会邀请同事进行间接调查。一般情况下,最后评定的量化结果按照上级评估:自评:同事(含培训师)为40:30:30的权重比例得出行为改变量化指标。
4、结果层面
结果层面的评估是培训评估最大的难点。因为对企业经营结果产生影响的不仅仅是培训活动,还有许多其他因素都会影响企业的经营结果。在操作过程中,即便运用一些量化的方法进行结果层面的评估,这些量化的评估方法也只可以提供借鉴,而不能绝对的起到“1+1=2”的这样直观评估效果。结果层面的评估除开讨论最多的前后测与对照组法外,也可以根据通用的一些国内外进行的培训成本-收益分析提供参考。
培训的投资回报(ROI)= 收益/培训的成本。计算前需要成本和收益的确定,成本确定含直接费用(培训教师、交通费、材料费、培训教室等)、间接费用(培训管理人员工资、培训管理费)和一般管理费用(组织的总体支持、高层管理时间(直接成本和间接成本的10%),受训者工资和福利(福利为工资的25%)。培训收益一般按照同行业顾客服务同类培训课程平均教学水平的平均投资回报率计算作为参考。
例如,一个公司的某项培训根据上面成本计算总计为19340.95元,每个受训者的成本为115.12元,培训收益为:92836.56元,那么,投资回报率就为92836.5619340.95 = 4.8,即每在计划中投入1元就会带来大约5元的收入。
四、培训评估指标体系设计
(一)培训需求评估
如果进行一项培训,不是因为有特定的培训需求,而是出自培训经理随便说的一句话,或者是管理高层认为我们应当去做某类培训,那么确定培训需求这项工作就已经开始影响培训的效果了。然而,大多数情况下,人们往往会忽略对早期培训需求的衡量和评估,因为人们觉得没有必要,或者说,没有压力促使他们这样做。在这些情况下,有关培训的最终评估将会是不可信、完全主观而且没有价值的。所以,需求评估(needs assessment)就是判断培训是否必要的过程,是决定整个培训是否有效的起点。
培训需求评估一般包括:
组织分析(organizational analysis),就是要在给定的公司经营战略条件下,决定相应的培训,为培训提供可利用的资源。
任务分析(task analysis),即明确任务的职责及各种重要任务对任职者的知识、技能和行为方式方面的要求。
人员分析(person analysis),判断造成工作绩效不佳的原因是什么,通过培训能不能解决这些问题,来确定谁需要和应该接受培训以及培训的内容,并让其做好培训准备。
组织分析方面:
(1)公司战略导向。初步研究表明经营战略与培训的数量和类型密切相关。只有充分明确企业的经营战略,才能保证公司的培训活动能够获得足够的预算支持,保证员工的培训时间和培训项目。
(2)管理者和同事对培训活动的支持程度。大量研究表明同事和管理者对培训的支持具有十分重要的作用。培训能否获得成功的关键在于同事和管理者对培训活动的参与是否抱有正确的态度,他们是否愿意向受训者提供有关如何在工作中有效利用培训中学到的知识、技能、行为方式的信息,并为受训者提供有关如何在实际工作当中应用培训所学内容的机会 。如果同事或管理者不采取支持的态度或行为,那么受训人员将培训收获运用到实际工作中几乎是不可能的。
任务分析方面:
(1)工作的重要性。当前或将来一段时间内对企业发展起决定或重大作用的工作岗位,该工作本身各项任务的重要程度。任务分析是培训需求分析中最繁琐的一部分,但是,只有对工作进行精确的分析并以此为依据,才能使设置的培训课程真正符合企业绩效和特殊工作环境的需要,从而使培训做到有的放矢,避免资源浪费。
(2)能力水平。即按照任职者所需要的能力标准(职能标准),对员工的工作能力进行比较分析,以确定企业组织成员在各自岗位上是否称职,进而确定企业培训的需求结构。
人员分析方面:
(1)受训准备(Readiness for training )指:①雇员是否具有必备的学习培训课程内容并将其应用于工作的个体特征(能力、态度、信仰和动机)。②工作环境是否有利于学习同时又不会对工作业绩产生太大影响。初步研究表明,员工的准备程度会在很大程度上影响培训效果。
(2)学习动机(motivation to learn)。是受训者学习培训项目内容的愿望。大量研究表明学习动机与培训中知识的获得、行为方式的改变或技能的提高密切相关。管理者通过调查员工的学习动机,还有助于判断培训是否可以解决绩效问题。
(3)员工专业技术素质。通过上岗证取得情况和专业技术职称的取得情况进行分析。上岗证取得率(%)= 获得上岗证人数/从事某种作业的人数 %;专业技术职称率(%)= 据有专业技术职称人数/从事某类作业人数 %。通过评估员工的专业技术素质,培训者可以更准确地制定培训方案,充分利用各种有效的资源,使得培训取得更大的经济效益。
(二)确定培训目标
培训目标是指培训活动要达到的目的和预期成果。目标可以针对每一培训阶段设置,也可以是面对整个培训计划来设定。良好的培训目标应该清楚地告诉受训者他们在培训结束后做什么。包括可以测量或评估的绩效满意标准(如速度、时间限制、产品、反应),为实现培训目标,受训者需要哪些资源和背景条件。
企业应制订出具有确切性、可检验性和可衡量性的培训目标,并且培训目标的确立要客观,期望过高或脱离现实,只能使培训适得其反,不仅得不到良好的效果,还可能遭到员工的不满。同时,企业还应考虑到成本与效益、时间与效果之间此消彼长的关系,在两者之间做出平衡选择。
(三)培训组织与实施评估
培训目标确定之后,便要制定详细的培训开发计划,并组织实施。具体的计划可以由企业的战略规划部门同人事部门一起制定;也可以由培训人员、主管部门、企业领导多方协调,统一制定;还可以请企业外的专门咨询机构、承担综合方案的拟定,由企业自行选择决定。但是无论计划如何制定,企业必须有专门的职能机构负责组织实施,企业各级领导应该密切配合,协调好培训者与人事部门以及其他各部门之间的关系,不至于因产生矛盾而使培训工作停滞。
1、培训预算情况。
在制定培训计划时,首先要考虑预算问题。培训预算应包括三部分:预算的确定(确定预算通常的做法是参考同行业关于培训预算的数据及企业历史培训预算的数据);预算的分配(培训预算可采用人均培训预算的方式,但同时应向公司高级经理和骨干员工倾斜);解决预算与计划的冲突,尤其当企业费用需要紧缩时,有相应的方法应对。只有进行培训预算,才能支持和保证培训计划成功完成, 同时控制费用,减少浪费,降低成本。
2、培训内容的适用性。
培训内容的适用性是建立在学员对培训情况的满意度调查的基础上,调查的内容包括培训内容的可操作性、讲师讲解的情况、时间分配的合理性、培训组织和环境等,对调查结果进行统计分析而形成的评估报告,可以帮助企业对培训的组织工作进行改进,并对培训机构和培训课程的选择提供依据。人力资源开发部门对收集到的信息经过认真分析,就可以有针对性地调整培训项目。如果评估结果表明,培训项目的某些部分不够有效,例如,内容不适当、授课方式不适当、对工作没有足够的影响或受训人员本身缺乏积极性等,人力资源开发人员就可以有针对性地考虑对这些部分进行重新设计或调整。
(四)培训结束后评估
最重要的评估是在培训前进行的评估。第二重要的评估是在培训结束后进行的评估。期中评估很重要,不过如果使用不当,有过度测试的风险。即使没有期中评估,只有期前和期末评估,评估体系也算完整。评估方式可采用如上所介绍的问卷方式进行:Knowledge &Attitude Question(知识与态度问卷)与Behavior Performance Question(行为表现问卷)。分别在培训前与培训后,由培训学员及其主管共同填写。根据比较结果,可以量化的方式衡量出受训者培训前后的态度、知识或技能的变化程度,切实衡量出培训后学员的行为表现能否得到提升。同时也能体现出讲师的工作是否有效。
态度变化:比较计算公式:Ac=Aa/Ab ,其中Ac为态度变化,Aa为培训前的态度;Ab为培训后的态度。
知识变化:受训学员通过分数的比较,管理者可以知道受训者完成课程的情况。比较计算公式:
Kc=Ka/Kb,Kc为知识变化,Ka为培训后的知识掌握,Kb为培训前的知识掌握。该指标只反映培训对个人的影响,不能反映对企业组织产生的影响。
技能变化:考核受训者培训前后技能提高的程度。比较计算公式:Sc=Sa/Sb,Sc作为培训结果的、可观察的技能变化,Sa为有工作产出、人际关系或其他现象所证明的培训后的技能,Sb为有工作产出、人际关系或其他同样标准度量的培训前的技能。
(五)培训转化(transfer of training)
培训转化,即要成功地完成培训项目,受训者要有效且持续地将所学技能运用到工作当中 。
培训转化受若干因素的影响:受训者特点、培训项目的设计、工作环境。
工作环境(work environment)指能够影响培训转化的所有工作上的因素,包括管理者支持、同事支持、技术支持、转化氛围和在工作当中应用新技能的机会。
转化氛围,主要包括培训是否将人员培训与人员任职、晋升、奖惩、工资福利等结合起来,让受训者受到某种程度的鼓励。企业应当努力向学习性组织转变,激发受训者的学习动机。组织持续性的学习氛围有利于培训后行为产生有效的结果。
在工作当中应用新技能的机会。管理者尤其是受训者的直接上司应给受训人员提供实践机会并进行反馈,提供实践机会,如岗位轮换、外出交流实习、国际交流、或集团内部交流等,鼓励培训技能在工作中的运用,同时管理者应当多关心培训人员的学习、工作和生活。
培训与员工职业生涯发展联系程度。培训工作的最终目的是为企业的发展战略服务,同时也要与员工个人职业生涯发展相结合,实现员工素质与企业经营战略的匹配,让员工在服务企业,推动企业战略目标实现的同时,也能按照明确的职业发展目标,通过参加相应层次的培训,实现个人的发展,获取个人成就,实现企业和员工的共同发展。
(六)中长期评估
从中长期来看,培训评估必须包括成本分析。和培训有关的成本主要有:培训部门的固定成本,花费在培训师和学员身上的辅助成本以及机会成本(学员因参加培训而损失的产量)。将这三种成本相加,可以得到一些指标:培训总成本、人均培训成本等。即使这些指标不一定完全贴近现实,但将不同时期用相同方法计算出的参比指标进行比较,也能为企业以后的培训管理工作带来一些指导作用。
中长期评估通常可以在培训之后半年或一年进行,为证明培训对产出的增长、生产率的提高、盈利能力的上升这些方面的具体贡献,无论使用哪种方法,都不免有些主观,如果使用对照组,通过比较,培训带来的技能提高和产出增加就比较容易衡量。
(七)评估总结归档
评估总结归档是培训后续管理工作,它是开发企业人力资源,分析培训需求,总结培训成果,控制培训成本,提高培训质量、进行员工个人职业生涯设计等各项工作的重要依据。在培训资料管理过程中应建立工作质量保证体系,以培训负责人牵头,培训各环节负责人为分责任人,层层收集,确保培训资料无缺漏,最后由培训部门归档保存。
主要评估指标有:
培训资料保存的完整性。培训中各种资料(培训记录,统计、培训汇报跟踪等)搜集、保存是否完整,是否有遗漏,为培训后续管理提供足够详尽的资料。
培训记录维护。指对统计出勤率,将签到表、评估表、考试成绩等数据进行处理和维护,存入相关的培训数据库。将培训情况进行总结通报。为后续管理提供分析评估的可靠数据。