人才测评技术要求比较高,为提高测评结果的有效性,需要有若干技术保障条件,如测评工具(试题)的难度、区分度、信度、效度等。
1.难度。难度是指应试者解答试题的难易程度,它是衡量测评试题质量的一个重要指标参数,它和区分度共同影响并决定人才测评的鉴别性。难度一般用以下公式计算:P=R÷N(P代表试题的难度指数,R代表试题的答对人数,N代表考生人数)。难度指数越高,表示试题越容易;难度指数越低,则表示试题越难。一般认为,试题的难度指数在0.3-0.7之间比较合适,整份试卷的平均难度指数最好掌握在0.5左右,高于0.7和低于0.3的试题不能太多。
2.区分度。区分度是反映测评试题区分应试者能力水平高低的指标。试题区分度高,可以有效拉开不同水平应试者分数的距离,使高水平者得高分,低水平者得低分,而区分度低则反映不出不同应试者的水平差异。试题的区分度与试题的难度直接相关,通常来说,中等难度的试题区分度较大。另外,试题的区分度也与应试者的水平密切相关,试题难度只有等于或略低于应试者的实际能力,其区分性能才能充分显现出来。区分度可用以下公式计算:D=(H-L)÷N(D代表区分度指数,H代表高分组答对题的人数,L代表低分组答对题的人数,N代表一个组的人数即高分组与低分组人数之和)。区分度指数越高,试题的区分度就越强。一般认为,区分度指数高于0.3,试题便可以被接受。
3.信度。信度是指人才测评所测得的结果的一致性或稳定性,稳定性越大,一致的程度越高,就意味着测评结果越可靠。相反,如果用某套试题对同一应试者先后进行两次测试,结果第一次得80分,第二次得50分,结果的可靠性就值得怀疑了。信度通常以两次测评结果的相关系数来表示。相关系数为1,表明测评工具如试卷完全可靠;相关系数为0,则表明该试卷完全不可靠。一般来说,人才测评都要求信度在0.7以上。信度可用再测信度、复本信度和内部一致信度三种方法来进行评估。再测信度是指将同一试卷在相同的条件下对同一组考生先后实施两次,两次测评结果的相关系数。复本信度是指用两份或几份在构想、内容、难度、题型和题量等方面都平行的试卷进行测试,测评结果之间的相关系数。内部一致信度是指试卷内部各题之间的一致性,通常是将试卷一分为二,然后计算一半试卷与另一半试卷之间的相关系数。
4.效度。效度是指测评的有效性和正确性,即测评是否测量了它要测定的东西,是否达到它所预定的测评目标。效度是一个相对概念,而不是一个绝对概念,即效度只有高低之分,而没有全部有效和全部无效之分。效度从种类上可分为卷面效度、内容效度、构想效度、预测效度和共时效度。