人才评价
人才测评开发及其应用研究
2007-10-31 16:18  浏览:221

   一、问题的提出

  人才测评是现代人力资源管理中的新技术和新方法,而计算机化测评则是现代人才测评中最前沿的课题。所谓计算机化测评即以计算机为媒体来实现对人才的测评。实现计算机化的关键是测评软件系统的开发。

  测评软件的开发有四种方式:一是测试方式的计算机化,即将现有的测评工具和方法等传统手工纸笔操作方式在计算机上实现,如,标准化测验、纸笔考试的试卷等。二是测评信息管理的计算机化,如测评对象的基本信息、测评结果信息等的管理等,提供便利的查询、远距离传输方式方法,以及信息的共享等。第三是对测评管理过程进行全方位的无纸笔化管理,例如通过网络发布测评公告或信息、接受报名,其它如考场的编排、监考人员的分配、评分、测评结果的分析处理、测评报告的输出等。四是用现代计算机技术的功能和特点在计算机上直接开发测评的工具软件。如,自适应性测验CAT、自动组卷题库、虚拟情景测评等。

   我国人才测评软件的开发研究起步于八十年代后期,由于当时计算机软硬件技术发展水平的限制,如计算机速度慢、内存小,存储器容量有限,DOS平台、文字处理及图像处理平台软件的功能较弱等因素致使当时研发的测评软件水平软低,操作复杂,通用性差,只在非常有限的范围内使用。

  九十年代以后,随着人才测评理论与实践的发展,人们对测评软件工具的需求日益迫切,特别是计算机软硬件技术的飞跃,为人才测评软件的发展提供了强有力的技术支持。视窗操作系统(WINDOWS)推出,使测评软件有了一个很好的支撑平台;多媒体技术的发展使测评软件突破了简单文字图形的内容限制,测评内容更加丰富化;网络的快速发展,使测评突破了空间的束缚,极大地提高了测评的效率。目前测评软件已经在技术上跃进了一个大台阶,特别是多媒体技术的应用,提高了测评软件的趣味性和吸引力,在操作上更加简便和人性化。测评的功能上更加多样化和综合化,在这方面做得比较成功的是美国。如美国教育测验服务中心(Educational Testing Service,ETS)已经在GRE和TOEFL考试上实现了无纸笔化。多数测评公司的测验都以软件的方式提供给用户,美国全美软件系统有限公司(ATA)研制出并在美国成功进行商业化运行的E-testing全程自动化测评系统,实现了从报名、抽题、阅卷评分、证书打印,到求职、招聘、人才交流、人才管理各相关领域内的网络化运行,将测评、考核、评定、评审与人才推荐、人才交流于一体。

  与发达国家相比,我国在人才测评软件开发方面是相当落后的。国内一些科研机构和电脑公司也在积极进行人才测评软件的开发,比起八十年代来,技术方面有了很大的进步,但是也存在着很多问题。最突出的是测评内容的科学性问题,有些测评软件只是将一些常见的测验作简单的收集,或粗略编制一些测验,并未对其进行严格的检验。此外,系统的兼容性和维护等问题也比较突出。测评软件功能都比较单一,有的仅是一个人机对话测试系统,有的只是一个评分系统,有的只是一个信息管理或考务管理系统,多功能综合化的测评软件的开发则处于探索阶段。鉴于此种情况,我们决定在前期探索和实践的基础上,进行现代人才测评软件的系统研发工作,并确立了测评软件开发的三高标准,即高起点、高水准、高质量。本研究自1995年开始,在对国内外测评软件进行调查和研究的基础上,确立了人才测评软件开发的基本原则,提出了人才测评软件系统的功能结构。在此理论研究的基础上开发出了《华瑞人才测评软件系统》系列软件。

  二、测评软件开发的原则

  多年来在人才测评软件开发和实际应用的经验和教训使我们认识到,人才测评软件的开发方面应该遵循以下六条基本原则。

  1、科学性。所谓科学性是指测评工具与方法的科学性。科学性是测评软件系统的根本,只有做到了测评工具的科学性,才能保证测评结果的有效性。我们所开发的测评系统采用的测评工具,大部分是经过自己研究开发的测验量表等工具,这些测评工具在研究过程中作过多次预试和大规模常模取样测试,项目分析结果和信度、效度检验均达到测验编制的要求以上,并在一些人事测评中试用过,有良好的效果。为了方便用户的使用,我们也将目前国内外最常用的一些标准化的心理量表以集成化的方式纳入到系统中。这些量表也都经过我们的修订和校检。

  2、实用性。实用性是指测评工具的设置和开发要针对测评工作的实际,能够满足组织开展测评的需要。例如我们在开发《企业版》软件时,在内容设置方面,考虑到企业组织选拔人才测评的需要和进行员工心理素质测评等多种需要,设置有基本能力素质测评的工具,如《一般能力倾向测验》,也有人格、个性方面的如《个性品质测验》、《卡特尔16PF个性测验》量表,还有对人的气质进行测评的工具,如《气质测验》,以及现实能力测验和心理健康测验等,如《管理能力测验》、《心理健康量表》等。本系统的开发立足于企业组织进行人才选拔与考核和人力资源开发与管理的实际,因此所选用的测评工具有高的鉴别力。如自陈性个性测验常会因为测试对象的虚假反应而无效,甚至做出错误的评价,我们在个性测验中增加了撒谎量表使测评工具具有一定的防伪能力。

  3、公平性。将笔试、心理测验或其它操作方式内容搬到计算机上后,由于操作平台的变化,有可能产生较大的误差,测评的效度受到影响。以测评内容的呈现方式为例,有的测评软件是将试题逐题在屏幕上呈现,即一屏一题呈现的方式,这样就将一份测验分成多个单元,打乱了内容的连续性和整体性,不仅前后对照及修改较为困难,而且对测试内容有极大的限制(即内容的长度不能超过一屏)。本系统采用平拉开方式,测试内容在屏幕上象平摊开的书本一样,与常规测试试卷形式一样,试题内容的多少和形式(图形,表格)等均不限制,缩小了计算机化测验与纸笔测验方式的差异。

  4、简便性。为了使软件有更广泛的使用范围,在操作方式方法上必须简便易行。如我们的软件操作方式都与windows操作方式相同,不需专业培训即可掌握。输入必要信息时,尽量少用键盘输入字符,全部测试过程中,只需要在姓名一栏输入汉字,其它都是采用option方式由被试自己选择,当然熟悉计算机操作的也可以自己输入各种信息,答题和修改全部用鼠标操作,即使是从来没有用过计算机的人也极易学会这种操作方法。简便性的另一要求是,在操作过程中,应该给测试者提供更方便的帮助功能。我们除在系统中设立有帮助文件外,我们还在软件适当部位显示测试的有关信息,如屏幕左上方显示有测试的名称、试题数量、时间限制,屏幕的左下角设立了未答题数和剩余时间的显示栏,以提醒被试控制自己的作答的速度和时间分配,为了方便被试找到未答的题,还提供了快速搜索功能,只要一点搜索健系统就会列出未答题号,双击题号,系统就会自动到达该题所在的页面。

  5、安全性。安全性包括系统运行的稳定性,测试内容、结果等的保密性等。人才测评的资料往往成为组织进行人事决策的依据,其结果对个人和组织都是非常重要的资料。因此,测评系统必须要安全运行,特别是在测评过程中不能出现障碍。否则会影响测评结果的有效性,还会给组织和个人带来经济和时间上的损失。作为人才测评的软件系统。测试内容是要反复使用的,不得公开,测试的结果也应该限定在一定的范围内。为了保证系统的安全性,我们建立了独特的文件存储方式,对测评内容、评分标准和常模等均进行了加密处理,其他人即使得到了文件,也无法解读。为了控制测试结果的权限,我们把测评和结果的输出分别作为两个独立的系统,测试对象只能在测评站做测试,无法知道自己或他人的测试成绩。只有经过授权的管理人员才能打开结果文件。
 
      6、适应性。适应性是指测评系统应具有较强的适用范围。一是软件运行的硬件软件环境不能有太高的要求,不需要特殊的设置和装置,在普通的PC机上就能运行。二是测评内容,能够满足不同目的、不同对象测评的需要。由于操作简便,既可用于大规模的团体统一测试,也可进行自由的个别测试,测试内容也可由主试或测试者根据需要选择,其应用范围很广。可用于企业组织进行人员的招聘与选拔、公务员录用考试、人才市场开展的人才评价等。

  三、人才测评软件系统的结构与功能

  人才测评软件系统正在由单一的测试功能向多功能、集成化方向发展。如果将人才测评软件作为一大系统的话,则它是以信息管理系统为核心,由测试、题库管理、数据输入、数据传输、评定、输出、查询、统计分析等子系统组成。

  (一)信息管理系统

  就其实质来说,测评软件系统是一个信息获得、处理、存储和使用的系统,因此广义地讲,人才测评软件系统是一个信息管理系统(MIS)。但此处是将人才测评系统作为一个具有一定内部结构和独立功能的系统,因此此处所指的测评软件的信息管理子系统,是一个接收并存储其它子系统信息并为其它的子系统的运行提供信息支持的部分,同时人才测评系统也是通过信息管理子系统与其它系统发生信息交换。简单地说,它是一个数据库,每个子系统的信息进出都要通过这一部分,它的信息内容范围很广,包括被试的基本信息(报名所提供的)、被试的测试成绩、有关评价标准(如常模)、有关测评活动的信息如测评公告、测评时间、场所、程序、规则、主试人员、被试人数及其分布、有关个体的评价结论(测评报告)、团体分析报告等等。由于测评信息的重要性,故信息管理系统管理和安全性是非常重要的,它是面向高级主试设计的,能够进入信息管理系统的都是超级用户,只有他有权进入此系统并进行一定的维护工作。信息管理系统能够定期地自行备份。

  (二)测试系统

  测试子系统的功能主要是提供人机对话试的测评。即将测评的项目(试题、评定要素)等内容呈现的计算机屏幕上,由被试或评定人员根据计算机的提示进行答题或操作。传统的测评软件基本上就是一个测试系统,而且多数都只能提供文字和简单的图形为刺激材料,且以客观性试题为主(评分容易)。现代多媒体技术的发展使测评内容超越了静态的文字和图形,能够提供声音、图像等综合性的视听等感觉刺激材料,仿真模拟也在此基础上产生。被试的反应也从简单的按键选择A、B、c,发展到用鼠标点击或用手直接触摸选择答案,甚至能够通过键盘或光笔输入文字(如作文题、论述题、运算题等),还能够设计一定的装置由被试进行模拟操作。测试系统的设计主要考虑测评对象的特点和测评材料的性质,以能够提供最适宜的人机互动关系为准则。

  (三)题库系统

  题库系统的建设是测评软件中最重要,也是难度最大的一项工作。此处所说的题库是一种广义的题库概念,泛指测评设计者精心设计测评的内容,包括试卷、测评量表等测评用的材料,也包括狭义的题库(Item Bank),即由若干独立的试题组成。这些材料是测评软件中的核心机密,安全性是第一要求。此外,为了便于对这些信息进行有效地管理,能够快速地提取和使用,还应该对试卷或试题进行编码,并设置一定的参数,如试卷的取材范围、适用对象、使用的频率、试题难度、区分度等参数等。如果是狭义的题库则还应该有根据一定条件生成试卷的功能,自适应性测评的题库则还应该有试题参数和能力参数估计功能、选题功能和终止测试功能。

  (四)输入系统

  广义地说,测试系统也是一个信息输入系统,但此处所称的数据输入系统是指除直接的人机对话测试以外对测评对象的基本信息及人工测评信息的输入系统。特别是现阶段测评软件更需有一个数据输入子系统,从我国目前的实际情况来看,还有很多地方和单位没有普及计算机,也没有网络化,测评还是以纸笔等手工方式为主,但测评结果的处理却需要计算机的帮助。再者,一些操作性的测评结果也需要通过终端输入计算机。因此,测评软件系统应该设计多种数据输入接口。一般来说,键盘录入方式是必备的方式,并根据测评软件适应的对象范围设置其它数据输入方式接口,如OMR、扫描仪、条形码等。

  (五)传输采统

  当测评的范围扩大后,测评数据传输的方式与方法就会反映一个测评系统的效率。不仅社会性、综合性的测评机构要求有及时、快速、安全的数据传输方式,就是一个企业内部的测评机构也需要及时获得或交换测评的数据资料。在传统的方式之下,往往采用邮递、派专人护送等方式,而今则应该充分地运用网络的优势,通过网络来解决这一问题。一般来说,可以通过收发Email或在网站设置定时、定期或不定期的发送频道。

  (六)评定系统

  当测评系统中有主观性测试项目或需要作出综合性评价结论时,就需要评定系统。其主要功能是对主观性测试项目进行评定,如作文评分等,一些操作性测评的内容,也可以将被试操作的录像传到评定系统,由专家进行评定。在人事管理领域往往需要对测评对象作出综合性的评价结论,撰写测评报告,这需要由测评专家来进行,不象客观性测试可直接进行评分和转换。评定系统就是这样一个工作平台。

  (七)输出系统

  此系统的主要功能是输出测评的信息和资料。即根据测评的规定或用户的要求打印输出与测评有关的资料,如测评分数、测评报告、团体分析结果、测评证书等。

  (八)统计分析

  统计分析系统主要是使用数理统计方法对测评的数据进行汇总处理,如进行加权处理、进行模糊统计、回归分析。通过这种分析得出个体测评的综合性数据,也可以对测评团体的数据进行分析处理,如根据积累的原始数据调整测验的常模等,给测验的编制者提供项目分析的结果以改进测验编制的质量等,测评机构还应通过统计分析定期向社会或测评委托者公开测评的分析结果寻如数据的分布情况、信度、效度等资料。

  (九)查询承统

  此系统主要是针对社会化的测评而设计的。人们可以在网络上查询有关资料,如测评活动信息、公告、测评项目介绍、个人资料、测评结果分析与评价、集体结果。此系统是开放式的,一般都可放到机构的主页上,个人和机构都可以进来访问查询,为了保证测评者的权益和个人隐私不被侵犯,需要对访问者的权限进行限制。

发表评论
0评