无领导小组讨论（LGD）测评技术综述

　　无领导小组讨论（LGD）测评技术综述

　　关键词：无领导小组讨论 测评技术 评分者信度 效度

　　1．LGD测评技术的基本原理及其适用范围

　　LGD是无领导小组讨论（Leaderless Group Discussion）的简称，它是指将数名被评价者集中起来组成小组，要求他们就某一问题开展不指定角色的自由讨论，主试（评价者）通过对被评价者在讨论中的言语及非言语行为的观察来对他们作出评价的一种测评形式。所谓“无领导”就是说参加讨论的这一组被评价者，他们在讨论问题的情境中的地位是平等的，其中并没有哪一个人被指定充当小组的领导者。

　　按照现代人才测评理论的观点，人的行为和工作绩效都是在一定的环境中产生和形成的，对人的行为、能力、个性等素质特征的观察与评价，不能脱离一定的环境，所以要想准确地测评一个人的素质，应将其纳入一定的环境系统中，观察分析被评价者在该环境下的行为表现，从而全面考察被评价者的多种素质特征。LGD的测评技术正是基于这一原理的指导。该技术的实际操作要求一般是这样的：将被评价者按一定人数编组（一般6-8人），不确定会议主持人，不指定发言的先后，也不提出诸如积极主动、观点清晰之类的其他具体要求，只是要求他们根据主试提出的真实或假设的背景材料，就某一指定主题进行自由讨论，要求小组能在规定的时间内（一般1小时）形成一致意见，并以书面或口头形式向主试与评委汇报。

　　LGD的目的主要是考察被评价者的语言表达能力、组织协调能力、决策能力、沟通能力、应变能力等能力特征，同时也可考察被评价者的自信心、宽容性、情绪稳定性、性格的内外倾向性等方面的个性特征。这一方法的主要优点是它能为被评价者提供一个充分展示其才能与人格特征的舞台，使他们能够在一种动态的情境中表现自己，同时因为有小组成员的参与，这种测评形式就势必要求被评价者要在与他人的相互作用过程中去展现自己。在相互作用的过程中，被评价者的特点会得到更加淋漓尽致的表现，同时也给评委提供了在与其他被评价者进行对照比较的背景下对某个被评价者进行评价的机会。

　　从LGD实际的测评过程来看，它在以下两个方面提出了比较高的要求：首先这一测评形式对测试题目要求较高（用于讨论的主题及呈现给被评价者的背景材料），题目的好坏会直接影响对被评价者的评价的全面性与准确性；其次，它对评价者（评委）的要求也较高，要求评价者能很好地理解和掌握评价标准，又因为评价者往往会有3-5人，因而还要求他们能尽量保持评价标准的内部一致性。

　　因为LGD具有每次测评的人数有限、测评所需的时间较长、情境刺激材料及其主题的设计要求很高等特点，同时对评委也提出了高标准的要求，结合这一测评形式所实际具有的评价功能，我们认为它的主要应用范围是中高级管理人才的测评与选拔。事实上，该方法在国外的企业及各类行政事业性部门中主要应用于中高级管理人才的测评与选拔。在国内，最近10年随着各类专业人才测评机构的成立，适应社会市场的需求，这一方法在高级公务员选拔以及企业管理干部的素质测评与选拔等方面也已经得到了广泛的应用。

　　LGD作为一种人才测评技术，其信度和效度是研究者与实际工作者都极为关心的一个问题。我国的学者对此也有一定的研究，但相关的研究报告不多，特别是与它的实际应用情况相比就显得更不相称。2001年5月份，我们给武汉的某上市公司做了一次大型的人才测评，为其选拔高级管理人才提供参考指导。其间，我们就运用了LGD的测评方法。因为本次参加测评的对象为来自全国各地的求职者，共有232人参加了LGD这一测评活动，因而样本具有一定的代表性。利用这次测评收集到的数据我们对该方法的信效度等实证指标作了一次系统分析，并对该方法在实际的应用中应注意的有关的问题结合本次实际操作提出了几点看法。

　　2．研究过程

　　2．1 样本（被评价者）分布情况

　　本次研究的主要对象是参加了LGD测评的人员，这部分被评价者共有232人，共分为34组，每组6-8人不等。因为此次人才测评直接为人才招聘提供指导，因此有许多求职者都先后接受了其他人才测评技术服务，其中参与情景模拟游戏（GAME）的被评价者有224人，参与以HR个性测验为代表的多项心理测验的有333人。在这里收集另外几种测评方法的相关数据是为LGD技术提供效度方面的证据所用。具体的样本分布情况见表1。

　　表1 参与LGD测评的样本分布情况

　　统计量

　　人数

　　百分比

　　性别

　　男

　　186

　　70.2%

　　女

　　46

　　19.8%

　　年龄

　　20～29岁

　　59

　　25.4%

　　30～39岁

　　145

　　62.5%

　　40～50岁

　　28

　　12.1%

　　学历

　　大专

　　21

　　9.0%

　　本科

　　157

　　67.7%

　　硕士及以上

　　54

　　23.3%

　　合计

　　232

　　100%

　　2．2 测评的基本要素设计

　　考虑到本次测评的实际应用要求，在设计各测评方法的测评要素及评价标准时，一方面我们以工作分析为出发点，通过调查与访谈相结合的方法，同时也考虑该企业根据他们自己的实践经验所提出的岗位特殊要求等综合因素来确定拟测评的基本要素，然后在文献调查及专家讨论的基础上针对每一测评要素制定相应的评价标准。经过这样的操作步骤，最后我们确定在无领导小组讨论中，主要的测评要素为表达能力、逻辑分析能力、决策能力、沟通能力、组织协调能力、应变能力以及自信心、真诚、宽容、情绪稳定性、性格的内外倾向性等（个性特征中的真诚、宽容两个品质是应客户企业的要求确定的）；而在情景模拟游戏中则主要测评被试的责任心、合作性、决策能力、组织协调能力以及沟通能力等要素；HR个性测验的主要测评要素是责任心、进取心、真诚、自信心、诚实性、情绪稳定性等。多种测评方法测评某些共同要素的技术设计能为我们收集LGD的效度提供非常有价值的实证数据资料。

　　2．3 LGD测评基本过程

　　无领导小组讨论的施测过程严格按照评价中心技术的要求进行。担当评委的评价者由4名心理学专家、企业总裁以及该企业人力资源部的人事专家共6人组成，评委们事先都经过系统的培训，培训的内容主要有LGD测评技术的基本原理、测评要素设计的原因（为什么要设计这些测评要素）、每一测评要素的含义、要素的评分标准、观察与评分的技巧及具体要求（客观公正公平）等，培训的重点是使他们能准确理解和掌握每一测评要素的内涵及评分过程中的注意事项，如不对任何被评价者给予任何的相关提示或讨论的方向导引等。在测评过程中，评价者的主要任务就是观察被试的行为表现，根据评分标准独立地作出自己的评判。

　　2．4 研究结果

　　2．4．1 LGD的信度分析

　　关于多个评委对多个被试进行评价的测评方法，在考察其信度水平时一般是看其评分者信度。评分者信度代表了N名评委在某同一小组内评分的一致性水平。在本研究中，拟采用肯德尔和谐系数W作为衡量指标。因为在LGD的测评过程中，所有小组的评委都由固定的测评专家担任，因此在考察其评分者信度时，我们随机抽查了其中的1个小组（第16组），对每一测评要素考察其W系数值的大小及其相关是否显著。研究结果见表2。

　　表2 LGD组内评分一致性考察结果（肯德尔和谐系数W）

　　测评要素

　　第16组(6名评委8名考生)

　　W P（Sig.）

　　表达能力

　　分析判断能力

　　沟通能力

　　组织协调能力

　　决策能力

　　应变能力

　　自信心

　　真诚

　　宽容

　　情绪稳定性

　　性格的内外倾向性

　　0.793 0.002

　　0.669 0.009

　　0.607 0.001

　　0.644 0.000

　　0.689 0.000

　　0.649 0.000

　　0.569 0.001

　　0.383 0.024

　　0.590 0.001

　　0.523 0.003

　　0.647 0.011

　　表2的数据表明，作为衡量LGD测评技术评分者信度指标的W系数都达到了统计学上的可接受水平，除了真诚要素的W值略低（w=0.383，P<.05）外，其余的W值范围均在0.523至0.793之间，并且经检验都达到了差异显著性水平（P<.01）。进一步分析发现，如果把测评要素简单地分类为能力（表达能力、分析判断能力、沟通能力、组织协调能力、决策能力、应变能力）与个性特征（自信心、真诚、宽容、情绪稳定性、性格的内外倾向性）的话，从表中数据可清晰地看出，作为衡量能力要素组内评分一致性指标的W系数值（6个能力要素的平均W系数值为0.675）要高于个性要素的W值（5项个性的平均W系数值为0.542）。由此我们可以得出结论，LGD的评分信度是较好的，但在不同要素的评价方面存在一定的差异，总体上各位评价者对能力方面的素质特征评价一致性要略高于个性特征的评价一致性。亦即表明评价者对有关能力素质特征方面的测评维度在要素的内涵理解及测评标准的把握方面一致性水平较高。

　　2．4．2 LGD的效度分析

　　关于LGD测评技术的效标收集是一项比较有难度的工作。一般而言，若能进行追踪研究，收集到接受LGD测评的被评价者在若干年之后的工作业绩数据，这种数据应该是一个比较有价值的效标，但目前这种技术假设要求受到诸多客观条件的制约，因此我们只能利用目前已有的相关研究资料来完成效度的检验工作。好在本次人才招聘活动给我们提供了许多有利条件，因为在此次招聘活动中，我们除了给求职者提供LGD测评外，还进行了多项心理测验（包括个性测验、能力测验），开展了LGD、情景模拟游戏、结构化面谈、文件筐测验、背景调查等综合测评服务，由这些测评提供的相关数据，我们可以从两个方面来检验LGD的效度。

　　第一，在各项测评的所有数据出来后，我们根据测评技术及其理论解释，并根据专家小组的讨论意见，给每一位被评价者作出了一个综合的等级评定。这种等级评定共分五等，等级3以上的，我们推荐公司录用安置，等级2以下的则建议不予录用。这种综合等级评定的数据又可以从两个角度作为考察LGD效度的效标。其一，我们把每一位被评价者的LGD总得分（根据要素权重加权处理后的总分）转化为百分位等级分数，然后再划分为五等，这样每一位被评价者的LGD得分就各有了一个等级序列。再以被评价者的最后所得的综合评定等级作为效标，考察它们之间的相关。经统计分析表明，这两者的相关系数（斯皮尔曼相关）值为 0.410（p<.001）。这说明LGD有较高的效标关联效度（同时效度）。其二，我们也可以通过检验LGD测评结果与最后综合评定结果之间的符合程度来作为效度的依据。研究分析表明，在随机抽取的73名被试中，经过LGD测评获得等级评定为3级以上者最后在综合评定中仍然获得3级以上评定（即推荐录用）的被试有36名，即符合程度为49.3%；在LGD测评中被评定为2级以下最后在综合评定中等级同样在2级以下（即建议不予录用）的被试有12名，符合程度为16.4%。因为这两种评定结果（推荐录用与建议不予录用）都可以作为检验LGD测评是否有效的一个证据，因此，可以把这两个比例相加所得的结果（为65.7%）作为LGD测评技术效度的一个检验指标。上述研究分析表明，LGD测评技术是比较有效的。

　　根据上述研究分析的思路，我们进一步考察了LGD在测评被评价者的能力要素方面的效度指标。结果发现，如果仅依据能力要素的评分作出等级评估，它与被评价者最后所获得的综合评定的等级相关系数为0.447(P<0.001)，而符合程度（用百分比衡量）为71.2%（推荐录用符合比例57.5％，建议不予录用的符合比例为13.7％）。这两组数据都要略高于以LGD全部测评要素作为评定标准时的结果。这说明LGD在评价能力要素方面更有效。这一结果也与前面在信度分析时得出的LGD在能力要素评价上评分者信度更高的结果一致。

　　第二，对于LGD测评技术，本研究还考察了被评价者在同期接受的系列心理测验以及情景模拟游戏中与LGD有共同测评要素的相关情况。虽然每种测评技术或方法都有不同的测评维度，但在共有的测评维度上其要素的内涵是基本一致的，因此作这样的考察是切实可行的。在本研究中，重点考察了LGD测评中涉及到的沟通能力、决策能力、组织协调能力等能力要素与情境模拟游戏中共同的能力要素之间的相关，以及自信心、宽容性、情绪稳定性和内外倾向性等个性要素与HR个性测验中共同的个性要素之间的相关。相关的研究数据结果见表3。

　　表3 几种不同的测评方法在共同的测评要素上的相关情况表

　　共同的测评要素

　　（以LGD为准）

　　与情境模拟游戏的相关

　　与HR个性测验的相关

　　沟通能力

　　决策能力

　　组织协调能力

　　0.377**

　　0.316**

　　0.390**

　　——

　　——

　　——

　　自信心

　　情绪的稳定性

　　宽容性

　　真诚

　　性格的内外倾向性

　　——

　　——

　　——

　　——

　　——

　　0.173*

　　0.084

　　0.060

　　——

　　0.076

　　（注：* 在.05水平上显著相关， ** 在.01水平上显著相关）

　　分析表3的数据可以发现，在能力方面的测评要素上，通过LGD技术测得的沟通能力、决策能力以及组织协调能力等能力要素与在情境模拟游戏中测得的这些共同要素之间的相关系数分别为0.377、0.316和0.390，三个系数的值虽不高，但都在.01水平上显著相关。而在个性维度上，考察的四个要素自信心、情绪的稳定性、宽容性和内外倾向性与在HR个性测验中所测得的这些共同要素相关很低，其值分别为0.173、0.084、0.060和 0.076，且除了自信心这一测评要素在.05水平上达到显著相关外，其它几个要素的相关都不显著。上述结果表明LGD在评价能力方面的要素时比较有效，但在个性维度的评价方面不如心理测验（个性测验）有效。

　　3．结论及其建议

　　根据以上对研究结果的分析与讨论，我们可以得出以下结论：

　　（1）在LGD测评技术中，评价者经过系统培训后，其评分者信度较高，但在不同要素的评价方面存在一定的差异，总体上对能力方面的素质特征评价一致性要略高于个性特征方面的评价一致性。

　　（2）在效度方面，通过多种途径的数据检验都表明LGD是一种比较有效的人才测评技术，进一步的研究分析还发现，在评价能力要素等测评维度方面其有效性要高于对个性维度的评价。

　　这表明，无领导小组讨论在评价个人的能力素质特征方面有其优势，但在评价个性品质等方面的素质特征时应该慎重选择。如果要运用LGD对个性特征进行评价，则应对要素含义作出更加精确的解释、评价标准要更加客观易操作，在培训评委时这方面的培训内容也应适当加强。

　　因为研究者在测评技术设计、测评要素的确立、评分标准的制定及评分解释等多个环节上都参与了LGD的整个测评过程，借鉴这次测评的实践操作经验及其感受，我们认为在LGD测评技术的实施过程中，有以下几个方面的问题要引起注意和重视：

　　第一，测评要素的确立方面应以科学的工作分析作出基础，严格遵循人才测评技术中有关要素设计的基本原则，如针对性原则（针对某一岗位或职位类别设计合理的测评要素体系）、选择性原则（不可能也没必要对所有要求的素质特征都做出测评，而只是选择其中对工作影响较大的、有一定代表性的素质特征进行测评。在保证测评质量的前提下，应尽量减少测评要素体系中要素的数目）、内涵明确的原则（每一测评要素都必须有明确的定义，使用内涵明确的词语来表示）、不重复原则（所设计出来的测评要素在外延上应该相互不包容，同一测评内容不能出现在两个要素中）、操作性原则（设计出来的所有要素都应该是能够进行客观测量和评价的）。

　　第二，要为LGD选择合适的讨论题目及其相关的背景材料。题目及其背景材料的选择对于LGD技术至关重要，因为它会直接影响小组讨论过程中组员的参与程度。题目过于专业化，势必把那些不熟悉该专业领域的被试置于一个不利地位。另外，对大多数人来说，题目本身应该是富于讨论空间的，也就是说，应该保证让大多数被试都能有比较广阔的发表自己观点的空间。

　　第三，在评价者的素质方面无论提多高的要求都不过份。因为LGD技术的评分虽有客观的可操作的标准，但它终究是一种主观评价。这就要求担当评委的评价者必须经过科学的选择和严格系统的培训，同时还要求他们具有较强的责任感，最好有相当的心理学基础。

　　第四，在参与LGD测评的被评价者小组成员的组成方面，如果可以调整的话，尽量在性别、年龄的组成方面适当均衡，不要某组全部是女性或男性，也不要全部是年长和年轻的，适当的比例搭配可以协调讨论的气氛，使评委更容易作出比较评价。在人数的多少方面，有许多学者认为是5－7人为宜，我们认为应该是6－8人为佳。不是要多一个人，而是强调人数的组成应该是双数而不是单数，因为在测评过程中我们碰到好几次类似的情况，那就是在组员就意见争执不下的情况下，有被试提出投票表决，双数组成的小组很容易形成平衡的局面（如4：4），这样就迫使他们继续就问题展开讨论，而不是在刚开始讨论不久就以这样的方式来迅速得出某一结论。因为在LGD评定过程中，评委希望看到的是一个持久热烈的讨论场面，这样才有利于评分。