共同方法变异问题的多维审视

2018-06-19 08:01 来源:中国社会科学网-中国社会科学报 作者:朱海腾

  共同方法变异是由于同时研究的多个变量用同一方法测量或测量方法之间有某些相似之处而共享的方法变异,是一种系统性测量误差,可能使变量信度、效度和变量间关系的参数估计值产生偏倚。在行为科学实证研究中,共同方法变异被普遍认为是影响研究结论效度的重要因素,主要是因为它会导致变量间的观测相关系数显著偏离真实相关系数,产生共同方法偏差。多数情况下,它表现为相关系数的膨胀和假阳性,造成错误的因果关系推论。在心理学遭遇可重复性危机的大背景下,论文评审日益严格,大多数期刊和审稿人都将共同方法变异列为论文质量的重要影响因素,这要求研究者加深认识、积极应对。

  不应完全排斥自我报告法

  实践中,研究者常采用横断式自我报告调查获取资料,这种单一来源数据是共同方法变异的最大风险因素。受测者在答题过程中,其个性、动机、情绪状态、反应方式等诸多内部因素将对被测构念产生一致的系统性影响,使答案不同程度偏离实际,引发同源偏差。自我报告法向来饱受诟病,不少学者认为,自我报告的数据反映的多为方法变异而不是构念间的真实变异,得到的结果并不可信,更不值得发表,有些审稿人甚至会不假思索地拒绝此类论文。

  研究表明,单一受测者的自我报告确实使相关系数发生了显著膨胀。波德萨科夫(Philip M. Podsakoff)等回顾了组织与管理领域多对重要构念后发现,与不同评定者相比,单一受测者使观测相关系数发生了133%—304%的膨胀;对组织公民行为和员工工作绩效关系的元分析也发现,单一受测者导致的相关系数膨胀率在59.5%—95.6%之间。

  自我报告法是否无法避免共同方法变异?有学者为其提供了辩护。根据经典测量理论,每一题目的得分可视为真分数、方法效应和随机误差的组合。兰斯(Charles E. Lance)等人认为,同源偏差不仅取决于共同方法变异与真分数变异的相对大小,还要看共同方法变异与随机误差的相对大小。在共同方法变异带来膨胀效应的同时,随机误差会对构念间的相关性产生削减效应,这两种效应相互抵消,使相关系数的观测值并未显著偏离真实值。对MTMM矩阵的再分析和模拟研究结果表明,在常规信度水平下,随机误差可以抑制由共同方法变异造成的估计上偏,将共同方法偏差控制在较低水平。斯贝克特(Paul

  E. Spector)等人强调,一项研究中的所有变量不可能全部受到单一方法变异来源的影响,而是分别受到若干种不同方法变异的影响。除了共同方法变异,还存在仅影响个别变量、并非所有变量共享的非共同方法变异,它会低估构念间的关系,提高II型错误率。共同和非共同方法变异的相对大小决定了共同方法偏差的程度。这种解释把对方法变异的认识推进了一步,特别是区分了具有对立属性的共享和非共享两类方法变异,有助于突破对“包罗万象”的共同方法变异的简单化理解。

  在共同方法偏差“焦虑症”下,研究者尤其需要实事求是地评估自我报告法的优劣,不应怀有“自我报告一定受到了共同方法变异的污染”这类先入为主的成见而将其全盘否定。应认识到,自我报告法是测量感知、态度、情感、意愿等自我参照变量的最佳方式,有时甚至是唯一可信途径;自我报告的数据并非普遍存在共同方法偏差,更非获得显著相关性的充分条件,因为即使在大样本中,不显著相关仍很常见。因此,我们不宜不假思索地拒绝单一来源数据研究,以致将自我报告法“妖魔化”。

  不应盲目迷信独立数据来源

  独立数据来源的引进避免了单一数据来源这一最大共同方法变异源,得到的相关系数观测值不易膨胀,可能更接近真实值。独立数据来源分为两类:为研究中的不同构念分配不同的评定者;采用相关组织或机构提供的二手数据和档案记录。独立数据来源越来越受到重视,被普遍认为是解决共同方法变异问题最直接、最彻底的举措。但这是否能完全避免共同方法变异?

  不同评定者提供的数据可减轻单一受测者答题过程中的思维定式、反应方式和情绪状态的影响,有助于消除社会赞许性等方法变异来源。但其缺点也很明显,一是不适合测量自我参照变量;二是对不同评定者的问卷进行匹配时难免要用到一些身份信息,从而破坏匿名性,还可能出现无法成功匹配的无效问卷。更大的问题是,外部评定者掌握的信息较为片面,评定结果常同自我报告存在较大差异,从而难以判定哪个更为准确。他人评定看似消除了同源偏差,但本质上却成为了另一个人的“自我报告”,无法消除所有方法偏差,反而可能引入新的偏差,即“评定者偏差”,这是非共同方法变异的主要来源,会造成构念间关系的低估。如此看来,分别由自我报告和他人评定的两个构念间较低的相关系数实属正常,反映的往往是“缩水”的真实值,不一定准确。

  二手数据通常不是由研究者亲自收集而是通过内部或公开途径获取,其特点是较为客观,不易掺杂自我报告的主观臆断因素,在组织与管理研究中具有较大优越性。但是有些档案记录可能会受到人为操纵而失真,或是因缺乏透明度而无法确保质量,这将带来系统误差,影响研究结论的效度。

  总之,使用独立来源数据虽然可以消除同源偏差,但绝非完美无缺。如果与非共同方法变异和随机误差相比,独立来源数据“命中”的真实变异仅占较小比例,同样会造成构念间关系的估计偏差,这种偏差甚至并不比同源偏差小。独立数据来源虽有独特优势,但也不能过度迷信,应根据研究实际和变量性质适时选用。

  不应过多依赖统计技术

  除了程序控制,研究者常常在数据回收完毕后运用统计技术,对共同方法变异进行“事后”检测和控制。笔者对国内三份主要心理学期刊2017年发表的文献进行了梳理,发现以问卷调查为主要方法的论文中,80%以上都使用了统计控制手段,使用最多的是Harman单因子检验和控制未测方法潜因子法(ULMC)。其中没有一篇论文声称检测出显著的共同方法变异。那么,这两种最受国内学者青睐的统计技术是否真的有效?

  Harman单因子检验可依托探索性因子分析(EFA)或验证性因子分析(CFA)进行,其最大优点是简便易行,然而这种方法可以说是效果最差的一种。它仅为一种粗糙的检测手段,不能对共同方法变异进行任何控制或校正。就EFA方法而言,不太可能抽取出解释大部分变异的单因子,且随着构念的增多,这种可能性将进一步降低;同时,“大部分变异”的临界比例也没有公认标准,国内学者多取40%,国外学者甚至有人取到50%。至于CFA方法,很难指望一个因子能拟合来自多个构念的大量指标,正如单因子模型几乎必然是验证区分效度时拟合最差的模型。可见,Harman单因子检验的致命伤是灵敏性极差,很少能检测出共同方法变异,最多只能是“最后的手段”,已有国外学者建议摒弃这种方法。

  ULMC法通过构造一个假想的方法因子来推断共同方法变异的潜在威胁,与控制社会赞许性等需要直接测量的方法因子相比,这种方法无需在问卷中加入其他题目,而且可以获得校正后的结果,得到了一些学者的肯定和推介。但ULMC法混淆了实质变异和方法变异,会将焦点构念与方法因子间所有无法解释的共享变异全部剔除,这部分变异既有共同方法变异,还有一些可由其他变量解释的实质性变异,这样既不能准确估计共同方法变异,还会导致构念关系的估计偏差;另外,方法变异的来源无法识别,解释力受到较大限制。因此,ULMC法同样有内在缺陷,可信度存疑。

  除以上两种常用方法,文献中提及的方法还有分离并控制第一公因子法、控制已测方法因子(如社会赞许性、消极情感)法、基于偏相关或验证性因子分析的标签变量法等。但这些方法或是被证明效力不高,或是有明显弊端,或是缺乏实证证据,都无法将问题彻底解决。值得注意的是,重统计补救、轻研究设计的倾向已显露端倪,引起了一些学者的担忧。斯贝克特一针见血地指出,除了通过审稿人的审查以确保论文发表,采用各种统计检测方法并没有多少实际价值,只能使研究者产生一种“虚假的安全感”:我的研究一切正常,不存在方法变异。学者们需要引以为鉴。

  时至今日,学界对共同方法变异问题仍争论不休,未解的谜团也许远多于已解决的问题。其症结在于,共同方法变异不像其他心理现象那样能够直接观察和测量,只能通过零散、间接的证据来追踪蛛丝马迹;但它绝非杜撰,需要研究者谨慎对待和处理。在具有较高效力的统计控制法出现以前,建议研究者将重心转移到研究设计阶段,细致检查共同方法变异的诱发因素,采取多方评定、加入时间间隔、变换量表格式和选项、平衡正反计分项目、减少表意不清的项目、选取具体性高的构念等程序控制手段,减少对统计技术的依赖。

 

  (作者单位:国防大学政治学院、陆军炮兵防空兵学院军政基础系)

 

查看余下全文
(责任编辑:韩卓吾)
更多学术内容,请关注 www.cssn.cn
';?> ';?>