校园科研效益评估机制的构建

来源：中文期刊网位置：工业技术时间：13-05-28 08:30

论文影响力论文所发表期刊的级别可以大致反映论文的水平和质量，但论文在国内外研究中的被引频次则更能反映该论文的学术价值及影响力。论文影响力指标拟采用SCI和EI上被引频次、国内中国引文数据库（CSCD）中被引频次。这些指标测量的是科研质量及影响力，而反映其产生的社会效益是知识创造和观念。该指标较好地体现了《国家中长期改革和发展规划纲要2010-2020》中“完善以创新和质量为导向的科研评价机制”的要求，可以引导高校更注重科研产出质量而非数量。人文社科类产出效益评估体系（1）成果获奖人文社科类指标选取部级奖和省级奖，部级奖是指以中央（国务院）各部委名义颁发的社科优秀成果奖，如教育部人文社会科学研究优秀成果奖、全国社会科学规划办的社科优秀成果奖、国家教育科学优秀成果奖等。（2）社会服务人文社科类的研究的核心在于为社会经济发展服务。通过深入开展政策研究，积极发挥库和智囊团作用，努力为党和国家科学决策、民主决策做出积极贡献。这些服务主要体现在对政府、企业等相关部门提供的咨询报告、调查报告及经有关部门正式鉴定并有正式鉴定证书的人文、社科应用成果数。（3）国际交流与合作指标含义同上，人文社科类包括学校独办国际学术会议、国际学术会议论文提交数、受聘讲学派出人次及合作研究派出人次。（4）论文影响力指标选择的依据同上述理工农医类，人文社科类指标选取高校在SSCI和CSSCI数据库中论文被引频次。

用层次分析

构建判断表进行比较为适当降低区分难度，将常用的Saaty九级评分表修改成了七级，即两两指标比较时相对重要程度的最大值为7，最小值为1。参与高校科研产出效益评价指标权重调查的理工类专家来自北京大学、中国大学、中山大学等10所高校七个学科的杰出青年、长江学者。回收有效问卷16份，专家的专业背景包括了、、、、、工程、等。人文社科类专家来自北京师范大学、武汉大学、人民大学等11所高校的学术带头人、教授。回收有效问卷15份，专家的专业背景包括了经济学、学、马列学、教育学、学、法学、、中文、和学等。层次单排序结果及一致性检验对专家的打分结果进行几何加权平均后得到各一级指标的判断矩阵（相对于评价目标而言，各一级指标间相对重要性比较的矩阵）及各指标的相应权重。由于受诸种主客观因素的影响，判断矩阵很难出现严格一致性的情况。因此，还要对判断矩阵进行一致性检验，需要通过计算一致性比例来检验[11]。检验结果表明，专家对四个一级指标的判断矩阵具有良好的一致性。二级指标间的判断矩阵的计算方法与一级指标类似，也均通过了单层一致性检验。限于篇幅，计算结果文中不再赘述。层次总排序及一致性检验专家们对二级指标体系的综合评价结果参见表3和表4。为避免专家们综合评价出现不一致，同样也要对总排序结果进行一致性检验。检验方法是计算总排序随机一致性比例指标，同样判定条件是当时此判断矩阵具有满意的一致性，反之则表明层次总排序的结果没有通过检验，还需要修改层次结构模型或者再一次构造比较判断矩阵。本研究计算结果为理工类和人文社科类的总排序的一致性比例分别为.，表明层次总排序的结果具有令人满意的一致性，专家们对两类指标体系的综合评价结果一致，各级指标权重评价结果合理。

评价结果讨论

理工农医类权重结果讨论对理工农医类科研产出效益的评价中，权重最高的一级指标是知识产权转化。这表明专家们认为研究成果能否转化成生产力是高校科研产出效益最重要的方面，而这也恰恰符合了中国目前高校发展政策的导向——高校要增强社会服务能力，推进产学研用结合，加快科技成果转化。因此，该评价体系将知识产权转化作为最重要的产出效益指标可以促使高校注重科研成果的转化与应用，增强其社会服务能力。论文影响力的权重仅次于知识产权转化，专家们普遍重视论文对其学术领域的贡献，特别是其国际影响力。一级指标中权重最低的是国际交流与合作。从对各位参与问卷调查的专家访谈中我们了解到，专家普遍认为国际交流与合作的二级指标中除了国际会议的特邀报告能够反映研究者具有较高国际水平外，其他指标特别是国际会议提交论文数、合作派出人次等很难反映出该校的科研水平和学术影响。另外，成果获奖的权重相对较低，在咨询专家的过程中我们了解到，部分专家认为目前奖项的评定并不是完全公开透明的，另外有些专家则认为特别是国家级奖项少有高校能够获得，每年设立的国家级奖项数太少，在评价中不应该过分看重成果是否获奖。在对二级指标权重的比较分析中发现，技术转让当年实际收入与专利出售当年实际收入赋予的权重基本一致，但国际交流与合作下属的四个指标权重评价得分差异较大。权重最高的是特邀报告篇数，专家们普遍认为该指标能很好地反映国际交流与合作水平。通常能够在国际学术会议上做特邀报告者，表明其具有较重要的国际学术影响力，已经做出诸多原创性成果。而且，在国际学术会议上做特邀报告也是传播与交流科研成果的佳径之一。SCI论文被引频次的权重是CSCD论文被引频次权重的4倍，可见专家学者们如今更看重论文的国际影响力，重视高水平论文对学科领域做出的贡献。人文社科类权重结果讨论人文社科类各一级指标权重顺序由高到低依次是论文影响力、社会服务、成果获奖及国际交流与合作。人文社科领域对论文影响力最为看重，在该领域专家们认为论文的国内外被引频次能够较为客观地反映论文的质量，而其他指标如社会服务、国际交流与合作等很难判断其水平和质量，比如难以衡量一个咨询报告对政府决策与社会发展的贡献大小。国际交流与合作的权重仍然最低，这可能与中国举办的国际学术交流活动日益增多，学者参与机会也增多，使得该类会议的学术水平在人们心中的分量有所下降有关。与理工类SCI、CSCD论文被引频次指标权重不同的是，人文社科类SSCI论文被引频次的权重仅是CSSCI论文被引频次的2倍。许多人文类专家表示，在一些学科领域如政治、中文、历史等，他们更关注国内核心期刊的论文，因为这些文章更多是解决国内社会、经济、政治发展中的各种问题，体现科研为本国社会发展服务的理念，而且其受众面更广。因此，他们认为在这些领域内能够被国内期刊引用次数较高的论文就是高质量和高学术影响力的论文。另一值得关注的二级指标权重是部级奖项的权重是省级奖项权重的3.15倍，反映专家们更看重部级奖项，省级奖项由于更易获得而使其分量相对较轻。

结语

构建的高校科研产出效益指标体系与已有同类指标体系相比，具有以下四个方面特点：一是以分类评估为导向，分别构建了反映理工农医和人文社科两类科研产出效益的指标体系；二是综合考虑了科研产出的学术影响力、社会影响力、经济效益等，是对科研产出效益的较为全面的评价体系；三是强调科研质量和创新，以及科研为社会经济发展服务的导向；四是通过咨询多个学科背景的专家以及AHP的单层和总排序结果的一致性检验，保障该指标体系中权重的结果具有较高的信度和效度。

作者：姜金秋 胡咏梅 单位：北京师范大学