欢迎来到 广东科鉴检测工程技术有限公司
全国咨询热线: 400-108-9880
联系我们

地址:广州科学城玉树工业园J栋103房 105房 107房

电话:400-108-9880

传真:020-3170 7367

邮箱:kj-mark@svtest.cn

行业动态
〔科学技术研究项目评价〕系列标准介绍——GB/T 22900—2022 科学技术研究项目评价通则

本文介绍《GB/T 22900-2022 科学技术研究项目评价通则》,阐述了科学技术研究项目评价原则、科研项目分类与评价重点、评价内容以及评价程序,并描述了评价方法。标准方法可用于科研项目管理机构、承担单位、评估机构和项目其他相关方开展科研项目评价活动。

图片

一、标准方法的意义

科学技术研究项目是科技活动的基本组织形式之一,是新知识的产生、积累和应用过程,为人类文化和社会的知识增加以及设计已有知识的新应用提供了重要方式。当前,全球科技创新活动密集活跃,带动新技术、新产业、新模式快速发展,而科研项目正是实现科技创新的重要途径之一,如何科学有效地实现对科研项目的评价,提升科研项目实施的综合效能日益重要。

GB/T 22900-2022 标准为我们开展科研项目评价活动提供了基本准则与规范性指导。科鉴检测近年的科研项目开展、对外科技服务也紧随国家标准的更新步伐去学习改进,对本标准进行了解读与实践。本次分享意在助于各位行业朋友提升科研项目的综合管理水平,合理配置科研资源,一同提升我们开展科研项目的整体实施成效。

图片

二、科学技术研究项目评价原则

开展科研项目评价宜遵循以下原则:

——尊重创新规律。评价活动宜充分考虑项目所在科学技术领域现状与发展趋势,符合科学技术研究渐进性和阶段性的特点,尊重科学技术研究活动的创新规律。

——倡导分类评价。评价活动宜根据评价目的不同实施分类评价,充分考虑项目类型的特点、所属技术领域特点、所处评价环节的特点,分类设置评价内容与指标。

——注重评价实效。要把握科研渐进性和成果阶段性特点,注重体现标志性成果的质量、绩效、贡献和影响,提升评价活动的有效性。

图片

三、科研项目分类与评价重点

1、明确科研项目分类

开展科研项目评价前,宜明确科研项目类型。科研项目的类型根据研究活动的目的、特点、标志性成果,或项目委托方的分类标准来确定,通常可分为:

——1.1基础研究项目;

——1.2应用研究项目;

——1.3开发研究项目项。


2、确定评价重点

2.1  基础研究项目

重点评价下列情况:

1)科研项目的原创性、创新水平和学术贡献;

2)解决重大科学问题的效能,支撑技术和产品开发的效果,满足国家需求的支撑作用;

3)对促进原始创新、知识与理论创新、学科均衡协调发展和交叉融合、人才队伍成长的作用,以及项目潜在的风险性。

2.2  应用研究项目

重点评价下列情况:

1)科研项目的创新性、先进性,解决国家重大需求中关键技术问题的情况;

2)成果转化应用情况、支撑引领行业产业发展中发挥的作用、产生的经济和社会效益,以及项目潜在的风险性。

2.3  开发研究项目

重点评价下列情况:

1)科研项目的创新性、成熟度、稳定性和可靠性;

2)成果规模化应用及行业内推广情况;

3)项目辐射带动作用及产生的经济社会效益,以及项目潜在的风险性。

四、科学技术研究项目评价内容

评价活动一般可分为立项评价、中期评价、验收评价和跟踪评价四类。可根据项目需要选择评价类型。

评价内容通常涉及目标定位、任务部署、资源条件、组织管理、实施进展、成果产出、知识产权、人才队伍、目标完成情况、效果与影响等方面。

分类评价时,宜根据评价目的、项目类型、评价类型等确定相应的评价内容。评价内容可通过评价指标体系的方式来体现。


1 、立项评价内容(指标体系)

在项目实施前开展,针对项目实施的必要性与创新性、研究可行性、预期成效与价值、研究基础与条件等进行评价,评价结果可作为是否立项的参考依据。

立项评价内容包括但不限于以下方面:

——1)必要性与创新性;

——2)研究可行性;

——3)预期成效与价值;

——4)研究基础与条件。


2、 中期评价内容(指标体系)

在项目实施过程中,针对项目阶段性任务和目标完成情况进行评价,评价结果可以为项目管理提供参考依据。中期评价时间节点根据项目管理需要确定,可多次开展。

中期评价内容包括但不限于以下方面:

——1)目标对标;

——2)执行进展;

——3)阶段性产出;

——4)阶段性影响;

——5)实施保障。


3 、验收评价内容(指标体系)

在项目完成后开展,针对项目总体任务和目标完成情况进行评价,评价结果作为项目是否结题的参考依据。

验收评价内容包括但不限于以下方面:

——1)项目完成情况;

——2)项目产出;

——3)成果影响;

——4)综合管理。


4 、跟踪评价内容(指标体系)

在验收评价完成一段时间后开展,针对项目后续成果产出以及科技、经济、社会等方面的影响进行综合评价。跟踪评价宜有时效性要求,一般为项目完成后2年~5年内。

跟踪评价内容包括但不限于以下方面:

——1)成果应用及后续产出;

——2)科技影响;

——3)经济效益;

——4)社会效益。


五、科学技术研究项目评价方法

科研项目评价的通用方法一般包括同行评议法、技术报表法、多维指数评价法等。针对评价过程的部分具体需求或问题,也可选用科学计量法、专家评分法、层次分析法(AHP)等。

开展评价时,可按照需要选取一种或多种方法相结合的方式。选择评价方法时宜考虑但不限于下列因素:

——与评价目的要求的符合性;

——与评价对象的类型、特点的适宜性;

——与所处的评价类型涵盖的评价内容的适宜性;

——评价方法所需评价信息、评价资源的可获性;

——评价的时效性、经济性与可操作性。


1 、同行评议法

同行评议是邀请与项目研究内容相关的专家,通过现场、视频或函审的方式,采用同一种评议标准或规则,共同对科研项目进行评价,并给出评价结果和意见的评价方法。

采用同行评议法时,宜按照评价目的、项目所属领域及复杂程度等明确以下事项:

——专家具备特定的专业能力和资质条件;

——专家组规模及构成比例;

——评价内容与规范;

——评价形式,如会议评价、通信评价等;

——评价权利与责任义务;

——评价宜遵守的职业道德准则等。

为提高同行评议质量和效率,在条件允许的情况下,宜借助信息化和智能化等方法或手段,充分利用多元信息和在线评议平台,支撑同行评议过程。

1.1  专家的遴选与构成

遴选评价专家时宜遵循以下原则。

——科学原则。按照评价项目内容,在专家库中科学选择同行专家进行评价;在需要情况下,如交叉项目评价也可选取不同专业、不同研究方向的专家。

——回避原则。与项目申请、承担或参与单位(或个人)有利益关系的专家宜主动申明并回避。项目申请、承担或参与单位(或个人)可提请评价专家回避建议,并说明理由。

——更换原则。评价专家委员会或专家组的成员宜定期换届,成员任期一般不得超过两届,在规定的届期内逐年按照比例更换专家。

1.2  实施步骤

同行评议法所采取的基本程序包括以下步骤:

——由评价委托方对拟评价项目进行审查,确定其符合同行评议的基本要求;

——确定评价内容和评审规则;

——选择评审专家,组成评审专家组;

——通过评审会议或通信的形式,组织评审专家组对项目和科研成果的有关材料进行审议、质询和讨论,给出专家评审结果和意见;

——评审专家将评审结果和意见反馈给委托方,由评价委托方综合专家意见给出评价结论和决策。

示例:科研项目立项专家评审会意见表模板。

图片

注:开展不同类型科研项目评价时,根据评价类型选择适当的评价内容设计专家评审会意见表。


2 、技术报表法

技术报表法是从客观现实中采集科研项目相关数据并进行评价的一种方法,反映一个科研项目全周期的状态。本方法通过编制技术报表实现,技术报表一般包含工作分解结构表(work breakdown structure table,WBST)、质量成本进度表(quality cost delivery table,QCDT)、风险要素控制表(total risk control table,TRCT)。

评价时宜明确但不限于以下要素:

——技术就绪水平(TRL)或技术创新就绪水平(TIRL)的划分级别;

——TRL 或 TIRL 各级别的定义;

——里程碑定义和举证要素;

——工作分解结构(WBS)总经费预算、每个工作分解单元(WBE)的经费预算、分级别的经费预算;

——WBS 与 WBE 达到的 TRL 或 TIRL 每个级别的时间节点。


2.1  技术报表构成

2.1.1 工作分解结构表(WBST)

WBST 按照 WBS 制定,反映项目中各种要素之间、各要素与整体系统之间的逻辑关系。

编制 WBST 时,按照以下步骤开展:

——对科研项目进行分解、明确科研项目的全部WBE,每一个 WBE 都是一个交付物;

——将交付物划分成主交付物和副交付物;

——将主交付物与相关的副交付物进行关联;

——将主交付物与经费预算进行关联;

——确定研发单元(非9WBE) 当前所在的 TRL 或 TIRL 级别。

2.1.2 质量成本进度表(QCDT)

QCDT 反映科研项目技术状态、投入产出、研发进程的变化情况和之间的逻辑关系。编制 QCDT 时,按照以下步骤展开:

——按照项目交付物的类型确定适用的 TRL 或 TIRL 量表;

——在 QCDT 上确定每个 WBE 的开始状态与终止状态,如使用实体三角形(▲)标定项目的起始状态、空心三角形(△)标定项目的终止状态;

——列出 TRL 或 TIRL 中关键级别的经费预算和预期完成时间,同时明确每个级别的要素内容,QCDT 宜与 WBST 相对应,两者的数据存在关联性;

——将所有 WBE 的 QCDT 合成,验证 WBS 是否正确,通常需要至少2次“分解-合成”来验证分解的正确性。

2.1.3 风险要素控制表(TRCT)

TRCT 运用一种结构化、数字化、可视化的风险分级方法来综合反映科研项目在研发与产业化过程中面临的技术风险、竞争风险、团队风险、机构风险、市场风险、政策风险等。

一般将风险划分为五个等级:

——I级:代表几乎没有风险,相对安全,为低风险区域;

——Ⅱ级:代表有一定的风险,相对安全,为低风险区域;

——Ⅲ级:代表风险偏大,但可控,相对安全,为低风险区域;

——IV级:代表风险比较大,不可控,容易发生问题,为高风险区域;

——V级:代表风险很大,容易发生问题,为高风险区域。

TRCT 的编制包括以下内容。

——技术风险:反映技术的不确定性,由技术风险底数、技术风险指数判断;

——竞争风险:反映项目可能面临的竞争状况,由对外依存风险指数、外部研发依存风险指数、外部采购依存风险指数、竞争风险指数判断;

——团队风险:反映团队对个别成员的依赖程度,影响团队的稳定性和积极性。

——机构风险:反映项目承担机构的能力,影响项目的组织和实施。

——市场风险:反映项目所在行业的市场需求变化情况,影响项目的市场收益。

——政策风险:反映项目相关政策的变化情况,影响项目实施的全过程。

在编制 TRCT 时,宜按照 WBST 来计算各项风险指数值,并对项目承担单位的内部管理状态进行调研,判断其团队和机构风险;对项目涉及的外部环境进行调研,判断其市场和政策风险。根据每一类风险的具体内容给出文字表述的基本判断,并给出综合的风险分析结论。


2.2  技术报表测算

2.2.1 技术就绪指数计算

技术就绪指数或技术创新就绪指数由所有工作分解单元的技术就绪水平或技术创新就绪水平量值进行加权平均获得,计算按公式(C.1)、公式(C.2)

图片

式中:

TRI ——技术就绪指数;

k ——技术就绪水平量值,取值1~9;

WBE(k)  ——技术就绪水平达到第k级的工作分解单元数量

图片

式中:

TIRI ——技术创新就绪指数;

k——技术创新就绪水平量值,取值1~13;

WBE(k) ——技术创新就绪水平达到第 k 级的工作分解单元数量。


2.2.2 技术增加值计算公式

技术增加值由评价期末和评价期初的技术就绪指数或技术创新就绪指数、技术就绪水平或技术创新就绪水平的差值来表示,计算按公式(C.3)~公式(C.6)。

图片

式中:

TVA ——评价期内的技术增加值;

TRIend ——评价期末的技术就绪指数;

TRIstart ——评价期初的技术就绪指数。

图片

式中:

TVA  ——评价期内的技术增加值;

TIRIend——评价期末的技术创新就绪指数;

TIRIstart——评价期初的技术创新就绪指数。

图片

式中:

TVA ——评价期内的技术增加值;

TRLend——评价期末的技术就绪水平;

TRLstart——评价期初的技术就绪水平。

图片

式中:

TVA——评价期内的技术增加值;

TIRLend——评价期末的技术创新就绪水平;

TIRLstart——评价期初的技术创新就绪水平。


2.2.3 投入产出率计算公式

投入产出率通过计算项目技术隐性收益、技术显性收益完成率与项目投入完成率之比获得,计算按公式(C.7)。

图片

式中:

r   ——科研项目投入产出率,r≥0;

t   ——评价期内的某时间点;

w₁——技术显性收益权重,0≤w₁≤1;

Xt  ——评价期内某时间点的技术显性收益完成率,用评价期内某时间点已实现的经济效益与预期实现的经济效益的比率来表示;

w₂——技术隐性收益权重, 0≤w₂≤1,且满足w₁+w₂=1;

Yt  ——评价期内某时间点的技术隐性收益完成率,用评价期内某时间点已实现的技术增加值与预期实现的技术增加值的比率来表示;

Zt  ——评价期内某时间点的科研项目投入完成率,用评价期内实际投入与计划投入的比率来表示。


投入产出率也反映每投入一元科研经费,实际产出的经济效益,计算按公式(C.8)。

图片

2.2.4 权重的设置

在公式(C.7)中,w₁和w₂的取值有下述三种情况:

——在评价期内某时间点上,对科研项目的技术显性收益没有预期目标时,w₁=0,w₂=1;

——在评价期内某时间点上,对科研项目的技术隐性收益没有预期目标时,w₁=1,w₂=0;

——在评价期内某时间点上,对科研项目的技术隐性收益和技术隐性收益同时有预期时,0<w₁<1,0<w₂<1,且满足w₁+w₂=1。

2.2.5 计算结果与分析

计算结果归纳为以下三种情况。

——当 r<1时,表明该科研项目尚未达到预期目标。说明科研项目投入、技术隐性收益、技术显性收益3个要素目标值与完成值比例之间的匹配程度可能尚未达到预期。

——当 r=1时,表明该科研项目已经达到预期目标。说明科研项目投入、技术隐性收益、技术显性收益3个要素目标值与完成值比例之间的匹配程度可能完全符合预期。

——当 r>1时,表明该科研项目已经超过预期目标。说明科研项目投入、技术隐性收益、技术显性收益3个要素目标值与完成值比例之间的匹配程度可能已经超过预期。

2.3 实施步骤

2.3.1 划分原则

划分原则归纳为以下三种情况:

——TRL 或 TIRL 的选择;

——TRL 或 TIRL 各级别的定义;

——里程碑和举证要素。

2.3.2 构建技术报表

根据评价对象的具体情况(评价需求、项目所属行业、项目交付物、项目具体内容等),按照已确定的TRL 或 TIRL 的划分原则,编制符合评价对象情况的技术报表结构。

2.3.3 信息采集与分析

采集技术报表所需的信息,通常根据评价类型选择需采集的信息,可包括项目执行情况、相关领域、行业研究情况、相关知识产权情况、应用前景等,并对信息进行分析、筛选和挖掘。

2.3.4 填写技术报表

通过数据采集与分析,将处理过的数据按照技术报表的要求进行填写,并计算相应的指标值。指标通常包括反映风险情况的指标、反映执行进度的指标、反映工作完成率的指标等。

2.3.5 技术报告测算

按照公式(C.1)~ 公式(C.8)  计算项目的投入产出率等指标。

2.3.6 分析与结论

根据技术报表的内容和相关指标的计算,结合项目投入产出率等计算结果进行综合分析,给出评价结论。

2.3.7 形成学习曲线

依据数据和评价结论,绘制单个项目、多个项目的学习曲线,为提升项目绩效和优化项目管理提供决策依据。


3 、多维指数评价法

多维指数评价法是按照评价目的和评价对象的特点,通过构建多层次的定性与定量相结合的指标体系,采取合理的评价方法对项目实际开展情况进行指标量化度量的评价方法。

采用多维指数评价法时,需明确以下问题:

——按照评价委托方需求、评价环节和项目类型特点界定评价目标;

——按照评价原则、评价内容和项目类型特点确定分析维度、构建评价框架;

——在评价框架的基础上,按照分析维度的内容,构建评价指标体系;

——按照评价指标体系,按照项目实际开展情况对指标进行度量和数据处理,包括缺失和异常数据处理以及无量纲处理等;

——确定指标权重,指标权重可以依靠专家判断,或借助其他方法(如层次分析法)进行确定;

——采用合理的方法对不同级别或维度的指标进行加权集成,依照加权结果对项目进行合理评价。

该方法可以与同行评议法、层次分析法、专家评分法等结合使用。

3.1  多维指数评价法基本步骤:

在使用多维指数法评价时,按以下6个步骤开展:

——界定评价目的:明确评价项目类型和评价环节;

——明确评价维度:按照评价目的确立评价维度,必要时可以在一级维度下建立二级或三级维度;

——建立指标体系:选择相应的评价指标来反应评价维度,确定评价指标体系;

——选择计算方法:选择对指标信息进行综合集成的方法(如加权集成法);

——数据采集加工:按照评价指标体系进行数据采集,并进行数据的加工处理;

——计算评价结果:按照所确定的指标权重,采用一定的方法计算评价结果,进行分析比较。

4、 科学计量法

对科学研究活动与结果的相关数据进行计算与分析,不受个人主观因素和其他非科学因素的影响。采用科学计量法对数据进行分析与计算时,可采用统计分析、知识图谱等方法开展。

评价时宜明确但不限于以下要素:

——科技论文(专著)的数量;

——科技论文(专著)的引证;

——引用率;

——平均被引次数;

——其他衍生指标等。

本方法可以与其他评价方法结合使用。


5 、专家评分法

专家评分法是一种定量化描述方法,按照评价委托方的具体要求,确定评价指标与评价规则,通过专家对项目实际开展情况进行量化打分,并采取某种计算方法获得评价结果的评价方法。

专家评分法的基本步骤如下:

——遴选专家;

——确定评价指标:并为指标赋权重。专家按照各指标的相对重要性,分别确定其权重,权重之和为1;

——明确评分规则:专家将每个指标划分多个等级,并为各等级赋予定量数值,每一个等级对应一个分值,等级划分应符合领域情况;

——计算评价分值:将每项指标权数与对应的等级分别相乘,求出该指标得分,各项指标得分之和即为此项目的总分;

——分析评价结果:将总分与同类项目过去评价情况进行比较或和事先确定的准备接受的最低分相比较,给出评价建议。

上述五个步骤并非必须完全应用到评分过程中,可按照具体选择的方法以及实际情况进行适当调整。专家评分法的计算方法有加法评价、连积评价、和数相乘评价、加权评价、功效系数法等。


6 、层次分析法(AHP)

层次分析法(AHP)是一种对复杂现象的决策思维进行系统化、模型化、数量化的多目标决策方法。其应用步骤是:

——按照项目性质和不同评价类型的评价内容确立层次结构,依照科学技术研究项目的评审指标体系,建立目标树图;

——邀请学科专家和评审机构资深人士,对评审指标体系间指标的重要程度进行两两相互比较,构造两两比较判别矩阵;

——基于判别矩阵,计算权重系数及各评价指标的组合权重系数;

——求出综合评价指数;

——进行一致性检验。

作为一种决策工具,本方法具有适用性、简洁性、实用性和系统性等特点,但在应用上也有局限性。在 APH 使用过程中,无论是建立层次结构还是构造判断矩阵,人的主观判断、选择对结果的影响较大,使得 APH 进行决策的主观成分很大。

本方法可以与多维指数评价法、同行评议法结合使用。

六、科学技术研究项目评价程序

开展评价活动前,宜明确评价要素,并对评价要素的内容进行说明。评价程序可按照1~11的过程展开。评价程序的顺序可根据项目评价的具体情况进行调整。


1 、明确评价目的

宜按照评价委托方的需求,事先明确评价目的。

评价目的一般包括优化科研项目管理、提升科研绩效、合理配置科研资源、促进创新和成果应用、科研诚信管理等,部分评价活动可能兼有多种目的。


2 、确定评价依据

宜按照评价目的确定评价依据,评价依据宜可靠合理,考虑现实情况的发展变化,具有动态性。

评价依据可包括:

——法律法规、规章制度等政策性信息;

——规范性文件、技术标准等;

——项目合同或协议文件;

——评价委托方相关要求等。


3、 确定评价主体

评价主体宜由评价委托方遵循评价依据,按照评价需要确定。评价主体可以是评价受托方,如第三方评价机构;当评价委托方自行开展评价时,评价主体也可以是评价委托方;当项目承担单位开展自我评价时,评价主体也可以是项目承担单位。

评价主体负责项目评价的实施。


4 、确定评价内容

按照科研项目分类与评价重点和评价内容,结合项目类型特点、评价条件和环境等确定评价内容,可根据需要设计能够反映评价内容的评价指标体系。


5 、选择评价方法

按照评价目的、评价依据、评价内容,选择适当的评价方法(见第五部分)。


6、 确定评价方式

评价可采用会议、通信、现场等方式,也可根据评价目的、评价环节及内容需要,结合评价对象特点选择不同的评价方式或多种方式的组合。同一批科研项目评价宜采用同一种评价方式,便于评价结果的可比。


7、 遴选评审专家

按照评价目的及项目类型特点遴选评审专家。遴选评审专家前,宜明确遴按照评价目的以及项目类型特点遴选评审专家。遴选专家前,宜明确遴选的原则、专家组构成、专家的专业背景与水平、选取渠道与范围,以及评审过程的相关规定和工作纪律等。


8、 收集评价信息

按照选择的评价方法要求,可采取实地考察、专家咨询、问卷调查、焦点访谈、意见征集等方式收集评价所需的信息。信息采集过程中可充分应用互联网、大数据、人工智能等先进方法和工具。

通常评价信息收集来源于以下方面:

——项目申请、承担或参与单位提供的项目相关资料,如可行性报告、进展报告、研究报告、研究成果及其证明、经济效益和社会效益的相关证明材料等;

——评价委托方提供的项目相关资料;

——国际、国内公开渠道发布的,可采信的相关研究资料,包括数据、实验和报告等;

——评价主体通过调查方式获取的评价相关信息等。


9 、分析评价信息

利用所收集的评价信息,按照所选择的评价方法的具体要求,对采集的评价信息进行整理、求证、判断和挖掘。


10 、确定评价结果

评价主体通过对评价信息的综合分析给出评价结果,并形成评价报告。评价报告通常包括评价目的、评价对象、评价过程、评价内容、评价方法、评价信息来源、评价结果和建议、使用说明等。


11 、使用评价结果

评价结果可以作为评价委托方形成管理决策参考依据。使用评价结果时宜考虑但不限于以下因素:

——评价信息和方法的局限性;

——评价过程的规范性;

——评价实施主体的能力水平;

——评价结果的时效性;

——评价结果的使用风险。

科鉴检测踏遍华夏大地,只为为您送来专业服务…

图片


联系我们

地址:广州黄埔区科学城玉树工业园 敬业三街2号J栋103房,105房.107房

传真:020-3170-7367

400热线:400-108-9880

邮箱:kj-mark@svtest.cn

粤ICP备2021012026号-2

扫一扫关注我们
Copyright ©  2017 广东科鉴检测工程技术有限公司®  版权所有