首页分享基于机器学习可训练的项目绩效评估方法及系统

基于机器学习可训练的项目绩效评估方法及系统

来源：萌宠菠菠乐园时间：2024-10-12 10:03

基于机器学习可训练的项目绩效评估方法及系统

技术领域

[0001]本发明涉及大数据分析领域，具体涉及用于项目绩效评估的方法及系统，属于信息化项目绩效评估评审领域。

背景技术

[0002]项目绩效评估的全流程可包括项目事前绩效评估、项目过程绩效评估和项目后评价三个部分。项目绩效评估可以提高财政资金使用效益、优化财政资源配置。

[0003]传统的项目绩效评估的方法是采用人工的方式，这种方式存在工作量大、整体处理流程复杂和受限于主观判断的问题，容易造成片面评估的问题。需要一种新的方法来优化数据收集、数据评估和数据审核等过程中的工作效率。

[0004]现有的方法有基于图卷积神经网络、注意力机制神经网络的项目绩效评估方法，但是上述方法属于深度学习“黑箱模型”，具有可解释性上的局限性，不是根据绩效评估的评审逻辑构建的可解释性方法及系统。这种局限性使得现有的绩效评估方法缺乏准确性、全面性和客观性。

发明内容

[0005]基于此，本发明的目的在于提出一种基于机器学习可训练的项目绩效评估方法，以提高项目绩效评估的效率，优化项目绩效评估在项目事前绩效评估、项目过程绩效评估和项目后评价三个部分全流程的计算评估效率。同时提供一种实现上述方法的系统。

[0006]为了实现上述目的，本发明的基于机器学习可训练的项目绩效评估方法，包括以下步骤：

[0007]（1）获取目标项目的数据材料，并进行特征要素提取，构建目标项目的实施特征集合；

[0008]（2）根据特征要素与评估属性进行标签匹配，根据标签匹配结果对特征要素进行分类；

[0009]（3）利用不同分类的评估准则和绩效制度对项目绩效进行评估，并根据评估结果对项目实施过程中和项目验收的工作表现进行评价打分。

[0010]进一步地：

[0011]所述步骤（1）的具体实现过程如下所述：

[0012]①对于目标项目的数据材料，在人工标注的基础上运用自然语言处理技术提取相关字段，并在此基础上根据不同的指标计算目的进行进一步的特征选择；

[0013]②按照项目完成情况总结所需要的评估标准，建立项目评估属性组A，，A1为项目建设内容，A2为项目采购情况，A3为合同要求购置的设备及软件完成情况，A4为项目实时进度，A5为项目付款情况；

[0014]③按照项目评估属性组所需要的数据属性值，建立特征要素集合E，；为项目建设内容中的第一个特征要素，E22为项目采购情况中的第二个特征要素，E5N为项目付款情况中的最后一个特征要素；

[0015]④依据特征要素集合E，构建机器学习可训练的命名实体识别模型G，模型G包含项目评估特征向量生成、项目评估特征向量处理、项目评估特征向量聚合三个部分；

[0016]A.项目评估特征向量生成是将输入的项目文本处理得到词向量、文本向量和位置向量的加和向量；文本经过嵌入后，得到向量的公式如下所示：

[0017]，

[0018]其中，X=(x1,x2,⋯,xn)为输入的任意一个文本，T、S、P表示生成的词向量、文本向量和位置向量。

[0019]B.项目评估特征向量处理是将向量生成的结果输入到编码模块（选择为Bert）中，得到从上下文提取的特征向量；将此特征向量输入到双向的长短期记忆人工神经网络处理后，得到文本向量；将文本向量以及从上下文中提取的特征向量进行特征聚合，得到特征聚合向量，特征聚合向量的输出结果公式如下所示：

[0020] ，

[0021]其中，表示权重矩阵，是激活函数，为长短期记忆人工神经网络t时刻的输出, 整个双向的长短期记忆人工神经网络的输出，获取的是编码模块中最后一层编码层的特征向量,CONCAT表示两个输出的特征聚合操作，y为输出结果。

[0022]C.项目评估特征向量聚合是对输入向量进行特征的舍取，去除输入数据的某些维度以提高特征准确性并且缓解过拟合，使用丢弃法的公式如下所示：

[0023] ，

[0024]将特征舍取后的向量的维度，经过全连接层映射到标签数量上，将特征转换后的向量进行条件约束，得到最终的实体识别结果，公式如下所示：

[0025]，

[0026]其中，任一个序列X=(x1,x2,⋯,xn), 预测序列 Y=(y1,y2,⋯,yn)，A表示转移分数矩阵。

[0027]所述步骤（2）的具体实现过程如下所述：

[0028]①利用项目评估属性组A和特征要素集合E，将每个特征要素值、项目评估属性值与项目评估属性组A和特征要素集合E进行匹配分类；

[0029]②若分类成功，则将匹配分类成功的特征向量放入匹配成功集S；

[0030]③若分类失败，则将匹配分类失败的特征向量放入匹配失败集D；

[0031]④统计集合S和集合D的数量；

[0032]⑤计算匹配分类准确度；

[0033] ⑥设置准确度阈值PTRUE，将准确度阈值PTRUE与匹配分类准确度进行比较，若P≥PTRUE,则进入步骤（3），若P

[0034]所述步骤（3）的具体实现过程如下所述：

[0035]①构建目标项目不同评估属性及其特征要素的绩效参数W集，绩效参数包括各特征要素中目标项目完成情况与合同要求情况的对照完成率集合W1、评估属性占据总绩效评估的比率集合W2；

[0036]②提取目标项目完成情况中建设内容A1中的特征要素E11的数值集C1和合同要求情况中建设内容A1中的特征要素E11的数值集R1；

[0037] ③若C1≥R1，则视为目标项目关于特征要素E11的指标完成，将其完成系数认定为1；

[0038]④若C1＜R1，则视为目标项目关于特征要素E11的指标未完成，将其完成系数认定为；

[0039]⑤重复完成②至④中的步骤，通过得出绩效参数W集中的目标项目完成情况与合同要求情况的建设内容A1的对照完成率W11；

[0040]⑥重复完成②至⑥的步骤，得出绩效参数W集中的目标项目完成情况与合同要求情况的对照完成率集合W1，；

[0041]⑦使用识别模型G提取评估标准文件中的评估属性占据总绩效评估的比率集合W2，，其中W21为建设内容A1占据总绩效评估的比率；,其中，是特征要素E11的比率；

[0042]⑧建立项目绩效评估打分模型F，则模型F定义如下：

[0043]，

[0044]⑨循环使用打分模型F计算所有项目的绩效评估得分。

[0045]实现上述方法的基于机器学习可训练的绩效评估系统，包括：

[0046]数据输入模块，对项目材料进行采集输入；

[0047]特征提取模块，利用识别模型对特征要素及其特征要素值进行提取；

[0048]属性分类模块，对特征要素及其特征要素值进行分类匹配；

[0049]绩效评估模块；对项目的绩效进行评估打分。

[0050]本发明针对信息化项目绩效评估的特殊性进行基于机器学习可训练的绩效评估，通过构建识别模型自动提取项目完成情况数据材料、项目立项审批数据材料和评估标准文件中的各项要素，并利用所建立的系统认定方法和绩效评估打分模型，并构建项目绩效评估系统，整合实现信息化项目的自动化绩效评估，提升了数据收集、数据评估和数据审核等过程中的工作效率，并实现了绩效评估的准确性、全面性和客观性。

附图说明

[0051]图1是本发明中基于机器学习可训练的绩效评估方法的流程图。

[0052]图2是识别模型G的结构原理图。

[0053]图3是本发明中基于机器学习可训练的绩效评估系统的原理框图。

具体实施方式

[0054]本发明的基于机器学习可训练的绩效评估方法，如图1所示，包括以下步骤：

[0055]S1:获取目标项目的数据材料，并进行特征要素提取，构建目标项目的实施特征集合；

[0056]S2:根据特征要素与评估属性进行标签匹配，根据标签匹配结果对特征要素进行分类；

[0057]S3：利用不同分类的评估准则和绩效制度对项目绩效进行评估，并根据评估结果对项目实施过程中和项目验收的工作表现进行评价打分。

[0058]以下对各步骤详细说明。

[0059]一．S1:获取目标项目的数据材料，并进行特征要素提取，构建目标项目的实施特征集合。

[0060]

1.对于目标项目的数据材料，在人工标注的基础上运用自然语言处理技术提取相关字段，并在此基础上根据不同的指标计算目的进行进一步的特征选择。

[0061]

2.按照项目完成情况总结所需要的评估标准，建立项目评估属性组A，。A1为项目建设内容，A2为项目采购情况，A3为合同要求购置的设备及软件完成情况，A4为项目实时进度，A5为项目付款情况。

[0062]

3.按照项目评估属性组所需要的数据属性值，建立特征要素集合E，。为项目建设内容中的第一个特征要素，E22为项目采购情况中的第二个特征要素，E5N为项目付款情况中的最后一个特征要素。

[0063]

4.依据特征要素集合E，构建机器学习可训练的命名实体识别模型G。如图2所示，模型G包含项目评估特征向量生成、项目评估特征向量处理、项目评估特征向量聚合三个部分。

[0064]（1）项目评估特征向量生成，是将输入的项目文本处理得到词向量、文本向量和位置向量的加和向量。文本经过嵌入后，得到向量的公式如下所示：

[0065]。

[0066]其中，X=(x1,x2,⋯,xn)为输入的任意一个文本，T、S、P表示生成的词向量、文本向量和位置向量。

[0067]（2）项目评估特征向量处理，是将向量生成的结果输入到编码模块中，可以得到从上下文提取的特征向量，优选的，此处编码模块选择为Bert；将此特征向量输入到双向的长短期记忆人工神经网络处理后，得到文本向量；将文本向量以及从上下文中提取的特征向量进行特征聚合，得到特征聚合向量，特征聚合向量的输出结果公式如下所示：

[0068] 。

[0069]其中，表示权重矩阵，是激活函数，为长短期记忆人工神经网络t时刻的输出, 整个双向的长短期记忆人工神经网络的输出，获取的是编码模块中最后一层编码层的特征向量,CONCAT表示两个输出的特征聚合操作，y为输出结果。

[0070]（3）项目评估特征向量聚合，是对输入向量进行特征的舍取，去除输入数据的某些维度以提高特征准确性并且缓解过拟合，使用丢弃法的公式如下所示：

[0071]。

[0072]将特征舍取后的向量的维度，经过全连接层映射到标签数量上，将特征转换后的向量进行条件约束，得到最终的实体识别结果。公式如下所示：

[0073]。

[0074]其中，任一个序列X=(x1,x2,⋯,xn), 预测序列 Y=(y1,y2,⋯,yn)，A表示转移分数矩阵。

[0075]二．S2:根据特征要素与评估属性进行标签匹配，根据标签匹配结果对特征要素进行分类。

[0076]根据特征要素与评估属性进行标签匹配，根据标签匹配结果对特征要素进行分类。

[0077]

1.利用项目评估属性组A和特征要素集合E，将每个特征要素值、项目评估属性值与项目评估属性组A和特征要素集合E进行匹配分类；

[0078]

2.若分类成功，则将匹配分类成功的特征向量放入匹配成功集S。

[0079]

3.若分类失败，则将匹配分类失败的特征向量放入匹配失败集D。

[0080]

4.统计集合S和集合D的数量。

[0081]

5.计算匹配分类准确度。

[0082]

6.设置准确度阈值PTRUE。将准确度阈值PTRUE与匹配分类准确度进行比较。若P≥PTRUE,则进入步骤S3，若P

[0083]三．S3:利用不同分类的评估准则和绩效制度对项目绩效进行评估，并根据评估结果对项目实施过程中和项目验收的工作表现进行评价打分。

[0084]

1.构建目标项目不同评估属性及其特征要素的绩效参数W集，绩效参数包括各特征要素中目标项目完成情况与合同要求情况的对照完成率集合W1、评估属性占据总绩效评估的比率集合W2。

[0085]

2.提取目标项目完成情况中建设内容A1中的特征要素E11的数值集C1和合同要求情况中建设内容A1中的特征要素E11的数值集R1。

[0086]

3.若C1≥R1，则视为目标项目关于特征要素E11的指标完成，将其完成系数认定为1。

[0087] 4.若C1＜R1，则视为目标项目关于特征要素E11的指标未完成，将其完成系数认定为。

[0088] 5.重复完成2至4中的步骤，通过得出绩效参数W集中的目标项目完成情况与合同要求情况的建设内容A1的对照完成率W11。

[0089]

6.重复完成2至6的步骤，得出绩效参数W集中的目标项目完成情况与合同要求情况的对照完成率集合W1，。

[0090]

7.使用识别模型G提取评估标准文件中的评估属性占据总绩效评估的比率集合W2，，其中W21为建设内容A1占据总绩效评估的比率，,其中，是特征要素E11的比率。

[0091]

8.建立项目绩效评估打分模型F，则模型F定义如下：

[0092] 。

[0093]

9.循环使用打分模型F计算所有项目的绩效评估得分。

[0094]实现上述方法的基于机器学习可训练的绩效评估系统，用于执行本申请的基于机器学习可训练的绩效评估方法，如图2所示，该系统包括数据输入模块、特征提取模块、属性分类模块和绩效评估模块。数据输入模块主要是对项目材料进行采集输入，特征提取模块主要是利用识别模型对特征要素及其特征要素值进行提取，属性分类模块主要是特征要素及其特征要素值进行分类匹配，绩效评估模块主要功能则是对项目的绩效进行评估打分。

[0095]本发明针对信息化项目绩效评估的特殊性提出了一种基于机器学习可训练的绩效评估方法及系统，通过构建识别模型自动提取项目完成情况数据材料、项目立项审批数据材料和评估标准文件中的各项要素，并利用所建立的系统认定方法和绩效评估打分模型，并构建项目绩效评估系统，整合实现信息化项目的自动化绩效评估。

[0096]本发明对信息化项目进行综合管理和绩效评估，基于机器学习可训练的绩效评估系统能充分节约数据收集、数据评估和数据审核等过程中的工作效率。

[0097]最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。