湖北省内部审计师协会

摘 要：在审计署“推动建立健全长效机制，加强改进审计整改工作”的指引下，国网湖北省电力有限公司（以下简称：湖北电力）积极探索建立起了一套全方位、多维度的评估体系，实现了更科学、客观的审计整改后评估。该评估体系通过应用人工智能技术，对审计整改情况进行智能识别与评估，并应用智能风控质效评价模型有效、科学地评价整改管理情况，为识别风险、优化审计问题整改管理提供了科学指导，同时结合审计整改质量管理循环理论实现了闭环管理，建立起了预警、防范风险的坚强屏障，形成了“治已病，防未病”的长效机制，有效促进了电网企业审计整改管理整体提升。

关键词：内部审计；智能风控质效评价；电网企业；审计整改后评估；PDCA

一、前言

审计整改是审计监督的重要环节，习近平总书记多次作出重要指示批示，要求被审计单位承担起审计整改的主体责任，主要负责人要尽好责抓到位，严格落实审计整改要求。2021年7月，中共中央办公厅、国务院办公厅印发《关于建立健全审计查出问题整改长效机制的意见》，为审计整改工作提供了制度遵循。2021年12月，审计署审计长侯凯在十三届全国人大常委会第三十二次会议再次强调审计整改工作的重要性。

国家电网公司作为关系国家能源安全和国民经济命脉的特大型国有重点骨干企业，肩负着落实党中央系列重大决策的责任。2022年国家电网公司“两会”报告中指出：内部审计工作要深入贯彻党和国家强化审计整改工作的精神，持续健全整改长效机制，全面压实整改责任，提升问题整改质效，扎实做好审计“后半篇文章”，有效推进审计成果切实转化为治理成效。

二、新形势下电网企业审计整改面临新挑战

新形势下电网企业面临新的风险，要发挥内部审计风险管理的优势，最终落实到审计整改的实际成效上来。电网企业越来越重视审计整改工作，但被审计单位懒整改、假整改的现象时有发生，一些问题屡审屡犯，审计整改工作面临诸多挑战。

（一）中央进一步明确审计整改工作的新要求

十四五国家审计发展规划将督促审计查出问题全面整改落实作为国家审计监督的主要职责之一，要求及时组织对审计整改情况进行跟踪督促检查，在各类审计项目中重点关注以前年度审计整改情况，重点核实整改结果的真实性和完整性，防止敷衍整改、虚假整改。电网企业必须坚持揭示问题与推动解决问题相统一，健全整改长效机制，对审计整改质量提出了更高要求。

（二）审计整改长效应用机制有待建立

审计整改长效机制建设任重道远。对照中办、国办关于审计整改的要求，企业内部审计通过持之以恒抓整改，虽然取得了一些阶段性成果，但仍然存在整改工作治标不治本、流于“表面化”的现象，同时审计整改管理中存在认定标准不统一、整改评价不系统、成效不明显等问题，整改好坏难以客观评价，难以适应现代企业的管理需求。

（三）对数字化工作方式的需求愈发强烈

“创新手段、科技强审”是当前电网企业推动审计整改切实落地、发挥审计整改评估效果、强化审计整改结果运用的关键指导思想，但目前电网企业内部仍存在数字化审计建设力度不足等问题。国家电网公司要求大胆突破传统审计整改评估方式，促进审计整改及评估向科学客观、精准量化发展，充分发挥内部审计整改对企业经营管理、风险防范等环节的服务、保障和支持作用。

因此，电网企业推行审计整改后评估，有助于健全完善审计问题整改工作机制，强化闭环管理，推动问题彻底整改；全面压实整改责任，增强整改自觉性，避免“屡审屡犯”问题；提升整改协同效能，着力消除源头隐患，确保问题整改到位。

三、基于智能风控质效评价的审计整改后评估体系构建

（一）指标选取

通过梳理电网企业历年审计问题整改情况，选取审计整改组织管理、审计整改日常管理、审计整改时限、审计整改结果（认定）、审计整改成效五大维度对审计整改进行全方位后评估。

1. 审计整改组织管理

主要反映被审计单位审计整改组织机制建立及运行情况，分别从领导机制、运行机制、报告机制、评价机制四个方面进行评价。评价内容主要包括企业主要负责人整改责任落实情况，审计部门、业务部门、被审计单位“三项责任”落实情况，跟踪督导及专题研究情况，以及健全制度及考核追责情况。

2. 审计整改日常管理

主要反映被审计单位整改日常情况，分别从台账管理、上报管理两个方面进行评价。评价内容主要包括问题全口径登记督办，业务部门、审计部门双审验收管理，以及上报整改质量等内容，重点关注台账管理的有效性以及上报材料的真实性、准确性与完整性。

3. 审计整改时限

主要反映被审计单位问题整改的及时性，分别从问题上报、整改落实及时性两个方面进行评价。评价内容主要包括上报整改工作方案、整改报告的及时性，以及整改方案落实情况。其中，对及时率的评价应计算从发现审计问题到上报问题、上报整改方案和上报整改进展的天数，并与历年上报平均时间进行比较。

4. 审计整改结果

主要反映被审计单位问题整改的及时性，分别从整改计划完成情况、问题整改总体完成情况、问题整改真实性三个方面进行评价。评价内容主要包括整改计划完成情况、当年问题及往年挂牌督办问题整改完成情况、问题整改是否真实。其中，各类问题整改完成率=已达到整改预期的问题数/所有问题数*100%。

5. 审计整改成效

主要反映被审计单位问题整改的成效，分别从定性评价、审计意见及建议采纳情况、问题整改具体成效三个方面进行评价。评价内容主要包括是否推动历史遗留问题整改、审计意见及建议的落实情况、问题整改的具体成效等。其中，整改意见采纳率=已被接纳认可的意见数/所有意见数*100%，整改建议落实率=已完全落实、整改的建议数/所有建议数*100%。在成效方面，资金回收、纠正类问题整改完成率达到90%以上可认定为良好，管理规范类问题按照审计意见要求完成了建章立制、责任追究、流程优化、培训提升等内容的可认定为成效良好。

本文将五个维度以及对应的指标归纳整理如图1所示。

图1  评价指标体系图

（二）评价方法选取

在评价方法的选取上，应选取科学合理、合适评价对象且操作性强的方法。在本文中，由于原始数据审计整改情况大多以文本形式呈现，且在以往的评价中，往往仅靠人工主观判断形成“已整改”或“未整改”的评价意见，相对欠缺客观性、准确性和科学性。在数智赋能时代下，引入数字技术助力审计是必然趋势，因此，本文选取智能风控质效评价方法进行审计整改后评估。

智能风控质效评价是指基于自然语言理解的评价方法，其中，主要使用BERT预训练语言模型。BERT（Bidirectional Encoder Representation from Transformers）预训练语言模型在各类自然语言理解任务上表现出色，其中以自注意力机制为基础的特征编码器能够有效地捕捉复杂文本当中的语义信息。

首先，面对包含潜在风险的审计整改后评估的非结构化数据，风控质效评价模型使用BERT模型为文本的特征编码器对文本内容进行智能化的特征提取，以此为基础从而识别出整改后评估文本当中的潜在风险语义。通过对人工标注的整改后评估文本进行学习，模型能够依据大量参数对标注进行泛化，可以有效挖掘非结构化数据当中的潜在含义，识别出人工难以发觉的风险。

其次，智能质效风控模型除了能由文本内容得到后评估评分以外，还能完成从文本到指标体系的对应匹配。人工进行指标体系匹配的过程十分繁琐，而模型在经过训练之后能够高效完成匹配任务，并且保证匹配精度。该匹配过程为层次多标签分类任务，在质效风控模型中引入层级标签分类器，从而完成指标体系匹配和风控质效评分的多任务学习。

最后，智能风控质效评价模型在整改后评估中的应用流程如图2所示。通过整合原始文本数据、构建多维度评价指标体系，运用BERT特征编码器和训练模型进行智能化识别整改文本中的特征信息，实现智能化指标匹配和综合得分评估，并进一步将结果运用到整改等级评价、内部审计风险地图和审计整改质量循环中。

图2  模型应用流程图

四、基于智能风控质效评价在电网企业审计整改后评估中的应用

本文选取湖北电力内部审计情况为研究对象，以企业负责人任期经济责任审计结果及整改情况为原始数据，运用智能风控质效评价技术进行审计整改后评估和分析。

（一）审计整改后评估流程

基于智能风控质效评价的审计整改后评估流程如图3所示，在审计整改基本情况基础上，确立指标体系分维度、分层次的基准分，并结合专家意见和智能风控质效得分，将各维度、指标得分基准化，用以计算基准总分，并依据质量评价等级对整改综合情况进行评级。

图3  审计整改后评估流程图

在等级评价上，若实际得分达到基准得分的90%以上，则评级为“优秀”，其他评价等级如表1所示。

表1 审计整改后评估质量评价等级

审计整改评价综合得分	整改工作质量等级
90≤得分≤100	优秀
75≤得分<90	良好
60≤得分<75	及格
得分<60	较差

（二）运用智能风控质效评价模型进行审计整改后评估

1. 人工选择

本文选取代表性数据作为智能质效评价模型的微调训练样本，依据问题描述为其匹配所属的维度及一二级指标，再结合整改情况说明和双会签情况对该审计问题整改后质效进行人工评分。

2. 机器学习

智能风控质效评价模型结构如图4所示。问题描述和整改情况文本的序列输入模型后，首先对序列中的token进行嵌入化处理，再输入到多层BERT编码器中，得到“[CLS]”token的激活值。随后将其输入到层级标签分类器中，对不同的层级使用不同的线性层完成微调。最后得到文本对应的指标体系及评分。

图4  智能风控质效评价模型

指标体系匹配为多标签分类任务，风控质效评分为回归任务。在训练模型的过程中，两个任务的损失函数定义如公式(1)和(2)所示。其中，cls_Loss为指标体系匹配的交叉熵损失函数，reg_Loss为质效评分的均方根误差损失函数。

3. 测算权重

（1）构建比较矩阵

首先，采用“1-9标度法”对各维度、各层级指标两两之间进行相对重要性比较，具体的重要性判断标准如表2所示，再汇总重要性比较得分结果，形成重要性判断矩阵Ai。

表2  1-9标度法

相对重要程度	定义	说明
1	同等重要	两个目标同样重要
3	略微重要	由经验或判断，认为x比y略微重要
5	相当重要	由经验或判断，认为x比y重要
7	明显重要	深感x比y重要，且这种重要性已有实践证明
9	绝对重要	强烈感到x比y重要得多
2，4，6，8	两个相邻判断的中间值需要折中时采用
倒数	x比y弱时所用的判断，得到的判断值aji=1/aij

（2）计算权重

对于各个层次的评分矩阵Ai，首先对其进行一致性检验，通过一致性检验之后对其最大特征根对应的特征向量归一化，将其作为对应指标的权重。

一致性检验指标如公式(3)所示。

其中CIi为一致性指标，λi为评分矩阵Ai的最大特征根，ni为矩阵Ai的阶数。CRi为一致性比率，当一致性比率小于0.1时可以认为评分矩阵为一致性矩阵。RIi为随机一致性指标，与评分矩阵的阶数有关，不同阶数的随机一致性指标由表3给出。

表3  不同阶数的随机一致性指标RI的数值

阶数	1	2	3	4	5	6	7	8	9
RI	0	0	0.58	0.90	1.12	1.24	1.32	1.41	1.45

结合层次分析法结果及专家意见，将各维度及一、二级指标分配的基准分如表4所示。

表4  各维度、一级指标和二级指标得分基准化分布表

维度	一级指标	二级指标
审计整改组织管理 （10分）	领导机制（3分）	是否明确整改工作第一责任人（2分）
		党委会、党委审计工作领导小组、董事会是否定期研究落实问题整改工作（1分）
	运行机制 （3分）	是否健全问题整改协同机制，明确审计部门的监督责任（1分）
		是否明确专业部门主管主任，形成整改工作双线监督（1分）
		落实被审计单位主体责任，落实问题整改的直接责任和管理责任（1分）
	报告机制（2分）	是否定期报告审计工作和审计问题整改情况（1分）
		是否对问题整改做出通报和相关签批（1分）
	评价机制（2分）	是否制定本单位问题整改管理评价相关制度办法（1分）
		是否建立健全问题整改问责问效、通报约谈等工作机制（1分）
审计整改日常管理 （20分）	台账管理（4分）	是否将内外部审计发现问题整改全口径纳入台账，统一督办销号管理（2分）
		是否实行了审计部门、业务部门双审验收工作（2分）
	上报管理（16分）	内部审计当年问题整改报告是否以正式文件形式上报（2分）
		是否严肃申报销号（4分）
		是否按照整改意见，真实、准确且完整上报问题整改情况及相关佐证（10分），问题整改相关数据及材料不完整或不准确的，模糊不清的应予以扣分
审计整改时限 （20分）	问题整改上报及时性（8分）	上报整改报告及时率（2分）
		上报整改工作方案及时率（2分）
		上报问题整改进展及相关佐证材料及时率（4分）
	整改落实及时性 （12分）	审计整改完成及时率（12分）
审计整改结果（认定） （30分）	整改计划完成情况（14分）	结合问题整改要求及验收参考标准，按计划按节点推进或完成的整改完成率（14分），问题整改完成率=已达到整改预期的问题数/所有问题数*100%
	问题整改总体完成情况（10分）	当年度审计问题整改计划完成率（5分）
		以前年度挂牌督办审计问题整改计划完成率（5分），对于长期（6个月及以上）没有取得整改进展的予以扣分
	问题整改真实性 （6分）	已上报完成整改的问题是否在后续其他审计中发现虚假整改等问题（6分），若已完成整改问题，在后期其他内外部审计、巡视巡察、内外部检查中发现实际未整改的，或推诿整改、虚假整改、前审后犯的，相应予以扣分
审计整改成效（20分）	定性评价问题整改成效（6分）	整改成效是否有重大突破或明显成效（4分），存在如下情况时可予以加分，如责任追究较深入（考核、问责、约谈等）、收回资金数量较大、权证办理较多、及时完善相关制度办法、重大或难点问题得到有效解决、完成以前年度（3年及以上）重大问题整改等
		是否推动历史遗留问题的解决（2分）
	审计意见及建议采纳情况（6分）	整改意见采纳率=已被接纳认可的意见数/所有意见数*100%（3分）
		整改建议落实率=已完全落实、整改的建议数/所有建议数*100%（3分）
	问题整改具体成效（8分）	问题整改涉及金额（2分）
		问题整改涉及建章立制数量（2分）
		问题整改涉及追责问责人数（2分）
		问题整改涉及其它成果数量（2分）

4. 得分计算与合理性检验

各维度整改后评估得分及总分评级情况如表5所示。

表5   整改后评估综合得分分布表

维度	基准得分	实际得分	得分 评级	基准总分	实际总分	总分 评级
审计整改 组织管理	10	9.35	优秀	100	94.44	优秀
审计整改 日常管理	20	19.12	优秀
审计整改 时限	20	17.84	良好
审计整改 结果（认定）	30	28.87	优秀
审计整改 成效	20	19.26	优秀

在对评价结果进行合理性检验时，使用准确率（Precision）、召回率（Recall）和F1值对智能风控质效评价模型的指标匹配过程进行评价，使用均方误差（Mean Square Error, MSE）对评分过程进行评价。匹配过程的评价指标计算公式如（4）所示。

其中TP表示真正例，FP表示假正例，FN表示假反例。准确率越高表明模型对典型性样本识别能力越强，召回率越高表明模型对一般性一般识别能力越强，F1值则是两者的调和平均，能够综合评价模型的分类性能。智能风控质效评价模型的指标匹配过程有三个层级，其匹配性能如表6所示。

表6  智能风控质效评价模型的指标匹配性能

由表6可见，智能风控质效评价模型的指标匹配的F1值均在0.7以上，表明该模型匹配性能优良。评分过程在25条样本的测试集上的均方误差为0.1127，表明每条样本平均误差为0.0671，评分性能良好。

5. 建立内部审计整改质量管理循环

建立长效管理机制是推动整改切实落地、后评估常态化开展的关键，因此，借鉴PDCA质量管理循环（计划、执行、检查、处理）思路建立基于内部审计的整改质量管理循环，形成“审计-整改-后评估-风险识别”的管理闭环。从发现问题、问题整改出发，基于审计问题、整改情况构建评价体系，引入智能风控质效评价进行整改后评估，并依据评估结果运用风险地图识别审计整改重难点及风险点，助力后续审计中更精准识别问题、优化审计资源配置以提高整改后质效。

在每个循环中加入整改考核环节，对于评分达到“符合要求”等级的，停止循环；对于评分未达到“符合要求”等级的，应持续整改，并采取干预管理手段，比如督导、约谈和追责等。审计整改质量管理循环如图5所示。

图5  审计整改质量管理循环（PDCA）

（三）风险地图在审计整改后评估中的应用

本文以整改后质效评估结果为基础，建立内部审计风险识别地图，从审计问题出现次数和审计问题整改后评估得分两个维度进行审计风险评估，有助于电网企业解决内部审计中审计覆盖范围不全问题，同时指导审计资源配置、精准确定审计范围和重点，能站在更高层面把控全局风险。具体绘制流程如图6所示。

首先，将各维度、一级指标的整改后评估得分及发生频次进行统计，将整改后评估得分分为“优、良、中、差”4个等级，发生频次按次数多少同样划分为4个等级。

其次，将等级分层结果填入图中，绘制内部审计整改风险地图总图及各分维度图，以直观展示不同层级、范围内审计风险分布情况。由图可知，位于左下角的绿色板块为发生频次较低且整改质量较好的维度；位于右上角红色方块为发生频次较高且整改后质效较差的板块，可能存在更高的审计风险，应加强关注、分配更多审计资源。

后续根据新的审计整改结果应定期对风险地图进行动态维护，包括删补子项、得分及发生频次数据的持续更新，以实现风险地图的动态性、时效性和持续可用。

图6 基于智能风控质效评价模型的风险地图

五、基于智能风控质效评价的审计整改后评估体系成效

（一）构建系统评估体系，实现整改督导全覆盖

湖北电力2021年完成31家供电及直属单位的审计整改数字画像，实现了全省所有单位整改督导全覆盖，精准、科学评价审计整改风险点，预判被审计单位整改成效。通过“审计风险识别——整改后评估——审计风险预警预判——强化风险识别”审计整改质量循环体系进行动态管理，有效提升了各单位工作积极性，整体提升了审计整改管理水平。2021年审计整改计划完成率、及时率均达到100%。

（二）实现审计整改可视化，推动审计问题切实整改

将审计整改后评估结果应用到风险识别地图中，能进一步量化风险等级、图示风险分布，实现了审计整改可视化，对审计资源分配和审计监管方向起指导作用。一方面，审计整改风险地图为“一对一”跟踪督办重点难题提供依据，确保土地房屋权证办理、土地补偿等36项历史遗留问题的切实整改；另一方面，审计问题风险等级认定结果为后续制定整改督办倒排计划提供参照，推动促进了产业单位低质投资处置、非核心业务剥离等13项难度大、流程长事项，规范管住长远，更好应对新形势下的风险挑战。

（三）改善整改管理水平，提升审计整改成效

在后评估体系框架下，内部审计部门对各单位整改管理情况看的准、说得清，科学督导被审计单位全面整改，并且围绕同类问题举一反三，对普遍性、体制性问题，深入剖析背后的机制性缺陷、制度性漏洞，推动整改成效转化为治理效能。以湖北电力下属A供电公司为例，2021年落实审计意见121项、采纳审计建议29项、修订完善各类管理制度139项、追究相关责任28人次，共清理应付民营企业款0.32亿元、其他往来款4.89亿元，收回各类资金金额较去年同期提高 82.36%，并且优化工程应收款管理、预收退费13项等日常管理流程，公司规范管理水平得到全面提升。

六、结语

审计工作的实践和发展需要与时代特征相适应，面对新时代下的新挑战，湖北电力应用数字化技术助力审计工作，探索审计整改评估新模式，建立更符合时代要求的审计实践路径，提升审计整改治理成效。将智能风控质效评价引入整改后评估体系建设中，构建信息化、智能化评估方法，并将评估结果进一步应用于审计风险识别与风险预警，完善内部审计整改长效机制，推动问题切实整改。力争做到“提前预防、提前治理”，作好审计“后半篇文章”，促进公司更加安全高质量地经营与发展。

参考文献

[1]孟伟,2022:避免屡审屡犯 做好审计整改“后半篇”文章[J],中国人大(1),47-48

[2]斯慧龙等,2011:以风险地图为指引的内部审计监控模式的探索与实践[C],全国内部审计理论研讨优秀论文集三等奖论文汇编,458-469

[3]王兵和鲍国明,2013:国有企业内部审计实践与发展经验[J],审计研究(2),76-81

[4]王瑶,2013:企业内部审计绩效评价指标体系的构建与应用[J],会计之友(3),125-128

[5]杨展华等,2021:基于熵值-TOPSIS法的国有企业内部经济责任审计评价体系研究[J],中国内部审计(2),18-26

[6]赵敏彤,2021:数字化转型赋能电网企业高质量发展策略研究[J],企业改革与管理(3),214-216