当前位置:首页-->咨政建言-->政策详情

政府购买公共就业服务绩效评估指标体系研究

作者:魏雨林,郭俊华  时间:2016-06-03

20世纪80年代,西方发达国家面临着经济滞涨、失业率上升等问题,提升公共就业服务的效率成为政府改革的重要目标之一,为此英国执政党工党率先提出了“工作型福利国家”,开始向当地盈利机构购买就业服务,政府购买公共就业服务第一次正式得以实践。

20世纪90年代,我国上海等部分发达地区开始尝试政府购买公共服务。时至今日,政府购买公共就业服务成为中央及地方政府的公共服务改革的重要思路。同时,随着我国从管制型政府到服务型政府的转型,绩效评估的客体已经从对于机构和工作人员的绩效评估转向对于服务的效率、质量、公平性进行评估,如何构建适合我国国情的政府购买公共服务的绩效评估指标体系成为了理论和实践领域共同关注的焦点。

该领域研究在数量上,国内学者对政府购买公共就业服务及其绩效评估均涉及较少,更多地集中于养老和助残服务;在研究方向上,国外研究大多集中于对现有体系是否公平有效做出探讨,国内研究则关注于政府购买就业服务的理论依据和国外实践借鉴;在研究方法上,进行指标体系构建的文献中,将其指标进行实证检验的研究数量较少。本文针对购买就业服务的绩效指标,参考国内外经验构建指标体系,并将其进行实证检验,得出了最终的指标体系。

一、中国政府购买公共就业服务及其绩效评估的现状分析

目前,学术领域对于政府购买公共服务绩效评估指标的研究,国内学者主要有两种一级指标设计方法。第一种是“效率、效果、经济、公平”(4E)及其衍生的指标体系。第二种是传统政府绩效评价模型—“投入、产出、结果”(IOO)为一级指标构建的评估体系。

针对政府购买公共就业服务的绩效评估,国内大部分研究主要集中于对国外的实践经验和绩效评估的理论进行对比、探讨和建立绩效标准的必要性上,研究提出的建议较为宽泛,没有针对性的指标体系设计与检验。

近几年,我国政府购买公共服务的绩效评估指标体系的构建取得了很多成绩,2014年财政部、民政部、工商总局联合制定了《政府购买服务管理办法(暂行)》,随后地方各省市也随之发布了相应的政策文件。民政部发布的《社会工作服务项目绩效评价指南》为政府向社会组织购买服务绩效评估提供了标准。但是,针对购买公共就业服务绩效指标的政策文件数量较少,仅有江西、安徽等地发布了专项实施办法。

通过梳理我国中央到地方各省市有关政府购买公共服务和公共就业服务绩效评估相关的26份政策性文件,总结并对比13个在指标体系相对完善的省市的一级、二级、三级指标,本文得出大部分省市政府购买公共服务指标可以分为绩效目标实现程度、项目管理情况、财务状况、服务质量(包括满意度)、项目社会效益、人力资源管理状况几个方面,也有少数城市从事前、事中、事后、满意度方面进行指标设置。

虽然我国大部分省市均发布了政府购买公共服务绩效评估相关的指导性文件,但是将指标具体化的省市相对较少;对于购买公共就业服务的专项绩效评估整体实践仍然不够广泛。在指标设定方面,则存在如下的问题。第一,指标之间逻辑性不强,整体不符合系统性原则。第二,部分指标设定不符合可衡量性和具体性的要求。如上海杨浦区、杭州下城区指标中社会动员能力、项目可持续发展能力、项目对社会的影响等指标过于宽泛和主观化,没有明确的测量和评估标准,不符合“具体的、可达到的、期限明确的、可衡量的、相关的”3SMART绩效指标设定原则 。第三,指标体系中机构管理评估比重较高,对于直接服务结果的评价指标较少。随着我国政府向服务型政府转变,政府购买公共服务绩效考核重点应该侧重于服务,但是大部分省市的指标设定在组织领导、组织制度等方面比重偏高,对提供的公共服务效果和结果的测量比重较少。第四,满意度测量缺乏细分指标,总体满意度评分较多。第五,指标权重设定未经科学测定。

二、政府购买公共就业服务绩效评估指标体系的理论构建

(一)发达国家购买公共就业服务绩效评估经验

澳大利亚政府绩效指标体系包括效率、效果、质量三个关键绩效指标,并依据绩效评分进行星级评定。效率指标是对最终推荐人数、实现13周完全就业目标花费的时间进行考察;效果指标包括工作安置比例、12周完全就业、在途结果人数比例、26周完全就业人数比例、持续性帮助人数比例等;质量指标的二级指标有服务提供的质量、个性化程度、投诉率等。英国的公共就业服务采用最低绩效水平方法,通过历史数据计算出在没有就业计划的情况下就业成果的期望数量—“不干预绩效水平”,最低绩效水平会在此基础上增加10%。荷兰政府绩效评估指标体系则由激活、保证收入、滥用、实施四项一级指标构成,其中激活指标包括从最低救济金申领到投入工作的数量、单亲父母投入工作的数量、少数种族投入工作的数量等。

发达国家购买公共就业服务绩效考核指标具有如下共同点。第一,绩效指标覆盖服务从开始到结束、服务后续影响的全过程。例如澳大利亚“初始最终推荐比”“13周、26周完全就业结果”“持续性支持和帮助”。第二,实现就业或摆脱失业是绩效考核的核心指标,也是政府购买的关键目标,此类指标譬如澳大利亚“带薪工作安置比率”、英国“12个月最低就业成果数量”等。第三,发达国家对于公共服务提供的公平性非常重视。澳大利亚为防止出现“抽精取渣(Creaming) 的公共服务分配不公平现象,将求职者按照实现就业的难度进行分级,最难找到工作的人群在每项指标打分中占有最高的权重;荷兰通过“少数种族投入工作人数”等指标体现出对弱势群体的关注。第四,精确、定量的绩效分数计算,是基于完备的数据信息系统的。澳大利亚政府为保证星级评定的公平和客观,采用了一套极为复杂的控制不同地区劳动力市场情况等变量的方法,而这是建立在完备的信息系统之上的;英国“不干预绩效水平”的计算,也需要一个按照地区、人群划分的详细数据库。

具体指标设置方面,借鉴国外专家对欧洲几十个国家公共就业服务绩效评估指标的研究,各国指标体系基本包括三个部分:投入、产出、结果,其中产出包括完成的任务数量、过程质量等,结果可以划分为中间结果、最终结果。

(二)绩效评估初步指标体系的构建

依据美国国际开发署的逻辑框架法模型(logical frameworkapproachLFA)以及发达国家的相关研究,综合考虑了购买过程全面覆盖、绩效指标客观详尽等因素,本文以“投入、产出、结果”作为评估体系的一级指标。二级指标设计则结合了我国中央及地方指标体系、发达国家对服务质量和就业结果的关注等因素。本文基于可操作性的要求,参考各省市现行三级指标、国际劳工组织对公共就业服务绩效的研究以及发达国家的指标体系,确定了三级指标。其中,服务满意度方面,依据美国顾客满意度模型(American Customer SatisfactionIndexACSI)的政府评价修正模型,通过感知质量、顾客期望、顾客抱怨、顾客信任四个维度,结合服务公平性、人性化等公共服务价值取向,得出测评服务满意度的三级指标。

在投入方面,部分省市将人力资源管理、财务状况作为投入类的二级指标,并增加了欧洲多个国家现有体系中的共性指标—“时间投入”。资金投入包括支出合规性、支出合理性、预算调整,其中支出合理性判断标准是指依据服务总目标,项目支出中各部分所占比例是合理的。人力投入包括一线人员比率、专业人员比率、工作人员培训课时、志愿者培训课时,专业人员比率是指工作人员中具有专业职称的人数所占比例。时间投入则通过每个工作人员投入该项目的工作时间和项目进度与计划一致性进行测评。

在产出方面,参考英国政府绩效考核体系,将服务完成的数量、服务完成的质量均纳入到产出的考核之下,其中产出质量评估划分为服务对象满意度和服务相关方满意度,同时增加了服务基本情况二级指标。服务基本情况是指实际服务内容、人群、方法与目标书计划是一致性的。服务数量包括服务完成人数、服务频次、服务时间,均指的是实际服务人数、每人频次、每人时间达到项目目标书要求。在服务对象满意度中,感知质量从服务及时性、公平性、人性化、准确性四个方面进行指标设定,例如,其中服务等待时间是指服务对象从登记到开始第一次服务的等待时间,服务覆盖率是指项目服务人数基本覆盖该地区该项所有服务受众群体,个性化服务判断标准为服务针对不同需求和个人情况做出不同的调整和设计;顾客预期包括期望数量和期望质量,即每月提供就业服务实际次数、时间、质量水平和期望相比的满意度;顾客信任通过服务对象请求替换服务人员次数测量;顾客抱怨则通过投诉率、投诉结案率测量。

在结果方面,鉴于发达国家在各种就业服务对实现就业目标达成的共同关注,本文的指标体系也添加了包括摆脱失业人数、和上海平均工资相比的就业工资水平、就业持续时间在内的“就业结果”作为该项目的直接就业影响指标;同时,类似于国外指标体系中的服务后持续性帮助、服务后政府补贴下降人数等指标,本文也添加了“社会效应”来考察该项目的后续服务和间接影响。

(三)绩效评估指标体系的修正与权重设计

为了进一步确定单项指标设置是否合理,本文采用专家意见咨询法进行指标的筛选,精选了10位均在相关领域具有五年以上实践或理论经验的专家进行问卷调查,来综合考虑指标删除或修改意见、重要性打分均值以及变异系数的大小,最终删除了原有体系中的“支出合规性”“工作人员培训”“志愿者培训”“领取低保人群比例”“要求更换服务人员次数”,添加了新指标“工作人员及志愿者培训”。

指标权重的设计采用专家评定法,即计算专家指标重要性评分的平均数的方法,并通过一级、二级指标层次分析法补充问卷对专家打分进行双重检验。按照满分100分将所有专家对一级指标的评分加权平均分配分三、政府购买公共就业服务绩效值,再按照每个二级指标平均评分所占权数评估指标体系的实证检验计算其分值,以此类推,最终确定该体系各指标的绝对权数。最终构建的指标体系及其(一)项目评估过程及结果权重。

三、政府购买公共就业服务绩效评估指标体系的实证检验

(一)项目评估过程及结果

本文以共青团杨浦区委员会购买“橙色阳光”就业困难青少年扶助项目作为实证检验项目,参考项目中期自评报告、第三方评估结项报告、事务中心网站信息以及工作人员电话访谈,运用本文指标体系,以第三方评估机构的视角对该项目进行绩效评分,其中指标的评分标准和赋值参照了《社会工作服务项目绩效评估指南》评分细则。

由于“ 服务时间”“ 服务对象等待时间”“服务实际次数满意度”“服务实际时间满意度”指标以及就业结果部分,无法获取具体数据和相关信息,故暂不列入本项实证检验,从而对指标权重进行重新分配,得出该政府购买青少年就业服务的绩效打分表及其结果。

上海市杨浦区该项目绩效评估总分为83.4分,总体绩效表现比较优异。第一,投入得分率为67.1%,表现一般,资金、人力投入表现不佳,但时间投入表现较好。项目资金使用分配不合理、预算调整比例不低,体现该项目将大部分资金投入到了宣传方面,而“服务”本身支出相对不足;项目专业人员比率较低。第二,产出得分率92 . 0 % ,表现非常优异,但服务对象满意度中,沟通频率表现一般;和总目标人群数量相比,服务覆盖率太低,“ 公平性” 没有得到保障;服务质量实际满意度和服务对象预期相比,表现比较差,原因是没有进行有效的事前调查,不能满足服务对象的真正需求和期望。第三, 结果得分率90 . 4 % , 表现非常优异,社会效应方面表现非常出色; 持续性帮助上,项目能够保持活动后一年内持续的联络和帮助,成为该项目的优势之一。

总体来看,上海市杨浦区政府购买青少年就业服务项目表现优异,但是也存在项目资金分配不合理、预算调整比例较高、专业人员比例偏低、服务对象满意度不够高的问题。

(二)评估过程中发现的问题

由于项目信息中缺乏若干指标的具体数据,一定程度上体现了政府购买服务在这些方面仍不够重视,结合该项目绩效评估结果,可以得出政府购买就业服务、现行绩效评估体系存在以下的问题。

第一,过于重视服务产出,忽视了服务的结果就业。项目目标书对服务实现就业人数没有作出要求;绩效评估结果也缺少有关该项目就业人数、岗位、工资的统计数据。对“实现就业”的忽视,和发达国家公共就业服务绩效评估形成了鲜明的对比,这反映出我国政府购买公共就业服务仅仅关注服务的完成, 但是却忽视了服务最终的目标。

第二, 过于重视产出数量, 忽视产出质量,尤其是服务对象满意度。各项服务完成人数、服务频次等评分很高,但是产出质量中最关键的“服务对象满意度”则关注较少。一方面,服务对象满意度信息缺失较多且缺少细分指标,服务操作失误率、投诉率等数据也没有在现行评估体系中得以体现,这反映出现有体系对服务对象的评价仍然不够重视;另一方面,绩效评估结果中,服务覆盖率、沟通频率、服务实际质量和期望相比的满意度,表现不佳,反映出服务的公平性、人性化仍有提升空间。

第三,对于投入不够重视,缺乏投入的定量指标和数据统计。资金投入绩效表现不佳,人力投入绩效评分一般,时间投入数据缺乏。资金的利用和分配不够合理,预算调整偏高,专业人员比率较低,同时,一线人员比例、人员培训课时、工作时间投入缺乏定量数据信息,进度与计划一致性也缺少分阶段的进度规划,这些都体现出目前体系对于项目的投入方面缺乏足够的关注。

第四,项目报告定量数据较少,定性较多。除了服务人数、频次进行了定量的测评外,其他指标均通过文字性描述进行主观判断打分。因此,我国政府在各项数据搜集、统计、发布方面有待改善。例如,对于政府购买服务工作人员人数、培训时长,实现就业人数、就业工资水平、就业持续时间等,都需要政府构建网上数据发布平台并随时更新发布上述信息,才可实现定量的绩效评估。

四、完善我国政府购买就业服务及其绩效评估的对策建议

(一)增加定量指标,定性与定量相结合

我国大部分省市现行绩效评估体系以定性、主观打分的指标居多,难以确保绩效评估客观公正,也使得同类服务项目很难相互比较。合理运用定量指标可以更加精确地体现购买服务的效率和效果,也能使政府购买公共就业服务的绩效水平以更加清晰的方式展现给公众。

(二)提高服务质量权重,细化服务对象满意度指标

我国很多省市虽然提高了绩效评估体系中服务对象满意度评分所占权重,但是却没有将满意度指标进一步细化。一方面,服务满意度的测评应该细分为服务次数满意度、时间满意度、质量满意度等;另一方面,不能仅通过主观打分确定满意度,能够体现或影响满意度的客观指标也应该纳入满意度的第三级指标中,如本文的服务对象平均等待时间、服务投诉率等。

(三)注重就业结果,增加实现就业结果指标

公共就业服务的最终目标是实现就业,提高对就业结果的关注,有利于我国向结果导向的公共服务绩效评价体系转变,具体而言,可以构建就业数据收集处理信息平台,同时制定类似澳大利亚的阶段性就业目标。

(四)提高就业困难群体评分比重,提升评估公平性

为了确保公共服务供给、绩效评估体系的公平性,可以参考澳大利亚、荷兰政府经验,将失业人群按照失业时长、是否残疾等划分就业困难等级,同类服务对象接受的服

务具有可比性,就业难度大的服务对象在每项指标打分中占据更高权重。

(五)确定科学合理的评分标准和打分标尺

打分标尺和评分标准的准确设定,对于确保绩效评估体系科学有效具有重要意义,依据上海市杨浦区实证检验结论,本文的指标评分标准和打分标尺均应做出调整,“支出合理性”改为“支出分配合理性”,增加“项目单价合理性”;而且项目考核结果发现专业社工人数不多,所以可以适当调低“专业人员比率”的打分标尺选项数值,也可以通过后续调查确定上海市平均专业人员比率,再依此设置选项范围。

(六)多措施完善购买公共就业服务绩效评价系统

第一,不同种类公共服务的特质和关注点不同,应制定专项的购买就业服务绩效评估办法。第二,完善政府购买公共服务法律体系。《采购法》不能完全满足政府购买公共服务独特的供应商要求、服务理念,国家层面上,应制定政府购买公共服务专项法律,明晰购买程序、评标标准、绩效评估等。第三,促进绩效评估主体多元化。为了确保绩效评估的公平性,需要在项目评估中综合考虑多方评价,购买部门责任落实到个人,服务对象及第三方机构评估不受干扰,公众媒体监督畅通无阻。第四,构建数据信息平台,建立信息公开制度。定量指标的计算非常依赖一个完备的数据发布平台,建立及时更新的、细分到区县和各类人群的就业统计系统,并构建以购买项目为单位的数据公布平台,同时增加信息公开主体,促进社会公众监督。

(作者:魏雨林,系上海交通大学国际与公共事务学院研究生;郭俊华,系上海交通大学国际与公共事务学院教授、博士生导师)


今日推荐更多
广告
相关政策更多
广告
政策书籍更多<
无缝交接
¥42.00
2016民生散文选
¥52.00
雪又白
¥38.80
北漂诗篇
¥68.00
视频推荐

右下广告

广告