常见的慈善项目评估工作包括过程评估与成果评估。
简单的过程评估是以项目的监测数据为基础,评估项目是否按计划的内容、进度和预算开展活动。过程评估可以说明是否完成了要做的事,但不能说明是否实现了要产生的改变和影响。如果配合质性研究方法,过程评估也可以对项目进行优化和改善。
成果评估是根据项目设计的目标成果影响来评价项目是否有效,如果项目在设计之初没有清晰的目标,则难以判断成果的质量。成果评估可以说明开展慈善活动后是否出现了预期的成果。如果要证明预期的成果完全是慈善活动造成的,则需要使用随机干预实验的影响评估。影响评估成本高昂,通常用于国家层面的政策试点。
在选择评估方法之前,至少需要思考以下问题:
1.希望通过这次评估获得哪些提升和学习?
2.这次评估需要收集哪些信息?
3.谁最适合负责收集信息并进行分析?
4.访谈、焦点小组、问卷调查,哪种方法更适用?
5.评估结果的主要目标读者有哪几类?
6.以何种形式对评估结果进行不同程度的分享和传播?
常用评估框架:
1.经济合作发展组织发展援助委员会(OECD-DAC)评估标准(6)
OECE-DAC的评估标准包括5个方面:相关性、效果、效率、影响、可持续性。
相关性,衡量项目活动在什么程度上符合目标群体和相关方的需求。需要回答的问题包括,这个项目的目标是否合理、是否成立?项目设计的活动与产出是否与要达到的目的及最终目标一致?
效果,衡量项目活动在什么程度上达成了目标,也就是要回答项目是否完成了预计的活动和产出。具体到我们的项目,就是是否完成了计划的培训,是否实现了培训促就业的目的,完成或没完成受到哪些因素影响。
效率,项目的投入产出是否采取了最低成本的方式,在所要求的时间内,来实现同样质量的产出?是否通过管理监测机制来保障项目质量?
影响,衡量项目直接或间接造成的改变,这可能是计划内的,也可能是计划外的。从经济、社会地位、环境等方面考虑受益人的变化。
可持续性,指项目的成果和影响是否会随着项目结束或资助停止而消退,受哪些因素影响。
2.CIPP评估模型(Context, Input, Process, Product)(7)
CIPP评估模型由四项评估活动的首字母组成:①背景评估(Context evaluation);②输入评估(Input evaluation);③过程评估(Process evaluation);④成果评估(Product evaluation),简称CIPP评估模型。这四种评估为决策的不同方面提供信息,所以,CIPP模型亦称决策导向型评估模型。CIPP评估模型为项目、工程、职员、产品、协会和系统等的评估提供了较全面的指导,尤其是那些准备长期开展并希望获得可持续性改进的项目。
背景评估的内容界定为:了解相关环境、诊断特殊问题、分析培训需求、确定培训需求、鉴别培训机会、制定培训目标等。其中确定培训需求和设定培训目标是主要任务。
输入评估包含的事项有:收集培训资源信息、评估培训资源、确定如何有效使用现有资源才能达到培训目标、确定项目规划和设计的总体策略是否需要外部资源的协助。
过程评估的目的是为那些负责实施培训项目的人们提供信息反馈,以及时地、不断地修正或改进培训项目的执行过程。过程评估主要通过以下方式得以实现:洞察培训执行进程中导致失败的潜在原因,提出排除潜在失败原因的方案;分析培训执行进程中导致失败的不利因素,提出克服不利因素的方法;分析并说明培训执行中实际发生的事情和状况;分析并判断它们与目标之间的距离;坚持在培训执行过程中提供有关既定决策和新的决策等。
成果评估的主要任务是对培训活动所达到的目标进行衡量和解释,其中包括对所达到的预定目标的衡量和解释。特别需要认定的是,成果评估并不限于培训结束以后,它既可以在培训以后进行,也可以在培训之中进行。