本节目标
1.了解社会情感学习中基本的监测与评估方法。
2.掌握社会情感学习监测与评估方案的设计与实施。
活动1 社会情感学习监测与评估的主要方法
【活动目标】
了解社会情感学习监测与评估的主要方法。
【活动时间】
20分钟。
【活动材料】
小型便笺纸、大白纸、胶带。
【活动方法】
头脑风暴、小组研讨、集体分享、讲授。
【活动过程】
①分组讨论:常见的监测活动有哪些类型?各类型功能是什么?各类型中的主要方法是什么?填写表8-3(写在大白纸上)。(10分钟)
表8-3 常见的监测活动
②全班分享。(5分钟)
③培训者进行总结提炼,并给出社会情感学习建设中不同活动所采取的相应监测与评估的活动类型。(5分钟)
【活动提示】
①培训者将参训者按5~7人随机分组,各组承担一个监测活动类型的研讨。
②培训者重点解读,基于前面各章节中的标准(愿景、目标)来判别与现实存在哪些差距,这里的标准(愿景、目标)就是监测与评估的指标。例如,监测学生社会情感能力,可用第二章得出的学生社会情感学习标准(愿景),通过问卷、座谈、行为测验等方法来进行对比检测,从而得出存在的差距或问题;又如,培训者强调针对学生、教师、校长的社会情感能力发展,可以依据活动目标、活动过程为指标来监测,采取“定期的监测信息收集”方法进行监测。
【阅读材料8-2】监测与评估的主要方法
(一)常见的监测活动
①基线调查:在活动之初,对目标人群(社区)的情况进行调查,收集与活动相关的信息。基线调查是分析、设计活动和将来评估活动影响的基本依据。具体方法包括调查访问、小组访谈、回顾相关资料等。
②定期的监测信息收集:在活动执行阶段,通过各种管理性记录或专门设计的反映活动目标实现情况的表格(监测报表),持续地了解并分析活动执行情况,提出潜在问题及其解决方案,并为计划活动提供依据。
③现场调查:除了记录和报表反映的信息外,活动人员有时候还需要深入现场收集额外的信息。
④监测报告:活动执行团队定期对监测的信息进行整理、分析并成文提交给相应的部门或负责人。监测报告应在各活动相关方之间形成分享和反馈。
⑤监测会议:定期召集相关人员就阶段性监测结果进行分享和讨论。
(二)如何确定监测的内容、方法和负责人
建立监测系统的常用工具之一是指标计划。指标计划首先需要根据活动目标确定重要的指标,进而对指标进行定义,明确目标值,然后选择合适的数据收集方法和频率,明确相关的负责人员。
(三)活动评估的内容
①以实施活动作为指标,评估活动付出的努力。
②以活动方式和产出作为指标,评估活动的效率。
③以与最初比较产生的变化作为指标,评估活动带来的影响和变化。
(四)活动评估的基本方式/方法
活动评估可分为内部评估和外部评估。内部评估由机构或小组内部执行。外部评估通常有外部人员(利益关系人)的参与。
(五)建立有效的活动监测与评估的关键步骤
①指定专人负责监测与评估工作。
②在活动的具体工作计划中纳入监测与评估的内容。
③在活动开始的时候,对团队进行监测与评估的培训。
④制订一个指标计划来辅助建立监测与评估的系统。
⑤确定数据收集和管理的过程。
⑥定期召开会议,反思监测与评估的数据。
⑦向目标人群和其他利益相关方通报活动结果。
⑧开展活动基线调查和最终评估。
(六)学校监测与评估工作的主要步骤
1.准备阶段
①成立组织。成立由学校主要领导及各部门负责人与教师、学生、家长、社区代表参加的小组,一般由5~7人组成,校长任组长,负责学校监测与评估工作。
②培训人员。组织小组成员学习,并明确监测与评估的目的,熟悉监测与评估的程序、指标体系,掌握监测与评估的标准和评判要求、统计方法。
③制订计划。对监测与评估的内容进行人员分工,明确各阶段的工作任务及相应的日程安排。
2.实施阶段
①宣传动员。召开教职工会议,全员学习监测与评估的目的、目标及结果用途。
②收集信息。依据监测与评估的指标体系,利用信息收集表,通过座谈、访谈、问卷调查、查阅资料等多种方式获取信息。
3.总结阶段
①汇总信息。小组分析、归纳并做出监测与评估的结论。
②撰写报告。根据学校结论总结经验、发现问题、制定对策、完成报告。
③公布结果。将报告向相关人群公布。
活动2 社会情感学习监测与评估方案的设计与实施
【活动目标】
掌握设计和实施社会情感学习监测与评估方案的过程和方法。
【活动时间】
40分钟。
【活动材料】
小型便笺纸、大白纸、胶带。
【活动方法】
讲授、头脑风暴、小组研讨、集体分享。
【活动过程】
①培训者讲解:结合第三章表3-3讲解如何制定学校社会情感学习监测与评估方案。(10分钟)
②分组讨论:分成六个组,每组结合表8-4,讨论填写出相应学校社会情感学习监测与评估方案,写在大白纸上。(20分钟)
表8-4 学校社会情感学习监测与评估方案
续表
③全班分享。(10分钟)
④培训者总结。(10分钟)
【活动提示】
①培训者以 “某某项目或活动”监测与评估实施方案为例,讲解方案的基本结构。
②培训者讲解表8-5,并引导参训者撰写其他活动的监测与评估方案。
【阅读材料8-3】学校社会情感学习建设实施方案制定与实施的监测与评估方案
表8-5 社会情感学习学校监测评估方案(示例)
续表
本节要点
1.了解监测与评估的基本方法。
2.对不同监测与评估的对象、内容选用不同的方法。
3.只有制定好监测与评估方案,才能保证监测与评估的有效实施。
本节思考题
1.在设计监测与评估方案时,要注意哪些主要问题?
2.拟定一个本校社会情感学习建设的监测与评估方案。
【拓展阅读8-1】监测与评估的常见方法
(一)结构化访谈
1.结构化访谈概述
每个被访谈者都会被问及提示单上一系列准备好的问题,以鼓励被访谈者从另一个角度看待某种情况。所谓结构化,一是过程的结构化。在起始阶段、核心阶段、收尾阶段,访谈者要做些什么、注意些什么,要达到什么目的,事先都会相应策划。二是试题的结构化。在访谈过程中,访谈者要考察主要提哪些问题,在什么时候提出,怎样提,在访谈前都会做出准备。三是结果评判的结构化。从哪些角度来评判,等级如何区分,甚至如何打分等,在访谈前都会有相应规定,并统一标准。
用途:如果人们很难聚在一起参加头脑风暴法讨论会,或者小组内难以进行自由的讨论活动,结构化就是一种有用的方法。这种方法的最主要用途是识别风险或评估现有风险控制措施的效果。它们可以用于某个项目或过程的任何阶段。它们是为利益相关者提供数据来进行风险评估的有效方式。
2.结构化小组访谈原则
①问题能够被参与者理解。
②问题简单而清晰。
③问题和日常对话一样口语化。
④问题能够容易被记住。
⑤问题应该是开放式的。
⑥每个问题只针对一件事情。
⑦举例应慎重,以避免误导受访者。
⑧避免直接问“为什么”,如果有必要,应该改为这样的表述“……的原因是什么”,以此对原因能够有更深入和更大范围的了解。
⑨问题应该在清晰而全面的考虑之后再设计,以此让参训者以明确的方式来回答。
3.访谈时的问题顺序
①开始:每个参训者简单进行自我介绍。
②介绍性问题:建立参训者与讨论话题之间的联系。
③过渡性问题:作为连接介绍性问题与关键问题的桥梁,这些问题比介绍性问题更为深入,介绍性问题的目的是引出讨论话题,而过渡性问题旨在将参训者与讨论话题真正联系起来,这个时候,参训者开始接受其他人分享的观点。
④关键问题:是焦点,小组访谈的核心。
⑤具体问题:培训者可以要求参训者在某些特定的点上对此进行比关键问题更为深入的讨论。
⑥收尾问题,要求参训者进行总结,并确认之前问题的答案。
⑦最终问题:参训者被要求提出自己关于讨论话题的建议和意见,如“你认为还有哪些问题是应该讨论而我们今天没有提到的”。
4.结构化小组访谈方法
培训工作中可安排一个人在小组访谈中负责当“培训者”或“调解人”,一个人当“记录员”。如果没有人担任记录员的话,培训者可以兼任或者使用录音的方式来记录讨论过程(前提是征得小组成员的同意),最后再通过听录音的方式将评估表填写完整。(见表8-4)
访谈一般安排在培训结束一段时间后再进行。这时候参训者已经对自己的所学进行了反思,并且在实践当中将其运用。这样,他们对问题的回答将提供培训对于他们行为产生影响的证据。这些证据将补充培训后问卷调查的结果,这些问卷调查是在培训阶段结束时让参训者填写的,此时培训在他们脑海中仍然非常清晰。
结构化访谈以4~6人小组为佳。应该向参训者解释清楚,这些问题与培训前和培训后的问卷调查里的题目是相同的,问题设计的目的是帮助他们思考从培训中学到了什么。访谈不是为了检验他们的记忆力,而是为了评估培训项目。
在使用所提供的具体问题之前,培训者可以询问参训者,自从参加培训以来他们做了什么事情,他们觉得从培训中学到的最有用的东西是什么。接下来,培训者可以按照访谈表上的问题继续提问,同时记录员应该对参训者的回答进行记录。
最后,培训者可以询问参训者,他们计划下一步要做什么以继续促进自身的专业发展,并对他们为项目评估所做的贡献表示感谢。
5.结构化小组访谈用表举例
表8-6 结构化小组访谈
(二)以问题解决为中心的方法(solution focused questions)
以问题解决为中心的方法,即聚焦于解决方案而不是问题上。使用以问题解决为中心的方
法有利于使监测与评估的过程成为一项积极的体验,并激发参训者的信心。
等级标尺(scaling)在测量变化方面非常有用,而对变化的测量可以成为激励进一步的积极变化的关键工具。当参与者感受到越大的进步时,就越明白自己在向前走,就越能意识到自己控制问题的能力,他们就会更加愿意去做与之有关的事情。
等级标尺问题应该作为对培训目标进行前测和后测的基础。例如,“在一个0~10的等级标尺上,0代表完全没有知识/理解/技能,10代表一个人能够达到的最高能力水平。那么在参加本课程学习之前,你会如何给自己的知识/理解/技能评分?”
很少有人会在这个题目上评0分。这时通过提出下列问题,你便可辨识出他们的优势和获得提升的领域:“为什么你没有给自己打更低一分?”由此引出回答:“因为我已经学会/能够做……”“你还需要学习什么来获得更高一分?”由此引出回答:“我想要知道/学会如何……”
(三)柯氏四级评估模式
唐纳德·柯克帕特里克(Donald Kirkpatrick)提出评估的四级阶段。每一个项目或每一个活动的监测与评估应该将所有这四个阶段纳入。柯氏的四级评估模式如下。(见表8-7)
①反应评估:参与者对于培训或活动的想法和感受(满意程度)。
②学习评估:知识或能力的增加和提升程度。
③行为评估:行为和能力的提高和运用程度。
④结果评估:参训的绩效对该机构的长期影响。
表8-7 柯氏四级评估模式的基本结构
阶段1和阶段2可以通过在培训的不同阶段对学习进行监测与评估来完成。
阶段3和阶段4可以通过在学校回顾评审过程中对学校取得的成果所进行的监测与评估来完成。