远程教育课程评估

随着以E-Learning 为主的远程教育手段在德国各 级各类教育中的广泛应用，为了加强对远程教育质量的 管理与监控，保障学习者的利益，2004 年12 月，来自德 国联邦职业教育研究所（Bundesinstitut fuer Berufsbildung） 和中央远程教学办公室（Staatliche Zentralstelle fuer Fernunterricht）的专家组成的课题组推出了《远程 教育课程认证指南》（Leitfaden für die Begutachtung von Fernlehrg覿ngen），[1][2]之后对它进行专家评估，并在实践 中加以应用、不断改进，于2009 年1 月发布了新版本的 认证指南。认证指南主要用于远程教育课程的外部质量 评估，而外部评估由德国国家远程教学中心根据德国远 程教学保护法来实施，是德国远程教育课程（含普通教 育、职业教育、各类指导教学等的远程教育课程）推向市 场前获得许可证所需要的一个重要的审查环节。尽管这 个认证指南也可以作为远程教育机构在课程开发和教 学实施过程中进行内部质量监控的参考依据，但它过 于全面细致（整个认证指南有54 页），不便于在一线 远程教学工作中使用， 所以在2009 新版本的认证指 南的基础上，2009 年11 月，德国远程及电子学习论坛 的教育工作组下属的评估工作小组推出了相对简要的 《远程教育课程评估（Evaluation von Fernlehrg覿ngen）》 指标体系，[3]供内部质量评估使用。为了更好地学习借 鉴这个远程教育课程内部质量评估指标体系，以下将 分析其总体结构和内涵，总结归纳其特点，然后指出 它带给我国远程教育及其评估的启示。 一、总体结构 德国开展远程教育课程内部评估的目的是总结工 作经验，根据实际情况来客观评估远程教育的过程和结 果， 更好地理解与建构对远程教育课程的有效监测、控 制和反思。[4][5]《远程教育课程评估》指标体系是一个三级 指标体系，其中的一级指标、二级指标和三级指标均与 2009 版的《远程学习教育课程认证指南》中的指标体系 相同，但认证指南只提供了每一级指标的考察重点和考 察提示，而评估指标体系则更加细致，为每级指标提供 了以下四个方面的信息：[6] 1.需要澄清哪些问题，即每一项评估指标的主要考 察点有哪些； 2.信息收集的方法、对象和时间点； 3.评估结果的预定用途，即每一项指标的评估结果 给哪些部门或人员做何用； 4.评估每一项指标及其子指标时应注意的事项。 由此可见，德国远程教育课程认证指南是一个框架 性质的指标体系， 主要提供原则性的意见供使用者参 考，旨在鉴定远程教育课程的各部分质量，而远程教育 课程评估指标体系则是一个很具体的工具，为使用者提 供了如何开展评估的具体执行建议。而且，从其用途中 我们也发现， 评估结果不仅是鉴别远程教育课程的质 量，还用于远程教育机构和教师不断地发现远程教育课 程各个环节存在的不足和改进的需求， 体现了以评促改、以评促建的宗旨。 从总体结构来看， 这个评估指标体系与认证指南 的第一部分“课程设计”一样，由六个一级指标组成，它 们分别是：课程目标（Lehrgangsziele）、目标群体（Zielgruppe） 、教学策略（Didaktischer Ansatz）、教学实施 （Umsetzung des didaktischen Ansatzes）、教学指导（Betreuungsrahmen） 和课程效果（Lehrgangsergebnisse）。[7] 其中，对教学实施过程的评估是整个评估体系的重点， 不仅从课程目标与结构、学习场所与媒体、考试准备三 个方面来考察， 在学习场所与媒体这一部分具体又划 分为自主学习、面授和在线学习三个阶段来考察，每个 阶段的性质不同，其考察侧重点也各不相同。可见，这 个评估指标体系是根据教学实施过程来开展评估的， 重在监控过程质量。 二、指标的内涵说明[8] （一）课程目标 对课程目标这个一级指标，主要从“课程目标或学 习目标的选择”来进行评估，具体内容为：课程各部分 内容或各部分能力要求是否符合学习者的需要， 是否 有其他的学习需求。评估数据分两个阶段来收集：准备 阶段的专家调研和课程结束时对辅导老师和学习者的 调查。必要时还会对学习者进行后续跟踪调查。评估结 果主要用于消除新课程在规划方面的不确定性， 以及 为开发新课程、更新或修改现有的课程提供必要信息。 在开展课程目标评估时需要注意以下事项： 1.区分新课程与旧课程，区分课程考试是全国统 考还是学校自命题考试。 2.如果课程目标是学校自行设定的，那么，它是否 面向劳动力市场需求、客户需求、课程建设的资助单位 的需求以及学习者的需求？ 3.在招生咨询阶段和所印发的宣传资料上，学习 目标的选择和表述是否有错误或有歧义， 是否会令学 习者误解？ （二）目标群体 目标群体这个一级指标从四个方面来评估：（1）总 体情况（学习基础，相关背景）；（2）动机；（3）选课建议； （4）宣传资料。 对“总体情况（学习基础，相关背景）”的评估旨在了 解“课程计划中对目标群体的描述是否与学习者群体的 特征吻合”，在开学前收集和分析学习者数据，必要时进 行预测以及帮助学习者进行自我评估来获取相关数据。 主要目的是对课程教学进行监控及方便课程营销。 需要注意的是，开展本项评估时要收集对学习过程 有影响的各类用户数据，包括（1）他们的普通教育和职业 培训经历（学习什么内容，学习时间为多长）；（2）年龄和 性别；（3）学习条件（每周用于学习的时间，可供学习的场 所）；（4）工作经历（时间、工作领域等）；（5）学习能力（教 学与学习方法，特别是使用数字化媒体的方法）。此外，还 要求在学习过程中不断地更新学习者的数据。 “动机”这一评估点主要考察学习者的学习动机和 学习期望。数据收集分两个阶段进行：（1）开学初调查 学习者（在第一次接触时电话调查或在第一次面授课 时调查）；（2）学习中期调查学习者。主要目的是为了更 好地监控教学过程。对“动机”的评估需要结合第六个 一级指标“课程效果”中的“学习者满意度”和“学习成 绩”的评估结果来综合考虑。 对“选课建议”的评估主要集中在“建议是否充分 考虑学习者的立场？ 能否或应否改进在学生在选择课 程时所做的自我测评所提供帮助”这两方面。数据通过 课程结束时调查学习者获得。为了保证评估结果的可 靠性，要保证受访学习者都正确理解课程目标。 对“宣传资料”的评估主要集中在“宣传资料或试 读课程（类似国内的体验课程）的说服力是否足够”，通 过学期末调查学习者及指导老师获取相关数据， 也可 以在第一次面授课时开展访谈或咨询， 其结果主要用 于改进课程推广营销，以及修订宣传资料。 （三）教学策略 教学策略主要考察“教学时间安排”，具体为：实际 需要的学习时间与计划中的学习时间是否相符？ 若否， 原因是什么？ 每个学习单元或学习模块结束后调查学 习者获取相关数据， 用来消除新课程在时间安排上的 不确定性。在评估时要注意区分新课程与旧课程、学科 本位课程与行动导向课程，同时要结合一级指标“目标 群体”之“总体情况”、一级指标“指导活动”以及一级指 标“教学实施”中的“学习过程监控”来综合考虑。 （四）教学实施 “教学实施”是远程教育课程评估的重中之重，主 要从三个方面来评估：（1）目标结构及内容结构；（2）学 习场所与学习媒体；（3）考试准备。其中，学习场所与学 习媒体又从自主学习阶段、面授学习阶段和在线学习 阶段来分别评估。 1.目标结构及内容结构 这一指标项评估主要从两个方面来进行：“内容架 构”和“学习资源选择”。 “内容架构”主要考察课程的结构和逻辑顺序是否 合适。课程结束时调查远程教育工作者获取相应数据， 主要目的是弄清楚新课程在时间安排上的特殊性。“学习资源选择”主要考察“学习者能否接受所选 择的学习资源和目标能力”。相关数据通过每个学习单 元或学习模块结束时调查学习者获得， 评估时要综合 考察学习者的应用领域或专业经历。 2.学习场所与学习媒体 这一指标项强调远程教育“课程各要素的相互作 用”。具体内容为：围绕课程目标，从组合程度、功能和组 合顺序三个方面来考虑自主学习、在线学习和面授学习 三者的有机组合程度。相关数据通过课程结束时调查辅 导老师或学生来获取， 必要时在课程中期也开展调查。 其作用是解释清楚新课程的教学安排上的特殊性。 （1）自主学习阶段 作为远程学习的有机组成部分，“自主学习阶段” 主要考察向学生提供的“学习支持服务”。具体的考察 内容为： 为自主学习阶段预设的帮助是否满足学生对 支持服务的需求，例如学习方法方面的帮助、制定学习 计划时的提示等。相关数据通过课程结束时调查学习 者来获取，必要时在学习中期也开展学生调查。其作用 是进一步开发学习指南、入门指导课以及学习方法帮 助。数据收集时请注意，这里所说的支持服务是事先预 设好对学生的帮助，不包括对教职员工的帮助。此外， 要结合一级指标“指导活动”来综合评估。 学习支持服务的质量将从以下两个方面进行考 察：学习材料，学习过程监控。其中，“学习材料”从学 习材料的目标定位和使用对象定位、学习材料的实用 性以及不同需求的学习者对学习材料提出的要求三 个方面来考察。 “学习材料的目标定位和使用对象定位” 主要检 查学习材料上收件人的地址是否正确，学习材料的难 易程度是否符合学习者的实际水平。 “学习材料的实用性” 主要从学习者的角度出发 来考察学习材料的实用性。在每个学习单元或学习模 块结束时调查学习者。评估时请注意学习者所从事的 行业及其职业经历，同时结合第六个一级指标“课程 效果”中“实践转化”的结果来评估。 “不同需求的学习者对学习材料提出的要求”主要 考察教程或学习材料的取向、与已有知识基础的联系、 学习目标是否明确、图表的教学意义是否明显、教程个 别功能的使用、技术质量如何、结构是否良好等。在每 个学习单元或学习模块结束时调查学习者， 目的是要 弄清楚新课程的教学安排上的特殊性。 学习过程监控从控制或观察学习进步、作业的质 量及作业之间的联系、学习效果反馈的质量、作业的数 量、作业的实践性五个方面来考察。 “控制或观察学习进步”主要考察作业是否及时上 交、作业质量是否合格。如果是行为导向课程还要考察 情景作业对学习过程的监控效果如何？ 通过作业的上 交情况及在每个学习单元、学习模块、学期结束时调查 学习者获取相关数据。其结果可以作为课程管理和学 习支持服务的依据，有助于进一步完善学习安排。需要 注意的是，不同的作业有不同的教学功能，有的是监控 学习过程，有的是检查学习进步。同时，通过作业存档 可以实现外部质量保障。 “作业的质量及作业之间的联系”主要考察标准是 作业的语言表达学生能够明白、有清晰的步骤、能促进 学习进步。通过调查学习者、指导老师和作业评改人员 来获取相关信息，此外，还要从作业中常见错误以及学 习者就作业所提出的问题来获取数据。 “学习效果反馈的质量” 的评估标准是学习效果 反馈对学习者来说是可理解的、能促进学习进步的、 符合课程目标的。相关数据通过单元学习结束时调查 学习者获得， 主要用于进一步完善学习材料设计，实 现个性化选择和个性化发展。 “作业的数量”主要考察作业能否促进学习进步？ 作业的量是否足够？ 相关数据通过单元学习结束时调 查学习者和指导教师获得，主要用于进一步完善学习 材料设计。 “作业的实践性”主要考察作业是否理论与实践 相联系。相关数据通过单元学习结束时调查学习者和 指导教师获得，必要时调查实践人员及专家，主要用 于进一步完善学习材料设计。 （2）面授阶段 “面授阶段”是对学生自主学习的重要补充，主要 用于解决学生自主学习及在线学习情况下无法解决的 困难。它将从以下五个方面来考察：面授安排及实施、 课程的内部整合、学习过程质量和教学质量、师资的优 化组合及支持服务、后勤管理质量。 “面授安排及实施”主要考察面授课是否按计划举 行，具体包括：学习者人数、学习者的预先准备、教学安 排时间表、计划好的学习内容和学习方法、课室和教学 设施以及存在问题。其数据获得途径是多方面的，包括 面授结束时对老师的调查、归档的面授课资料、课程评 估结果以及同事的观察结果。其结果可以用于监控教 学过程、改进面授安排、改善学习场所、实现学习者的 个性化选择和个性化发展。 “课程的内部整合”主要考察学习目标和预设的学 习方法是否符合面授课在整门课程中的功能、学习资 源的数量、哪些学习目标还有待深化而哪些不再需要深化、在自主学习阶段或作业阶段需要为面授课做好 哪些准备等。相关数据通过面授课结束时调查教师和 学生获得， 主要目的是解释清楚新课程中安排上的特 殊地方并改进面授安排。 “学习过程质量和教学质量”主要考察对学习过程 的认可度或满意度，包括：课程的理解度，理论与实践 的比例，学习方法多样化，所使用的学习资料、学习媒 体、学习资源，工作氛围与机会，学生提问和疑难。可在 面授课结束时调查教师和学生获得相关数据， 旨在改 进面授安排，实现个性化选择及个性化发展。 “师资的优化组合及支持服务”主要考察教师团队 能否胜任面授辅导工作、面授课的内容和方法是否正 确、与整门课程的学习安排是否构成一体。相关数据在 面授课结束时调查教师获得， 用于改进教师的支持服 务成效。 “后勤管理质量” 主要考察面授期间学习者的住 宿、膳食和相关设施是否安排妥当。通过面授课结束时 调查教师和学生获取相关数据， 用于改善后勤管理的 质量保障 （3）在线学习阶段 在线学习阶段主要考察以下五个方面：技术质量、 信息获取、平台使用、在线辅导的质量、师资的整合和 支持。 “技术质量” 主要考察在线学习是否存在技术问 题，简言之，平台能否正常使用。评估数据来源自对所 负责的学习过程的观察和记录， 主要用于监控在线学 习过程。 “信息获取” 主要考察平台上的信息是否容易识 别，是否具有时效性。主要从学生中获取数据，用于监 控在线学习过程，改进课程平台。 “平台使用”将从两方面进行考察： a.学习者出于何目的用何方法来使用平台上的资 源， 与课程目标是否一致？ 通过在线辅导教师观察论 坛、记录和分析学生使用平台的数据来得到相关数据， 用于改进课程安排。在评估时要注意根据平台是用作 提供选修内容还是作为实现学习目标的必然途径来区 分其重要性。 b.学生认为平台上提供的内容对他们的学习有多 大帮助？还有哪些遗漏？这部分数据通过课程结束时调 查学生获得，用于改进课程安排或平台。 “在线辅导的质量”主要考察课程安排中的学习辅 导与课程目标是否相符？ 数据通过记录和评价教学干 预以及在课程结束或学习单元结束时调查辅导老师和 学习者来获取。其结果用于监控在线教学过程，实现个 性化选择和个性化发展。评估时请注意，这里只是围绕 实现教学目标的平台应用， 即通过平台向学生提供指 导的质量的评估，平台的其他方面的评估不包括在内。 “师资的优化组合及支持服务”主要考察教师团队 能否胜任在线学习的辅导工作， 在线学习阶段的内容 和方法是否合适， 与整门课程的其他部分是否有机整 合。评估数据来自学期结束时对辅导老师的调查，用于 改进支持服务的成效。 3.考试准备 “考试准备”这个二级指标从两方面来考察：一是 考察学生是否做好考试准备工作， 这方面的数据来源 于课程结束时对学生的调查； 二是考察考试准备与学 习者真正的考试情况或考试体验在多大程度上相符， 这方面的数据来源于考试之后对学习者的调查。 （五）学习指导 学习指导这个一级指标主要从以下四个方面来考 察：指导活动、指导结构、指导质量、指导师资的优化组 合和支持服务。 “指导活动”主要考察指导活动由谁来发起，对学 习中遇到的疑难教师是否有提示、何时给提出、是否还 有其他活动等几个方面。数据收集方式为根据事先制 定好的清单由指导人员及辅导老师来记录指导活动。 其作用是促进个体或组织的发展，改进学习材料、面授 过程和学习安排的质量。 “指导结构”主要考察学习过程的指导是否充分。 其数据收集方法为以书面访谈及深度访谈的形式，对 学习者个人或小组展开调查， 并在课程结束时以结构 化访谈调查辅导老师。其结果用于改进课程安排及课 程开发。 “指导质量”主要考察指导过程中教师能否及时反 馈，是否具备专业能力、理解能力和富有工作激情。通 过在学习模块结束后调查学生来获取相关数据。 “指导师资的优化组合和支持服务”主要考察教师 团队组合是否具备提供有效支持服务的前提，包括是否 考虑到课程和学习者的特征、是否考虑到课程的任务和 目标，对课程的任务和目标的界定是否清楚、是否具有 可操作性等。评估数据通过调查辅导教师和教学人员 而获得，主要用于改进支持服务、提高支持服务的成效。 （六）课程效果 最后一个一级指标为课程效果， 它主要从三个方 面来考察：学习效果、学习者满意度、实践转化。 “学习效果”主要考察远程教育课程在多大程度上 实现了既定的教学目标。评估数据来自对学生作业的 评价， 对内部和外部考试结果的评价以及课程结束时对学习者的调查。 “学习者满意度”主要考察内容为学习者的期望是 否得到满足，结果是预料之外还是预想之中。评估数据 主要来自课程结束时对学习者的调查、辍学率的计算 以及对辍学者的调查。评估时注意结合第二个一级指 标“目标群体”中的子指标“动机”来综合评价。 “实践转化”主要考察学习者对课程内容的实践应 用效果的评价态度。主要通过课程结束时调查学习者 来获得，必要时对学习者进行后续调查。其作用是消除 新课程计划中的不确定性。评估时要注意学习者所从 事的职业及其以往的工作经历对结果的影响， 同时可 以参考第四个一级指标中的子指标“学习资源选择”。 三、特色与启示 通过对德国《远程教育课程评估》指标体系的内容 的解读，可以发现，与我国的远程教育评估及网络教育 课程评估相比较， 德国的远程教育课程评估存在以下 特色： 1. 评估数据收集是贯穿整个远程教育过程的，从 远程教育课程规划直至学习结束， 必要时还要对学习 者进行追踪调查。 2.评估的目的是改进远程教育各个环节的工作质 量，从课程目标设置、宣传资料制作、学习过程监控等， 因此，侧重对学习与教学软环境的评估，较少对硬件环 境有规定性的技术指标要求。 3.数据收集方法多样化。根据评估内容的需要，在 不同时期、以不同的方法、从不同途径来获取相关数 据，因此评估结果能够全面反映远程教育课程的概况。 4.从学习者及学习过程的角度来开展调查和评估， 而不是从教育行政管理者的角度来开展评估。不仅专门 设置了“目标群体”这个一级指标，而且在其他各个指标 及子指标的评估中，都强调从学习者的需求出发。 5.强调师资队伍的优化组合，重视师资提供支持 服务的成效。但师资的学历、经历并未作为评估的硬性 指标。 6.以远程教育的实施过程为评估的重点，重视自 主学习、面授辅导和在线学习的有机组合。 7.对课程效果的评估不仅考察学习效果，还要调 查学生的满意度及学习的实践转化程度。 8.非常重视作业，把它作为监控学习过程的工具， 不仅考察学生作业的上交情况及质量， 还强调作业布 置在数量上的合理性和内容上应用性， 尤其强调作业 对学习的促进作用。 从德国《远程教育课程评估》指标体系的内容中， 我们可以得到以下启示： 1. 对远程教育课程的评估应该本着全面质量管理 的理念，从课程效果而非学习效果出发，全面监控远程 教育的各个环节的质量， 尤其要重视远程教育的实施 中各个阶段的质量监控。 2. 应该以学习者及学习过程为中心来开展评估， 从学习者的实际出发，重视学习支持服务的成效。我国 当前的相关评估则更多是从教育行政管理的角度出 发，以规范教学和教学管理为主，不考虑学习者的实际 情况，对教学行为的成效重视不足。 3. 强调自主学习、面授辅导和在线学习三者的有 机组合与衔接。当前我国网络教育从节约教育成本的 角度出发，过分强调在线学习和自主学习，忽视了学生 对面授辅导的需要， 对学生自主学习阶段的支持服务 不够重视，简单地把教学内容电子化、视频化等同于支 持服务。 4. 要充分重视作业的功能， 把它作为监控学习过 程、促进学习进步的重要工具， 强调作业数量的合理 性、作业之间的衔接性、作业内容与实践的结合性。 5. 要多元化地收集远程教育课程的评估数据，把 课程评估作为远程教育过程监控的一个手段， 从不同 时间、不同人员处，用不同方法多途径地获取信息，综 合考虑学习对象的背景和课程性质，以便全面地、科学 地反映远程教育课程的基本情况