大数据正在改变高等教育的教育理念、教学方法,教师不再是知识的传递者,而是认知活动的激活者、教学活动的管理者和学习活动的支持者。因此,迫切需要变革教师绩效评价,推动现代信息技术与高等教育深度融合。许多学者尝试利用各种智能终端记录的客观数据,通过大数据挖掘和机器学习算法对在线教育、翻转课堂和混合教学等新兴教学模式进行预测评估[1]。然而,高等教育的绩效评价难以被准确衡量,从而限制了教学质量的提高和教学目标的实现。目前,关于教学评价的研究集中在不同评价主体的评价内容上,忽视了人才培养的目标,使评价难以发挥目标导向的作用[2]。因此,本研究对教学绩效的研究进行了分析,分析了该领域目前的研究趋势和热点,回顾了主流的教学评价模式,总结了相关研究的不足,研究了制约教学评价发展的因素,提出了完善创新知识教学评价体系的具体方向。
一、理论分析
本文综述了目前知识教学评价体系的研究热点,分析了知识教学评价体系研究中存在的问题,提出了完善知识教学评价体系的方向。
①知识教学评价体系发展趋势研究。有学者利用回归分析探索了一种在线教学的混合教学模式,分析了在线点播视频录制、在线测验等对学生表现的积极影响。有学者认为,体验式学习策略有助于学生理解理论概念和提高成绩。目前国际上对教学绩效的研究主要集中在医学教育领域。最早的出版物是一项基于医学教育中基于问题的教学法的评价量表的研究。而且教师绩效评价研究更多地关注学生的学业成绩。有学者通过教学评估探讨了移动学习工具对学生学业成绩的影响。有学者试图使用人工智能方法评估学生的学习成绩,而人工智能主要包括教学评价、教学质量、人工智能、改进算法、机器学习等。关于AI技术改进教学绩效评价的基础研究均为2018年以后发表的相关文章。有学者认为通过机器学习算法从学生对教师的定性评价中提取意见,提出提高学生教学评价可靠性和效率的策略。有学者认为基于情感识别和数据挖掘算法尝试构建在线教学质量评价模型。可以推断,进入21世纪后,国际上对教学绩效的研究逐渐成为众多学者关注的热点,相关研究偏向于教学实践,主要的评价形式是学生评价,主要研究内容是信息技术教学策略在教学中的应用。学生学习成绩评价和人工智能技术在教学绩效评价中的应用是最新的研究前沿[3]。
②主流教学评价模式研究。为了进一步总结当前教学评价的研究成果,我们对目前最受学者推崇的三个通用教学评价框架:教育效果动态模型、国际教师观察与反馈体系(ISTOF)和教学质量三个基本维度(TBD)进行了分析。其中一个“教育有效性动态模型”抓住了教学中与学生成绩相关的八个教学角色要素,即知识传递、结构、提问、教学建模、应用、时间管理、教师如何使课堂成为学习情境以及课堂评估,并建议从五个维度定义和测量相关因素,即频率、焦点、阶段、质量和差异化,进行调整。由于各种学习平台、移动app、数字终端、可穿戴设备等新技术的广泛使用,教学活动中师生之间复杂的双向互动被各种终端以图像、声音、文字的形式记录下来,为创新知识教学评价体系提供了更加客观的评价数据。然而,教学活动涉及到师生复杂的情绪、态度、能力等潜在特征,这些客观数据还不能完全表征出来,还需要不同评价主体的主观判断。因此,要在大数据背景下对高校教师的绩效进行评价。一方面要综合设计教学绩效评价指标,充分利用各种智能终端记录的客观教学数据对绩效指标进行描述。在客观数据无法表征具体绩效指标的情况下,按照“谁知道谁评价”原则确定不同评价主体的评价内容,将主客观评价数据相结合、相补充、相验证,对教师绩效进行评价。此外,学校需要建立多系统的共享数据库,收集教学绩效评估所需的各类数据,进行清理、转换和完善,并将原始数据处理成合适的形式。最常见的数据清理方法包括:使用加权、机器学习、均值和EM算法插值缺失值,使用Dixon检验和Grubbs检验筛选异常值,以及将客观数据转换为分级数据。通过这些方法,可以提高数据质量,消除变量之间分布的偏差,以便于进一步的统计分析[4]。
③实施教学绩效三位一体评价研究。一些学者关注绩效结果或工作效率,其他人则关注与达成既定工作目标有关的行为。更多的研究将绩效视为与特定组织系统和工作岗位相关的胜任能力。这些定义并不是孤立的,许多研究建议将它们整合起来。有学者提出绩效代表行为和结果,并阐述绩效是工作的过程及其所取得的结果。有学者认为它是个体的能力和行为及其在组织中的结果的综合表现;因此,在评估绩效时,应该综合考虑绩效的理论基础和特征,考察组织和个人执行某些行为和实现特定结果的能力。有学者认为教学绩效可以从三个维度来定义:教学效果、教学行为绩效和教学能力。教学效果的评价是以过去的视角为基础,对教师对学生的影响进行总结性的评价。教学行为评价是当前视角下对教师教学行为的过程性评价。教学能力评价是基于对未来的展望,是对教师潜在能力和素质的发展性评价。与此同时,教学效果表现是三个维度中最重要的。但是,这些维度并不能全面地衡量教学绩效。教学效能绩效以结果为导向,忽视教学行为,不利于绩效提升和过程控制。教学行为绩效虽然与过程有关,但也容易导致结果偏离目标[5]。教学能力绩效虽然有助于提高教师的专业素养和能力,但教学能力往往难以客观判断,无法形成创新的知识教学评价体系。因此,我们借鉴平衡计分卡理论,通过教学绩效指标之间的因果关系,基于平衡的概念,从以下方面设计了教学绩效评价维度:
第一,教学行为绩效评价。教学行为绩效是基于当代视角对教师教学行为进行过程评价,以及时纠正偏差。我们可以利用关键行为指标(KBI)对教学行为绩效进行评估。KBI绩效管理工具对在特定时间和责任框架内评估组织或员工的绩效至关重要。KBI教学行为绩效评价是以有效的教学方法和教学目标为基础,锚定关键的教学行为,对其进行分解和细化,并根据指标的特点确定评价标准,对教学活动进行评价。这个过程需要三个组成部分:首先,确定关键的教学行为。随着信息技术与教育教学的深度融合,教学目标和教学方式正在发生深刻的变化。为了构建科学合理的教学行为绩效,需要深入分析当前的教学模式改革,根据人才培养目标锚定关键的教学行为。其次,对关键教学行为进行分解和细化,即根据“SMART”原则,将关键教学行为分解为可量化的评价指标,并明确其定义、范围和内涵。最后,根据指标的含义确定量化标准,重点教学行为的量化标准可分为类别标准、频次标准、顺序标准、差距标准和比率标准,需要根据指标的具体特点确定。由于工作量大、耗时长、主观性强,往往无法达到预期的效果。在大数据中,教师的各种文件和行为活动被各种教学终端记录和存储,大大降低了过程评价的运行成本,提高了评价的客观性和真实性。因此,高校应利用互联网建立基于大数据的在线教师评价体系。课程教师可以在规定的时间内进行自我评价和其他评价。教学管理者和督导专家可以对课程进行随机评估;并通过实时数据反馈机制,对评价结果进行统计、分类、总结、分析,确保评价中反映的问题得到及时解决。
第二,教学能力绩效评价。教学胜任力绩效评价是对教师胜任力的发展性评价,关注教师为实施高质量教学所需要具备的专业知识、技能、观念、态度和动机。学校可以利用关键能力指数。其中,关键能力指数代表了对员工个体潜在特征的定量评价,以使组织成员个体能力的发展与组织发展目标相一致。教学能力评价不应拘于对教师的结论性评价,而应坚持发展性原则,同时,要立足未来,重视教师的专业发展,重视教师队伍的建设与培养,重视人才培养质量的提高,重视高校的可持续发展。在评价过程中要对教师的知识技能、价值观、思想意识等潜在特征进行评价,避免根据教师的教学经验、学历、职称、教改论文、项目等进行定性判断。要准确地表征和评价教师的能力,并充分利用数据的全面性、完整性、维度性、碎片性和真实性,对相关数据与概念进行高质量的分析和处理。
二、框架提出
教学绩效设计充分体现了“结果+行为+潜力”的平衡绩效理念。针对不同的评价内容,在不同的时间开展不同维度的创新知识教学评价体系,发挥了评价不同作用,考虑了不同参与者的价值需求。该模式有利于教师教学潜能的全面激发。也就是说,教学评价应该帮助教师不断提高教学质量。然而,目前知识型教学评价体系的研究还停留在不同评价主体的评价内容和评价形式上。高校往往将知识教学评价体系作为一种简单的监测和考核工具,缺乏绩效管理意识,忽视了知识教学评价体系的过程。针对这一问题,高校可以借鉴绩效管理理论,根据全面质量管理的PDCA循环,组织实施知识教学评价体系,即教学绩效计划、教学评价实施、教学绩效评价、教学绩效反馈。
教学绩效计划是基于大数据云管理平台的教学绩效管理系统,实现对教学绩效规划、实施、评价、反馈各个阶段的数据和信息管理支持,明确绩效目标,制定计划,完善评价体系,健全教学绩效反馈机制。这一过程有利于促进教学绩效的整体提升。另外,教学绩效计划是学校与教师就教师应达到的教学绩效进行沟通的过程,沟通结果在明确责任、权利、利益的基础上,正式以合同的形式形成双方所期望的教学工作目标和标准,具体来说,可以将其分为以下三个环节:第一,明确战略愿景,设计实施方案。在制定教学绩效计划之前,大学应该使用SWOT分析,考虑社会、文化、经济和社会责任等外部环境因素,以及学生素质、师资力量和财务状况等内部因素,确定学校面临的机遇和挑战及优势和劣势。基于这一目标,从教学效果、教学行为和教学能力三个维度设计实施方案。具体而言,教学效果绩效评价是基于过去提高教学效果视角对课程效果进行的总结性评价。评价的内容要以教师在教学过程中对学生的影响为依据,评价数据主要依靠学生在日常课程学习中积累的学习行为数据,辅以学生对课程教学效果的主观感受。教学行为绩效是基于当代视角对教师教学行为进行的过程评价,以及时纠正偏差。评价内容基于教师在教学过程中的教学行为,评价数据源依靠教师在教学过程中积累行为数据。第二,明确教学工作职责,设计教学绩效指标。学校应分析教师工作的关键业务内容,通过目标分析法考察所取得的要成果,并撰写简洁准确的描述,明确教师的工作职责。然后,学校可以按照创新原则设计教学绩效指标:教学绩效指标必须具体、可测量、可实现、与其他目标相关。此外,关键绩效指标的选取必须力求科学合理,兼顾绩效管理的激励和约束作用,实现教师绩效水平的最大化。第三,建立绩效指标权重及绩效评价模型。教学绩效指标具有多样性和结构复杂性的特点。首先要分析教学工作的性质和特点及其影响因素,根据各绩效指标在绩效指标体系中的重要性,赋予其相应的权重。其次,基于大数据的创新知识教学评价体系对评价结果进行综合分析,并设计科学合理的评价模型,揭示相关概念与数据之间的关系,提高知识教学评价体系的简明性、科学性和准确性。
教学绩效实施是通过绩效沟通和绩效辅导确保绩效管理过程的有效性,在具体实施过程中,必须注意三个方面:第一,进行绩效培训,制定行动计划。由于教学是师生双向互动的过程,教学绩效沟通与辅导分为多层次。教学管理者应确保教师认真研究学校的人才培养目标、培养计划和教学大纲,以确保他们的项目与学校的愿景相匹配。教师应与学生就教学设计、表演交流、辅导目标等进行沟通。教师应在充分了解学生学习特点和需求的基础上,制定教案,并与学生沟通课程教学目标和计划,制定个性化的学习计划,确保课程教学目标的实现。第二,加强过程管理,确保有效实施。在教学活动的具体实施过程中,教学管理者要及时了解教师的工作进度,了解教师的表现和遇到的困难,及时发现和纠正问题,避免不可挽回的损失,总结和推广先进的工作经验,提高教师的整体教学绩效。学校可以采取教学监督检查、多元聆听、学生调查等多种教学监控措施,对教学各方面实施质量实施过程管理。第三,保留原始信息,提供必要的依据。只有清楚地了解教师的工作流程,学校才能正确地评估和评价教师的工作。因此,只有掌握和积累教师在具体教学活动中的原始表现信息,才能使知识教学评价体系更加真实可信,避免偏见。管理者在实施过程管理的同时,应运用信息技术管理工具,收集和整理有关教与学活动绩效信息,为知识教学评价体系提供可靠依据。
教学实施评价是指学校在确定的人才培养目标下,按照预定的评价程序、统一的标准和具体的指标体系,通过定量和定性的比较分析和科学的评价方法,对教师的绩效、行为和能力进行客观、公正、准确的评价,是教学绩效管理有效性的关键。第一,选择数据来源,准确表征指标。高校在利用大数据进行知识教学评价体系时,应充分利用各终端记录的客观数据。促进教学绩效。基于大数据技术的知识教学评价体系可以形成良性循环。当客观数据无法表征绩效指标时,高校需要按照“谁知道谁评价”的原则,选择评价对象,设计评价问卷,获取评价数据。对于客观数据,学校必须使用数据挖掘技术对视频、音频和图像等非结构化数据进行分析和建模,以探索其更深层次的含义。对于主观数据,在设计和收集问卷时,应尽量通过陈述事实来获取数据,而不是判断其正确性和价值,避免评估者偏见。第二,明确考核形式,科学开展考核。知识教学评价体系按评价内容可分为教学效果评价、教学行为评价和教学能力评价。评价目标可分为总结性评价、过程性评价和发展性评价。评价主体可分为学生评价、同行评价、教师评价和领导评价。时间分为阶段性评价和每日评价。因此,根据知识教学评价体系的目的,选择不同的评价内容、评价对象和评价时间,是保证基于大数据的知识教学评价体系科学性的关键。
教学绩效反馈是教学管理者与教师在评价周期中就教学绩效进行的沟通。这个过程包括承认成绩,发现缺点,提出改进建议。教学绩效反馈的目的是让教师在评价周期中了解教学效果是否达到设定的教学目标,教学行为是否科学合理,教学能力是否足以支持教学目标。以下几点在这个过程中是必不可少的:第一,教学绩效反馈应鼓励教师参与反馈过程,而不是简单地将评价结果告知教师。对于积极的绩效,教学管理者应该对教师的具体行为给予真诚的赞扬。对于消极的表现,与老师进行非评判性的交流是必不可少的,要适时提出具体的评价,让教师了解绩效评价的客观性,找出自身存在的问题,并达成解决问题的共识。而且教学管理者应记录教师的关键行为并进行分类,通过激励手段保持和强化积极的绩效行为,寻找消极绩效行为的原因,提出改进方案。第二,面向未来,积极引导。大多数教学绩效反馈内容对过去的回顾和总结,但绩效反馈则着眼于新的评价周期。反馈过程应以绩效指标的内容为重点,根据教师的实际情况实施绩效改进计划,为下一轮绩效规划提供支持。第三,定期反馈和机制形成。教学管理人员应将教学绩效反馈作为一种有效的手段,纠正评价过程中发现的不足,及时与教师沟通,避免出现更严重的错误。教学管理者应该定期向教师提供绩效反馈,以便在正式评估之前了解教师的绩效评估结果。这一过程将鼓励教师对结果的认同,保证反馈的有效性。无论是定期的绩效反馈,还是阶段性的绩效反馈,都要建立相应的制度,只有制度化,才能保证绩效反馈产生持久的效果。
三、结论与不足
随着移动互联网、教育大数据、人工智能技术的发展,信息技术已经渗透到教育教学的方方面面,它正在推动传统教育向智能教育的深刻转变。智能推荐、自适应学习、数字学习者画像等创新应用丰富了教师和学生的教学体验,打破了传统教学实践的时空边界。学习资源不再是静态的教科书内容,而是学习者共同建构的生成性知识。学生们不再局限于物理空间,他们通过互联网与世界广泛相连。在信息技术环境下,教师不仅是知识的传递者,也是教学活动的管理者和学生学习的促进者。虽然这些变化的积累还没有导致质的变化,但未来的趋势是明确的。学者们认为,传统的教学评价理论和方法在解释新的教育现象和指导智慧教育实践方面存在争议。因此,需要对信息技术时代的知识教学评价体系理论进行重构。本文通过对高校教师知识教学评价体系的理论研究,提出了“多重评价、三合一、四闭环”的知识教学评价体系。然而,大数据下的高校教师知识教学评价体系是复杂的。随着信息技术在高等教育中的广泛应用,推动高等教育现代化和改革需要不断的研究和实践。从理论和实践的角度来看,本文有四个不足之处,需要进一步研究。
第一,基于大数据的“多重评价、三位一体、四步闭环”的评价体系还停留在理论层面,需要进一步的测试和优化。在高校实施绩效管理,树立科学的绩效管理意识,是一个长期而复杂的过程。第二,本文提出了基于平衡计分卡理论和“教学效果”、“教学行为”和“教学能力”三个维度的绩效指标体系的设计,但需要进一步设计以评价大学的绩效。然而,要对高校教师的教学绩效进行有效的推断和评价,首先必须确定具体评价的内容,构建科学合理的教学绩效指标体系。然而,关于教学绩效指标的研究针对非评价学科,指标体系混合重复,不利于实际绩效评价。因此,大数据环境下的教学绩效评价内容有待进一步研究。第三,教育数据是一项宝贵的教育资产,但它涉及到教育者和受教育者的隐私。教育作为一种公共产品,教育数据也应该适当向社会开放。然而,在推进教育数据开放运动的同时,应高度重视教育数据的隐私保护和安全管理,要不断采取更先进、更高的安全措施,保护教育数据,保护教育隐私数据不被泄露和恶意利用,并建立健全教育数据安全管理架构,建立教育数据的保密级别,根据保密级别采取相应的处理措施,实时监控教育数据的应用情况。第四,基于广泛数据挖掘和人工智能的智能评价是未来教学评价的主要方向。这些技术广泛应用将大大提高教学评价的效率和质量。然而,基于大数据的知识教学评价体系是人类的认知和决策活动。在实践中,要秉持人机协作的理念,注重智能分析技术的数据处理能力,让智能评价惠及利益相关者,避免定量分析带来的不利影响,并保持教育思想在智能技术应用中的中心地位,以问题解决为导向,必须进一步探索智能技术与人在知识教学评价体系中的角色划分。
参考文献
[1]卢婧.我国高校教学评价的现状及未来发展[J].黑龙江高教研究,2018,36(10):83-86.
[2]郭丽君.高校教学评价:基于组织制度的分析[J].高等教育研究,2017,38(07):78-82.
[3]俞佳君.以学习为中心:高校教学评价的新范式[J].高教探索,2016(11):11-15+20.
[4]郭丽君.走向为教学的评价:地方高校教学评价制度探析[J].高等教育研究,2016,37(06):68-73.
[5]邹宝玲,郑沃林.新文科背景下文科技术型人才培养探究[J].黑龙江高教研究,2021,39(11):13-17.