Les observations en classe sont utilisées dans les districts à travers le pays pour évaluer si et dans quelle mesure les enseignants font preuve de pratiques pédagogiques reconnues pour soutenir l’engagement et l’apprentissage des élèves. Les données générées à partir des observations en classe fournissent également aux enseignants une rétroaction précieuse et soutiennent le développement de leurs compétences. Dans certains contextes, tels que Washington, DC, les écoles publiques, ces informations sont également utilisées dans des décisions de personnel à enjeux élevés, y compris s’il faut retenir un enseignant.
Les enjeux de la mesure des pratiques pédagogiques
Il n’est cependant pas facile de mesurer le «bon enseignement» de manière cohérente et équitable. L’une des raisons est que l’enseignement n’est pas statique. La façon dont un enseignant enseigne varie en fonction du contenu pédagogique et de l’objectif de la leçon. Par exemple, nous pourrions souhaiter voir des discussions prolongées entre les élèves dans certaines leçons et un enseignement plus axé sur l’enseignant lors de l’introduction de nouveaux contenus. Les interactions élèves-enseignants évoluent également au cours d’une année scolaire. Pourtant, la plupart des enseignants ne sont observés qu’une ou deux fois par an. En raison de la nature dynamique de l’enseignement, il est difficile de caractériser son enseignement à partir de quelques leçons seulement. Même si ces leçons observées peuvent capturer un enseignement «typique» ou «moyen», la rétroaction basée sur de telles informations pourrait ne pas être si utile, car ce dont un enseignant a besoin pour soutenir les élèves en novembre pourrait bien être distinct de celui de ce même enseignant en mai.
Une complication supplémentaire avec les politiques d’observation typiques est que les bonnes pratiques pédagogiques ne sont pas toutes visibles. Les observateurs humains peuvent trouver difficile de suivre et d’évaluer toutes les interactions pédagogiques importantes dans les salles de classe occupées. Même les évaluateurs experts et hautement qualifiés pour les projets de recherche ont du mal à suivre simultanément plusieurs comportements d’enseignement et, en fin de compte, ne donnent la priorité qu’aux aspects facilement observables de l’enseignement qui pourraient ne pas être les plus importants pour soutenir l’apprentissage des élèves. Dans la pratique, les districts s’appuient principalement sur des directeurs moins formés et plus à court de temps pour effectuer des observations en classe ou des visites guidées. Les contraintes de temps et de ressources sont aggravées par le fait que les directeurs ont tendance à utiliser un petit éventail de scores et sont réticents à évaluer les enseignants comme ayant de mauvais résultats, ce qui rend encore plus difficile d’évaluer objectivement la qualité de l’enseignement à partir des politiques et pratiques d’observation typiques.
De nouvelles méthodes d’analyse peuvent offrir une nouvelle perspective sur un enseignement efficace
Les progrès technologiques récents fournissent un complément potentiellement inestimable aux observations en classe par l’homme, intrinsèquement limitées. Dans notre article récemment publié dans Evaluation de l’éducation et analyse des politiques, nous avons tenté de tester cette possibilité. Notre idée est simple: la langue étant au cœur de nombreuses interactions pédagogiques, nous pourrions être en mesure d’exploiter la puissance des ordinateurs pour analyser les caractéristiques linguistiques du discours en classe et en déduire directement des mesures des pratiques pédagogiques. Si de telles mesures automatisées s’avèrent avoir des qualités de mesure égales voire supérieures à celles des observations classiques en classe, il pourrait être possible de fournir aux enseignants des informations beaucoup plus cohérentes et continues sur leur pratique qu’un système basé sur un évaluateur humain ne le pourrait jamais, à des coûts inférieurs. et un plus grand potentiel d’échelle.
En effet, dans de nombreux autres domaines de recherche, les méthodes text-as-data, ou le traitement du langage naturel, ont été largement appliquées pour étudier les fonctionnalités de conversation, telles que celles qui peuvent améliorer le succès des entretiens d’embauche, changer l’opinion de quelqu’un en formant des arguments convaincants, ou aborder les problèmes liés à la maladie mentale. Dans le domaine de l’éducation, les chercheurs ont également appliqué avec succès ces méthodes pour étudier un large éventail de sujets, y compris les caractéristiques des environnements d’apprentissage en ligne productifs, les perceptions des enseignants sur les écarts de rendement des élèves et les stratégies adoptées par les écoles dans les efforts de réforme. Pourtant, l’utilisation de telles méthodes est beaucoup plus rare dans les contextes naturels de classe et dans les efforts d’évaluation et d’amélioration des enseignants.
Des relevés de notes en classe aux marqueurs d’un enseignement de qualité
Dans notre étude, nous avons embauché des professionnels pour transcrire près de 1 000 vidéos de cours d’arts en anglais recueillies dans le cadre du projet Mesures de l’enseignement efficace. Ces leçons mettaient en vedette 258 enseignants enseignant 4e et 5e notes dans six districts scolaires qui servent principalement les élèves des minorités et à faible revenu. À partir de ces transcriptions, nous avons construit deux types de mesures des pratiques des enseignants. Le premier ensemble de mesures se concentre sur les modèles de discours, comme la fréquence à laquelle un enseignant et les élèves se relaient dans leurs conversations et la fréquence à laquelle un enseignant utilise un langage analytique (par exemple, des mots qui reflètent des mécanismes cognitifs, tels que «cause», «savoir, » et donc »). Pour construire ces mesures, nous utilisons principalement des informations sur les sources linguistiques (par exemple, les enseignants ou les étudiants), les horodatages et les mots et signes de ponctuation associés à une catégorie linguistique spécifique. Le deuxième ensemble de mesures que nous avons développé saisit des aspects plus substantiels de l’enseignement, comme dans quelle mesure un enseignant reflète la langue de ses élèves et dans quelle mesure le discours en classe est axé sur des sujets liés à l’enseignement.
Nous avons ensuite résumé ces variables en quelques facteurs pédagogiques. Alors que les enseignants peuvent changer la façon dont ils enseignent d’une leçon à une autre, nous avons calculé la moyenne des leçons pour qu’un enseignant puisse avoir un portrait de son style d’enseignement typique, comme point de départ. Trois facteurs ou types de discours en classe émergent: un format de gestion de classe qui indique qu’un enseignant passe beaucoup de temps en classe à établir des routines et à gérer les comportements des élèves; un format d’instruction interactif qui comporte de nombreuses questions ouvertes à l’enseignant et une abondante interaction entre l’enseignant et les élèves; et un format d’instruction centré sur l’enseignant avec beaucoup de discours et une participation minimale des élèves.
Ces facteurs pédagogiques semblent intuitifs, mais saisissent-ils vraiment les caractéristiques de l’enseignement alignées sur les observations des évaluateurs humains? Notre constat est oui. Ces trois formats de classe montrent systématiquement un alignement avec de nombreux domaines et dimensions identifiés par plusieurs protocoles d’observation populaires, notamment le système de notation de l’évaluation en classe (CLASS), le cadre d’enseignement (FFT) et le protocole d’observation de l’enseignement des arts du langage (PLATO). Par exemple, le facteur de gestion de classe a les corrélations les plus fortes avec les dimensions de gestion du comportement à la fois dans CLASS et PLATO. Le facteur d’enseignement interactif est principalement lié au domaine du soutien pédagogique CLASS, qui met l’accent sur l’utilisation par les enseignants d’une rétroaction cohérente et sur leur concentration sur les compétences de réflexion d’ordre supérieur pour améliorer l’apprentissage des élèves. Le facteur d’enseignement centré sur l’enseignant, qui représente des pratiques d’enseignement moins souhaitables, a des corrélations négatives et statistiquement significatives avec le dialogue pédagogique (CLASSE), l’établissement d’une culture d’apprentissage, l’implication des élèves dans l’apprentissage, l’utilisation de questions et de discussions (FFT) et le défi intellectuel ( PLATON). Pour être clair, nous ne préconisons pas une allocation unique et optimale du temps d’enseignement ou un style de discours unique. Différentes approches ont probablement une utilité différente au cours d’une leçon ou d’une année scolaire. Ces résultats reflètent le style de discours moyen dans les leçons d’un enseignant.
Au-delà de la corrélation entre nos mesures générées par la machine et les observations en classe, nous avons également testé si ces facteurs pédagogiques prédisent la contribution d’un enseignant à la réussite des élèves. Notamment, le facteur d’enseignement centré sur l’enseignant prédit négativement les scores à valeur ajoutée des enseignants calculés à l’aide de SAT-9, un test conçu pour mesurer les compétences d’ordre supérieur.
Les nouvelles technologies peuvent améliorer l’évaluation – et l’enseignement – pour les générations futures
Bien que nos résultats montrent que les méthodes text-as-data sont une approche prometteuse pour mesurer les pratiques d’enseignement, notre étude n’est qu’une première étape vers un système automatisé pour mesurer et finalement soutenir un enseignement de qualité. Les mesures que nous avons développées sont limitées et leur précision doit être améliorée. Même avec des algorithmes informatiques plus raffinés, des technologies de reconnaissance vocale et une gamme plus complète de mesures, les districts et les écoles qui souhaitent mettre en œuvre un système textuel devront investir dans l’infrastructure initiale qui leur permet d’enregistrer, de transcrire et d’analyser les données de la classe tout en préserver la confidentialité des données linguistiques avant qu’elles ne puissent bénéficier des méthodes proposées.
Des recherches supplémentaires sont également nécessaires pour comprendre comment les directeurs et les enseignants perçoivent les mesures automatisées et réagissent aux informations qu’ils fournissent. Cependant, nos travaux montrent qu’il est possible de compléter les observations conventionnelles en classe en utilisant une approche text-as-data.
Une fois qu’un tel système est en place, nous pouvons bien imaginer un monde où les métriques automatisées de l’enseignement sont produites en temps réel, et où les directeurs et les entraîneurs consacrent leur temps à aider les enseignants à comprendre les informations fournies et à identifier des stratégies d’amélioration. Nous ne préconisons pas que de telles mesures soient utilisées pour les évaluations consécutives des enseignants. Cependant, une rétroaction plus importante et meilleure des enseignants sur leur enseignement pourrait bien contribuer à garantir que tous les élèves ont accès à un enseignement cohérent et de grande qualité.
