Une élève grégaire de troisième année, Bhairavi, aime l’école et aime particulièrement travailler en collaboration avec ses camarades de classe sur des projets de groupe et un apprentissage pratique et expérientiel. Elle croit que «étudier me permettra de trouver un bon emploi, grâce auquel je pourrai travailler dur et subvenir aux besoins de ma famille». L’école de Bhairavi est dirigée par Gyan Shala, qui offre des environnements d’apprentissage uniques et un soutien aux étudiants et aux enseignants, principalement dans les zones défavorisées de l’État du Gujarat en Inde. L’une de ces enseignantes est Naghma, qui était elle-même une élève de Gyan Shala et qui, après avoir récemment terminé sa 12e année, est revenue pour enseigner dans l’une des écoles de sa communauté.
Les écoles Gyan Shala de Bhairavi et Naghma sont soutenues dans le cadre d’un programme appelé Quality Education India Development Impact Bond (QEI DIB), qui vise à améliorer les résultats scolaires de plus de 200000 élèves du primaire sur une période de quatre ans allant de 2018 à 2022. Ces étudiants se trouvent dans quatre régions de l’Inde et représentent des étudiants dans des écoles publiques et privées, ainsi que dans des centres d’apprentissage spécifiques à des programmes.
À propos du QEI DIB
À l’instar d’autres obligations à impact, le QEI DIB déplace l’attention de la réalisation des intrants vers la réalisation des résultats. UBS Optimus Foundation a fourni 3 millions de dollars d’investissement initial pour les risques, qui sont réinvestis dans le programme chaque année si les résultats sont atteints pour l’année précédente (appelé recyclage du capital). Au total, le programme dispose d’un pot de financement de résultat de 9,2 millions de dollars, fourni par la Michael and Susan Dell Foundation, Comic Relief, Larry Ellison Foundation et Mittal Foundation. Le consortium de bailleurs de fonds, convoqué par British Asian Trust, couvre les frais de prestation de services et un taux d’intérêt jusqu’à 8% par an si les résultats sont atteints, et les paiements incitatifs aux prestataires de services si les objectifs sont dépassés. Un soutien supplémentaire de 1,4 million de dollars pour l’évaluation et la gestion des performances a été financé principalement par le Foreign, Commonwealth & Development Office (anciennement DFID) et la Fondation UBS Optimus.
Le QEI DIB est beaucoup plus grand que son prédécesseur, le Educate Girls DIB, qui a pris fin en 2018. Non seulement le QEI DIB sert beaucoup plus d’étudiants, mais il est également unique en ce qu’il comprend quatre fournisseurs de services différents, chacun offrant une intervention différente. Après un an de fonctionnement du programme avec trois fournisseurs de services, un nouveau partenariat avec Educational Initiatives et Pratham InfoTech Foundation (El-PIF) a été formé, apportant une solution ed tech dans le mix. Une région supplémentaire a également été ajoutée pour l’un des fournisseurs de services d’origine, Kaivalya Education Foundation (KEF). Sur la base de l’éthique de l’apprentissage adaptatif que le modèle d’obligation à impact embrasse, après les résultats de l’année 1, un modèle a été abandonné – un modèle indirect de la Society for All Round Development (SARD) – lorsque la performance était inférieure à la performance attendue qui sous-tendait la sélection du programme. Les prestataires de services de l’année 2 et les interventions qu’ils ont fournis sont décrits en détail dans le tableau 1 ci-dessous.
Tableau 1. Interventions et cibles des obligations à impact sur le développement en Inde de qualité
Cadre de résultats
Compte tenu des statistiques désastreuses sur l’apprentissage en Inde, le QEI DIB cherche à améliorer les résultats en littératie et en numératie des enfants des communautés marginalisées. La question de savoir si les quatre interventions du programme permettent d’atteindre cet apprentissage est mesurée par une évaluation indépendante menée par ConveGenius Insights (anciennement Gray Matters India ou GMI), en utilisant une conception quasi expérimentale. Les objectifs d’apprentissage sont mesurés grâce aux tests GMI – évaluations écrites et orales élaborées localement conformément au programme. Ces objectifs d’apprentissage correspondent à la différence de croissance de l’apprentissage au fil du temps entre les bénéficiaires des interventions et un groupe témoin. Les cibles sont basées sur les tailles d’effet d’intervention attendues tirées d’une méta-analyse de la littérature mondiale et indienne sur des interventions éducatives comparables. Pour tous les prestataires de services et pour toutes les matières, le gain d’apprentissage moyen attendu est de 25 points de score d’échelle pour une année donnée, ce qui équivaut à un écart type. Les paiements à l’investisseur, l’UBS Optimus Foundation, sont basés sur un prix par résultat multiplié par le résultat d’apprentissage multiplié par le nombre d’étudiants inscrits et sont réinvestis dans le programme à la fin de chaque année si les résultats ont été atteints et qu’il y a des retours positifs. Un plafond est placé sur les résultats cumulatifs dans une année donnée (pas plus de 125 pour cent du résultat) et un taux de rendement interne maximal de 8 pour cent à la fin de la DIB de quatre ans. Cela se traduit par un rendement potentiel de base de 745 000 $ pour l’investisseur.
Résultats d’apprentissage de la deuxième année
Deux ans après le début du lien d’impact, les résultats moyens sont prometteurs pour les trois interventions qui ont été évaluées (une évaluation n’a pas été réalisée pour la quatrième intervention en raison de la pandémie COVID-19). Comme le montre le tableau 2, les quatre fournisseurs de services ont rejoint 104 833 élèves de 711 écoles au cours de la période de deux ans. En moyenne, les résultats cumulés dans toutes les classes sur deux ans démontrent que les écoles QEI DIB ont largement surperformé par rapport aux objectifs.
Le tableau montre qu’il existe des objectifs différents pour chaque fournisseur de services; ceci est lié aux attentes autour de ce que chaque type d’intervention pourrait potentiellement réaliser sur la base de la littérature. Il existe également des différences de résultats entre les prestataires de services: par exemple, alors que KEF a atteint un score d’échelle qui était de deux à trois fois la cible, EI-PIF et SARD avec leur modèle direct ont atteint respectivement 7,5 et six fois la cible. Les résultats désagrégés par littératie et numératie montrent que tous les fournisseurs de services évalués ont surperformé, à l’exception de KEF dans le Gujarat, qui a sous-performé en 4e année en langue et en mathématiques (tout en surpassant dans les deux matières en 3e année) par rapport au groupe de comparaison.
Tableau 2. Performance globale sur les résultats d’apprentissage
Moteurs de ces résultats
Les bons résultats de deuxième année du programme offrent de nombreuses opportunités pour un examen et un apprentissage plus approfondis. Quelques-uns en particulier se démarquent en tant que facteurs clés possibles de ces résultats.
Comme Brookings l’a précédemment écrit, l’environnement à enjeux élevés d’une obligation à impact sur le développement, et l’examen minutieux qui en découle, est un élément clé de la théorie du changement pour obtenir des résultats plus nombreux et meilleurs pour toute obligation à impact. Dans le cas du QEI DIB, cela a permis aux prestataires de services de se concentrer sur le mode mission – par exemple, EI-PIF a adopté une initiative intitulée «Mission 35» qui ciblait l’utilisation de 35 minutes du programme par étudiant et par session et doublait classes lorsque les appareils étaient disponibles pour maximiser l’accès à l’intervention. L’environnement à enjeux élevés d’un DIB conduit également à des décisions difficiles – par exemple, l’abandon du modèle SARD-Indirect et l’ajout de l’EI-PIF, un programme qui a connu de très bons résultats avant le DIB. Cependant, cela peut également avoir poussé le modèle SARD-direct à la deuxième année à atteindre ses hautes performances.
De plus, Brookings a identifié l’utilisation active des données comme un élément central du financement basé sur les résultats. Dans le cas du QEI DIB, les fournisseurs de services ont pu puiser dans les cultures et les systèmes existants axés sur les données pour gérer et valider activement la prise de décision programmatique. Un exemple en est l’application Journey, que KEF utilise pour fournir aux chefs d’établissement des données en temps réel sur les indicateurs de sept catégories d’intrants d’apprentissage (y compris le contact avec les parents, la capacité des enseignants et les cours de rattrapage) qui sont liés à l’atteinte des résultats de l’intervention. Un autre exemple est celui de l’IE-PIF, qui a une culture organisationnelle axée sur les données, notamment grâce à l’accès à des traqueurs d’e-mails quotidiens et hebdomadaires et aux évaluations individuelles des élèves et des écoles. Enfin, l’ADRD a affecté activement ses services de soutien aux écoles en fonction de la performance. Un défi potentiel pour le QEI DIB, ainsi que pour d’autres obligations à impact, est l’équilibre entre se concentrer sur les mesures de résultat énoncées dans les termes des obligations à impact (comme les mathématiques et la lecture) au détriment d’autres domaines. Il s’agit d’un domaine à examiner de plus près dans toutes les obligations à impact à l’avenir.
Si les facteurs ci-dessus expliquent de manière plausible le succès des programmes dans le contexte de l’obligation à impact, il y a deux explications supplémentaires à la surperformance substantielle en matière d’apprentissage (jusqu’à 7,5 fois les objectifs dans un groupe). Une explication est qu’en moyenne, les élèves obtenaient des résultats à un niveau inférieur à celui prévu pour leur note au départ, ce qui laissait plus de place à l’amélioration de l’apprentissage. Deuxièmement, au cours de ces deux dernières années, le groupe de comparaison a obtenu des résultats inférieurs aux attentes, ce qui augmente l’écart entre le groupe de traitement et le groupe de comparaison et conduit à une plus grande taille d’effet.
Apprentissage et impatience
Les résultats des deux premières années du QEI DIB sont prometteurs, de nombreux enfants ayant connu des gains d’apprentissage substantiels dans les classes et les programmes soutenus par QEI DIB. Le principal problème auquel est confronté le QEI DIB et de nombreuses autres initiatives éducatives dans le monde est de lutter contre les pertes d’apprentissage qui résulteront probablement en raison de la fermeture des écoles COVID-19. L’impact que cela aura sur l’apprentissage par rapport aux objectifs prédéterminés et les défis à relever pour ces objectifs reste à voir.
De plus, alors que le QEI DIB franchit la mi-chemin de la seconde moitié de la mise en œuvre, il y aura des pressions pour s’assurer que les gains d’apprentissage continuent d’augmenter. Avec une méthodologie d’évaluation structurée autour des gains d’apprentissage mesurés annuellement par rapport à un groupe témoin, une surperformance en un an pourrait potentiellement conduire à des défis l’année (s) suivante (s) pour maintenir ce même niveau de performance. En effet, les taux de gain sur la plupart des indices de développement humain commencent souvent à diminuer à des niveaux de performance plus élevés, car il y a moins de marge d’amélioration à ces intervalles plus élevés. Par exemple, dans les programmes d’enseignement, la littérature suggère que des gains d’apprentissage substantiels pour les élèves de niveaux de compétence plus élevés sont plus difficiles à réaliser que pour ceux dont les niveaux de compétence sont inférieurs, qui rattrapent leurs pairs. Ce défi de surperformance en un an conduisant à des difficultés pour les résultats de l’année suivante est celui qui imprègne toutes les obligations à impact avec une conception d’évaluation annuelle. Dans le cas du QEI DIB, ce défi pourrait (malheureusement) potentiellement être atténué par des pertes d’apprentissage dues à la pandémie COVID-19.
Les moteurs des résultats QEI DIB de l’année 2, les défis rencontrés lors de la mise en œuvre et les leçons plus larges pour le secteur tirées de l’expérience QEI ont été discutés lors d’un événement organisé par Brookings le 15 octobre. l’expérience QEI du point de vue de l’investisseur, du bailleur de fonds, des fournisseurs de services et de l’évaluateur. Nous vous encourageons à regarder l’enregistrement et à lire notre résumé de cette conversation.
Brookings s’engage à assurer la qualité, l’indépendance et l’impact dans tous ses travaux. Les activités soutenues par ses donateurs reflètent cet engagement et l’analyse et les recommandations sont uniquement déterminées par le chercheur. Le soutien à cette publication a été généreusement fourni par le British Asian Trust.
