Concevoir une réforme de l’éducation : du diagnostic à l’action

Comment déterminer si une réforme de l’éducation répond à un problème réel — et si elle mérite d’être poursuivie ? Ce cours, Concevoir une réforme de l’éducation : du diagnostic à l’action, considère la réforme comme une chaîne de décisions plutôt que comme une solution unique. Vous apprendrez à diagnostiquer les causes, à élaborer une théorie du changement, à comparer des interventions telles que le tutorat et le développement professionnel des enseignants, et à examiner le ciblage, la portée, le dosage et la fidélité de la mise en œuvre. Vous étudierez également comment les évaluations produisent des données probantes, pourquoi les scores comportent une part d’incertitude et pourquoi la corrélation ne prouve pas la causalité. L’idée centrale est qu’une réforme solide relie une mesure crédible à une mise en œuvre concrète et à un jugement de politique publique transparent. À l’issue du cours, vous serez capable de mettre en balance l’efficacité, l’équité, le coût et la redevabilité, puis de défendre un choix raisonné. Nous commencerons par transformer des problèmes éducatifs visibles en questions susceptibles de déboucher sur l’action.

Chapitre 1 : Des problèmes éducatifs à la conception d’une réforme

{La réforme de l’éducation doit commencer par un diagnostic rigoureux, plutôt que par une intervention immédiate. Les décideurs doivent distinguer une situation observée de l’explication de ses causes, déterminer qui est concerné et formuler une décision susceptible de déboucher sur l’action :

situation observée -> causes plausibles -> apprenants concernés -> décision susceptible de déboucher sur l’action

Un symptôme tel que de faibles performances aux évaluations ou des absences fréquentes ne permet pas d’établir pourquoi il se produit. Les causes peuvent varier selon les établissements et les groupes d’élèves ; le diagnostic doit donc rendre l’incertitude visible et distinguer ce qui est connu, estimé ou doit encore faire l’objet d’une investigation. Une intervention doit être choisie parce que son mécanisme répond plausiblement au problème diagnostiqué, et non simplement parce qu’elle est familière ou politiquement séduisante.

Une théorie du changement explique comment une intervention est censée produire des résultats :

intrants -> activités -> produits immédiats -> résultats à court terme -> résultats à plus long terme

Elle doit décrire le mécanisme qui relie les activités aux résultats et recenser les hypothèses ainsi que les conditions contextuelles susceptibles de favoriser ou de limiter la réussite. La réalisation des activités ou la production de résultats immédiats atteste de la mise en œuvre, mais pas nécessairement de l’impact. Si les résultats attendus n’apparaissent pas, la théorie aide les décideurs à déterminer si le mécanisme, la mise en œuvre, les hypothèses ou le contexte doivent être révisés.

La mesure et le jugement de politique publique remplissent des fonctions différentes. La mesure décrit une situation observée ou estimée, y compris son incertitude, et peut évaluer la mise en œuvre et les résultats. Le jugement de politique publique détermine les priorités, les seuils, les compromis acceptables, l’allocation des ressources et les mesures à prendre. Les indicateurs ne sont pas les objectifs eux-mêmes, la précision statistique ne détermine pas l’action appropriée, et les choix de valeur ne doivent pas être dissimulés derrière un langage technique.

Après le diagnostic, les interventions doivent être comparées selon leur mécanisme, leur portée, leur dosage, leur faisabilité et leur équité, plutôt que classées de manière universelle. Les principaux types d’intervention sont les suivants :

• Tutorat : fournit un temps d’enseignement structuré supplémentaire pour combler les lacunes d’apprentissage. Sa réussite dépend de la qualité des tuteurs, de la fréquence, de la participation des élèves et de l’adéquation pédagogique ; les effets moyens observés sur un groupe ne garantissent pas le même résultat pour chaque apprenant.
• Soutien à l’assiduité : s’attaque à des obstacles tels que le transport, la santé, la sécurité ou les responsabilités de prise en charge, au moyen de l’identification, de la prise de contact, d’une aide pratique et d’un suivi. Les absences ne doivent pas automatiquement être considérées comme un problème de motivation.
• Réforme des programmes scolaires : modifie les contenus, leur progression, les supports et la cohérence entre le programme, l’enseignement et l’évaluation. Une couverture officielle large ne garantit pas la mise en œuvre en classe, en particulier en l’absence de soutien aux enseignants.
• Développement professionnel des enseignants : vise à faire évoluer l’enseignement grâce à la formation professionnelle, à la pratique accompagnée, aux retours ou au coaching, ainsi qu’au suivi. La seule participation à des ateliers ou la satisfaction exprimée ne démontrent pas une évolution des pratiques pédagogiques.
• Systèmes d’alerte précoce : utilisent des indicateurs de risque et des règles de signalement pour repérer les élèves qui feront l’objet d’un examen humain, d’un soutien ciblé et d’un suivi. Un signalement de risque est un indicateur, non un diagnostic, et les données historiques peuvent reproduire les inégalités si elles sont interprétées sans tenir compte du contexte.

Il ne faut pas confondre portée et impact. Une réforme peut officiellement atteindre de nombreuses classes tout en ayant peu d’effets concrets, tandis qu’une intervention de moindre ampleur peut offrir un dosage plus important à certains apprenants. La faisabilité dépend des effectifs, du temps, de la coordination, des supports, du leadership et des systèmes de données. L’équité exige d’examiner qui peut accéder au soutien, qui risque de ne pas être pris en compte et qui en supporte les contraintes.

Le ciblage peut être fondé sur les besoins, l’exposition à une situation pertinente ou le contexte. Des indicateurs similaires peuvent correspondre à des circonstances sous-jacentes différentes ; la corrélation n’établit donc pas la causalité et ne justifie pas une réponse identique pour tous. L’examen humain et l’interprétation locale sont essentiels, en particulier lors de l’utilisation de systèmes d’alerte précoce.

Un portefeuille de réformes peut combiner des interventions dont les mécanismes se renforcent mutuellement — par exemple, le soutien à l’assiduité peut favoriser la participation, le tutorat peut fournir un enseignement supplémentaire et le développement professionnel des enseignants peut améliorer l’enseignement régulier en classe. Cette complémentarité est plausible, mais pas garantie. Répartir les ressources entre trop nombreux programmes peut réduire le dosage et affaiblir la mise en œuvre ; de même, chaque élève signalé ne doit pas automatiquement recevoir toutes les interventions.

Un processus de réforme solide passe donc du diagnostic à la théorie du changement, à la comparaison des interventions, à la mise en œuvre, au suivi, à l’interprétation et à l’ajustement. Il distingue les données probantes, l’incertitude et les valeurs de politique publique, tout en veillant à ce que les actions retenues soient adaptées au problème, que les responsabilités soient clairement définies, qu’un soutien suffisant soit mobilisé et que soient évaluées à la fois la mise en œuvre et les résultats significatifs.}

1.1 : Diagnostiquer les problèmes et choisir une théorie du changement

{Une réforme efficace de l’éducation commence par un diagnostic avant toute intervention. Une situation observée, telle que de faibles résultats aux évaluations ou une participation inégale, est un symptôme — et non une explication complète. Un diagnostic solide établit un lien entre :

situation observée → causes plausibles → apprenants concernés → décision réalisable

Les décideurs doivent vérifier si les causes proposées sont plausibles, reconnaître que ces causes peuvent varier selon les établissements ou les groupes d’élèves, et rendre l’incertitude visible. Une intervention doit répondre à un problème compris, plutôt qu’être choisie simplement parce qu’elle est familière ou politiquement attrayante.

Une théorie du changement explique comment une intervention est censée produire des résultats :

intrants → activités → produits immédiats → résultats à court terme → résultats à plus long terme

Elle doit décrire le mécanisme qui relie les activités aux résultats, ainsi que les hypothèses et les conditions contextuelles. Mener les activités à bien ou produire les résultats attendus démontre la mise en œuvre, mais ne prouve pas que l’intervention a produit l’impact visé. Si les résultats n’apparaissent pas, la théorie aide à déterminer si le problème réside dans la mise en œuvre, le mécanisme proposé, les hypothèses ou le contexte.

Enfin, il faut distinguer la mesure du jugement de politique publique :

• La mesure décrit ou estime les situations et rend compte des éléments probants en indiquant l’incertitude de manière appropriée.
• Le jugement de politique publique fixe les priorités, les seuils, les compromis acceptables et les décisions concernant les mesures à prendre.

Un indicateur ne constitue pas en lui-même l’objectif de la politique publique, et la précision statistique ne détermine pas l’action appropriée. Les éléments probants peuvent clarifier les problèmes, mettre à l’épreuve certaines composantes d’une théorie du changement et révéler l’incertitude, mais ils ne peuvent pas décider des objectifs ni des compromis que la société doit privilégier.}

Une réforme de l’éducation commence généralement par une situation observée : les apprenants n’atteignent pas les résultats attendus, la participation est inégale ou une intervention existante ne produit pas les résultats escomptés. Le principal défi consiste à déterminer ce que signifie cette situation avant de décider des mesures à prendre. Un processus de réforme rigoureux passe donc du diagnostic à l’action, puis de l’action aux éléments probants et au jugement.

À la fin de ce sous-chapitre, vous devriez être capable de :

• distinguer une situation observée d’un diagnostic de ses causes ;
• utiliser une théorie du changement pour relier les actions aux résultats attendus ; et
• distinguer ce que la mesure décrit de ce que le jugement de politique publique décide.

Diagnostiquer le problème avant de choisir une intervention

Le diagnostic du problème est le processus qui consiste à passer d’une situation observée à une compréhension du problème permettant d’agir. Il ne s’agit pas simplement de nommer un résultat indésirable. Il faut chercher ce qui peut plausiblement contribuer à ce résultat, déterminer qui est concerné et identifier quelle décision pourrait raisonnablement y répondre.

La chaîne du diagnostic est la suivante :

situation observée -> causes plausibles -> apprenants concernés -> décision concrète

Chaque élément de cette chaîne remplit une fonction différente.

• Une situation observée correspond à ce qui a été constaté ou mesuré. Par exemple, de faibles résultats aux évaluations peuvent indiquer que les apprenants n’atteignent pas le niveau de réussite attendu.
• Les causes plausibles sont des explications possibles susceptibles de rendre compte de la situation. Un résultat, à lui seul, ne permet pas d’établir quelle explication est la bonne.
• Les apprenants concernés désignent les personnes qui subissent le problème. Les causes et les effets peuvent différer selon les établissements ou les groupes d’élèves.
• Une décision concrète précise ce que les décideurs pourraient envisager de faire, au regard du diagnostic et des données disponibles.

La première précaution importante consiste à éviter de traiter un symptôme comme une explication complète. De faibles résultats aux évaluations constituent un résultat visible, mais ils n’expliquent pas, à eux seuls, pourquoi les performances sont faibles. Considérer le résultat comme l’intégralité du problème peut conduire à choisir une intervention qui s’attaque à la mesure plutôt qu’à la difficulté sous-jacente.

La deuxième précaution consiste à vérifier qu’une cause proposée est plausible avant de choisir une intervention. Une intervention devrait avoir un lien raisonnable avec le problème diagnostiqué. Si ce lien n’est pas clair, l’intervention risque d’être choisie parce qu’elle est familière, disponible ou politiquement attrayante, plutôt que parce qu’elle répond à la situation.

La troisième précaution consiste à examiner les variations. Un même problème observé peut ne pas avoir la même cause selon les établissements ou les groupes d’élèves. Une description unique peut dissimuler des expériences, des conditions ou des obstacles différents. Pour cette raison, le diagnostic ne devrait pas partir du principe qu’une seule explication s’applique uniformément.

Un diagnostic utile n’a pas besoin d’éliminer toute incertitude. Il doit rendre l’incertitude visible et préciser ce qui est connu, ce qui est estimé et ce qui reste à étudier. Cela favorise une formulation plus rigoureuse de la question de la réforme. Au lieu de demander seulement : « Quelle intervention faudrait-il mettre en place ? », les décideurs peuvent se demander : « Quelle situation cherchons-nous à changer, qu’est-ce qui peut l’expliquer, qui est concerné et quelle action pourrait plausiblement y répondre ? »

La distinction entre diagnostic et intervention est importante, car une intervention constitue une réponse à un problème et non un substitut à sa compréhension. Passer du diagnostic à l’action est un aspect central du raisonnement en matière de réforme de l’éducation, notamment pour les administrateurs, les acteurs de la défense des intérêts et les apprenants citoyens.

Relier les causes, les actions et les résultats attendus

Une théorie du changement explique comment une intervention est censée produire un changement. Elle établit un lien entre les ressources fournies et les actions menées, d’une part, et les résultats attendus qui en découlent, d’autre part. La chaîne fondamentale est la suivante :

ressources -> activités -> produits immédiats -> résultats à court terme -> résultats à plus long terme

Cette chaîne n’est pas simplement une liste de composantes du programme. Elle constitue une hypothèse sur la manière dont le changement est censé s’opérer.

| Élément de la chaîne | Question directrice | | -------------------- | --------------------------------------------- | | Ressources nécessaires | Quelles ressources ou conditions sont requises ? | | Activités | Que fera l’intervention ? | | Produits immédiats | Que produira directement l’intervention ? | | Résultats à court terme | Quel changement est attendu peu après ? | |Résultats à plus long terme | Quel changement est attendu sur une période plus longue ? |

Le lien le plus important est le mécanisme qui relie les activités aux résultats. Énumérer les activités sans expliquer le mécanisme attendu laisse la théorie incomplète. Une activité n’est pas automatiquement efficace du seul fait qu’elle a été réalisée. La théorie doit indiquer pourquoi cette activité devrait contribuer au changement visé.

Cette distinction sépare également la mise en œuvre de l’impact. L’achèvement de la mise en œuvre signifie que les activités prévues ont été réalisées ou que les produits immédiats ont été générés. L’impact éducatif concerne la réalisation des résultats visés. L’achèvement d’une activité peut donc constituer un élément probant concernant la mise en œuvre, sans prouver que l’intervention a atteint son objectif à plus long terme.

Une théorie du changement doit également énoncer ses hypothèses et ses conditions contextuelles. Une hypothèse est un élément dont dépend la chaîne, mais que celle-ci ne maîtrise pas entièrement. Le contexte comprend les conditions environnantes qui peuvent favoriser, limiter ou modifier le fonctionnement de l’intervention. Si ces conditions sont ignorées, la théorie peut sembler plus certaine que ne le permettent les données probantes.

La relation entre le diagnostic et la théorie du changement peut être représentée comme suit :

flowchart TD
  n1["Condition observée"] --> n2["Causes plausibles"]
  n2 --> n3["Action liée au diagnostic"]
  n3 --> n4["Activités et résultats immédiats"]
  n4 --> n5["Résultats à court terme"]
  n5 --> n6["Résultats à plus long terme"]
  n2 --> n7["Hypothèses et contexte"]
  n7 --> n5

Le diagnostic identifie ce qui doit retenir l’attention et explique pourquoi une réponse particulière peut être pertinente. La théorie du changement précise ensuite comment cette réponse est censée fonctionner. Si le diagnostic évolue, les activités appropriées ou les résultats attendus peuvent eux aussi changer. Si les activités sont menées à bien, mais que les résultats attendus ne se manifestent pas, la théorie du changement fournit un cadre pour examiner s’il convient de reconsidérer le mécanisme, la mise en œuvre, les hypothèses ou le contexte.

La deuxième distinction dans ce sous-chapitre concerne la mesure et le jugement en matière de politiques publiques. La mesure décrit une situation observée ou estimée. Le jugement en matière de politiques publiques fixe des priorités, des seuils et des arbitrages acceptables.

La mesure peut décrire les performances des apprenants, l’ampleur d’une situation ou l’évolution d’un résultat. Elle peut porter sur des résultats observés ou sur des estimations, et comporter une part d’incertitude. La mesure est donc essentielle pour décrire un problème de réforme et examiner les données probantes relatives à la mise en œuvre et aux résultats. Elle ne permet pas, à elle seule, de déterminer ce qui doit être fait.

Le jugement en matière de politiques publiques intervient lorsque les décideurs déterminent l’importance à accorder à une situation et la réponse acceptable. Ces jugements peuvent prendre en compte les priorités, les seuils, les ressources, l’équité, la faisabilité ou les arbitrages. Il ne s’agit pas simplement de mesures techniques. Ce sont des décisions relatives aux finalités et aux valeurs.

| Mesure | Jugement de politique publique | | --------------------------------------------- | ------------------------------------- | | Décrit une situation observée ou estimée | Définit les priorités | | Présente les éléments probants avec le degré d’incertitude approprié | Fixe les seuils justifiant une préoccupation ou une action | | Aide à examiner la mise en œuvre et les résultats | Détermine les compromis acceptables | | Peut éclairer l’interprétation | Détermine ce qui devrait être fait |

Cette distinction permet d’éviter trois erreurs courantes. Premièrement, un indicateur n’est pas l’objectif de la politique publique lui-même. Un indicateur est un moyen de décrire ou de suivre une situation ; il peut ne pas rendre compte de tous les aspects de l’objectif. Deuxièmement, un résultat statistiquement précis ne détermine pas automatiquement l’action appropriée. La précision concerne la clarté avec laquelle une situation a été estimée, tandis que l’action dépend également des priorités et des compromis. Troisièmement, les choix de valeurs ne devraient pas être dissimulés derrière un langage technique. Si une décision reflète une priorité ou un seuil, ce jugement doit être reconnu comme tel.

Une démarche rigoureuse va donc de la finalité et des décisions de conception à la mise en œuvre, à la mesure, à la comparaison, à l’interprétation et au débat. La mesure contribue à cette progression, mais elle ne remplace ni l’interprétation ni le jugement en matière de politique publique. Les données probantes peuvent clarifier la situation, mettre à l’épreuve certains éléments d’une théorie du changement et cerner l’incertitude. Elles ne peuvent pas, à elles seules, décider quels objectifs méritent la priorité ni quels compromis sont acceptables.

Conclusion

Un raisonnement efficace en matière de réforme commence avant même de choisir une intervention. Le diagnostic du problème suit le chemin situation observée -> causes plausibles -> apprenants concernés -> décision opérationnelle, tout en reconnaissant que les symptômes ne constituent pas des explications complètes et que les causes peuvent varier selon les établissements ou les groupes d’élèves. Une théorie du changement relie ensuite intrants -> activités -> produits immédiats -> résultats à court terme -> résultats à plus long terme, rendant visibles le mécanisme attendu, les hypothèses, le contexte ainsi que la distinction entre mise en œuvre et impact. Enfin, la mesure décrit une situation observée ou estimée, tandis que le jugement politique définit les priorités, les seuils et les compromis acceptables. Maintenir ces rôles distincts permet de s’appuyer sur des données probantes plus claires, de reconnaître plus honnêtement les incertitudes et de rendre les débats sur l’action éducative plus transparents.

1.2 : Comparer les interventions et constituer un portefeuille de réformes

{Les interventions ne doivent pas être comparées en se demandant laquelle est universellement « la meilleure », mais en cherchant à déterminer quel mécanisme correspond au problème diagnostiqué, peut atteindre le groupe visé, peut être mis en œuvre avec une intensité suffisante et peut faire l’objet d’un suivi et d’ajustements.

• Le tutorat fournit un enseignement supplémentaire et structuré. Sa réussite dépend de la qualité des tuteurs, de la fréquence, de l’assiduité des élèves et de l’adéquation avec les besoins des apprenants. Les résultats observés à l’échelle d’un groupe ne garantissent pas le même effet pour chaque élève.
• Le soutien à l’assiduité s’attaque à des obstacles tels que le transport, la santé, la sécurité ou les responsabilités de prise en charge. Il doit identifier la cause des absences, fournir une aide concrète et suivre l’assiduité effective, plutôt que de se fonder sur les dossiers d’inscription ou sur les sanctions.
• La réforme des programmes modifie les contenus, leur progression, les supports, l’enseignement et l’alignement de l’évaluation. Une couverture formelle étendue ne garantit pas la mise en œuvre en classe, en particulier sans soutien aux enseignants.
• Le développement professionnel des enseignants vise à améliorer l’enseignement au moyen de la formation continue, de la mise en pratique, du retour d’information et de l’accompagnement. La seule participation à des ateliers ou la seule satisfaction exprimée ne montrent pas que l’enseignement ou les apprentissages des élèves ont changé.
• Les systèmes d’alerte précoce utilisent des indicateurs pour signaler des élèves nécessitant un examen humain et un soutien ciblé. Un signal de risque n’est pas un diagnostic ; le personnel doit examiner la situation, attribuer les responsabilités, fournir un soutien et assurer le suivi.

Comparez les interventions selon quatre dimensions :

1. Portée : qui reçoit directement ou indirectement un soutien.
2. Mécanisme : ce qui est censé changer en premier.
3. Faisabilité : le personnel, le temps, la coordination, les supports et les données nécessaires.
4. Équité : les personnes qui peuvent être atteintes, oubliées ou mises à contribution.

La portée n’est pas synonyme d’impact. Une réforme couvrant chaque classe peut avoir peu d’effet concret si elle n’est pas mise en œuvre, tandis qu’un programme de tutorat de moindre ampleur peut offrir une dose d’intervention plus importante à certains apprenants. Le ciblage peut se fonder sur les besoins, l’exposition ou le contexte, mais des indicateurs similaires peuvent avoir des causes différentes et nécessiter des réponses différentes. Une corrélation n’établit pas de lien de causalité et ne permet pas de déterminer l’intervention appropriée pour chaque personne.

Un portefeuille de réformes peut combiner des interventions complémentaires : le soutien à l’assiduité peut permettre la participation, le tutorat peut remédier aux lacunes d’apprentissage et le développement professionnel des enseignants peut améliorer l’enseignement ordinaire en classe. Toutefois, les effets combinés doivent être évalués et non présumés. Une dispersion excessive des ressources peut compromettre toutes les interventions.

Un processus pratique de constitution de portefeuille consiste à diagnostiquer le problème, à sélectionner un mécanisme qui s’attaque à une cause plausible, à définir le groupe cible et la dose d’intervention requise, à attribuer les responsabilités de mise en œuvre et de suivi, puis à utiliser un suivi formatif pour réviser la mise en œuvre.}

Après avoir diagnostiqué un problème éducatif, les décideurs publics doivent encore faire un choix difficile : quelle intervention répond au problème, pour qui et dans quelles conditions de mise en œuvre ? Une intervention n’est pas simplement une idée prometteuse. Il s’agit d’un changement planifié des pratiques, des ressources ou de la prise de décision, qui repose sur une théorie du changement. La question pertinente n’est donc pas « Quelle intervention est la meilleure ? », mais « Quel mécanisme correspond à ce problème, peut être déployé avec une portée et un dosage suffisants, et peut faire l’objet d’un suivi et d’ajustements ? » Le document source présente la comparaison comme le passage du diagnostic à l’action pour les administrateurs, les défenseurs de l’éducation et les apprenants citoyens. #(Source Evidence Registry, 1 | evidence=sc12-e2)

Objectifs d’apprentissage

À la fin de ce sous-chapitre, vous devriez être capable de :

• Expliquer ce que le tutorat, le soutien à l’assiduité, la réforme des programmes scolaires, le développement professionnel des enseignants et les systèmes d’alerte précoce sont conçus pour changer.
• Comparer les interventions selon leur mécanisme, leur portée, leur dosage, leur faisabilité et leur équité.
• Distinguer un indicateur de risque d’un diagnostic individuel, et un résultat mesuré d’un jugement de politique publique.
• Expliquer comment le ciblage et la complémentarité peuvent orienter un portefeuille de réformes sans présumer d’effets additifs automatiques.

Ce que chaque intervention est conçue pour changer

Les cinq interventions examinées ici agissent sur différentes composantes du système éducatif. Les documents sources les présentent comme des objets de comparaison, mais ne fournissent pas de tailles d’effet et n’établissent pas qu’une intervention soit universellement supérieure aux autres. #(Source Evidence Registry, 1 | evidence=sc12-e1) Il faut donc d’abord examiner leurs mécanismes avant d’interpréter les données relatives aux résultats.

Le tutorat fournit un temps d’enseignement supplémentaire et structuré. Parmi les modalités courantes figurent le tutorat individuel, en petit groupe, au sein de l’établissement et en complément des cours. Sa théorie du changement est la suivante : un enseignement et un entraînement plus ciblés peuvent aider les apprenants à combler certaines lacunes que l’enseignement ordinaire en classe n’a pas permis de résoudre. La cible peut être un apprenant, un petit groupe ou un ensemble plus large d’élèves identifiés à partir du diagnostic d’un problème au sein de l’établissement.

Le tutorat dépend de bien davantage que de l’étiquette attribuée au programme. La qualité des tuteurs, la fréquence des séances, l’assiduité des élèves et l’adéquation entre l’enseignement et les besoins des apprenants influent tous sur la fidélité de mise en œuvre. Comparer deux programmes de tutorat n’a que peu de valeur si l’un offre un temps d’enseignement nettement plus long ou s’adresse à une population cible différente. De même, un gain moyen observé pour un groupe ne doit pas être considéré comme un effet garanti pour chaque apprenant. Les données concernant un groupe décrivent des tendances générales parmi les apprenants ; elles ne permettent pas d’établir un diagnostic pour un élève donné.

Le soutien à l’assiduité vise à réduire les obstacles à la participation. Sa séquence pratique est la suivante :

1. Identifier l’obstacle.
2. Contacter la famille ou l’élève.
3. Fournir un soutien pratique.
4. Suivre l’assiduité.

L’obstacle peut être lié au transport, à la santé, à la sécurité ou aux responsabilités de prise en charge. Le soutien à l’assiduité se distingue donc d’une simple campagne de motivation. Une réponse punitive peut être inefficace si elle ne s’attaque pas à la cause de l’absence. Les seuls registres d’inscription ne démontrent pas non plus une amélioration de la participation. Le suivi de l’assiduité doit distinguer le fait d’être inscrit de celui de fréquenter régulièrement l’établissement.

La réforme des programmes scolaires modifie ce qui est enseigné, la manière dont les apprentissages sont ordonnés, ainsi que l’articulation entre les supports pédagogiques, l’enseignement et l’évaluation. Ses composantes étayées par les sources comprennent la sélection des contenus, leur séquençage, les supports pédagogiques et l’alignement entre le programme, l’enseignement et l’évaluation.

La réforme des programmes scolaires peut avoir une portée étendue, car les programmes écrits et les supports peuvent s’appliquer à de nombreuses classes. Toutefois, une large couverture formelle ne signifie pas que ces éléments soient effectivement mis en œuvre en classe. Modifier les documents sans accompagner les enseignants peut laisser l’enseignement largement inchangé. Ajouter davantage de contenus peut également réduire le temps disponible pour les apprentissages fondamentaux. Enfin, deux documents qui utilisent les mêmes termes ne démontrent pas nécessairement leur alignement. Les décideurs doivent examiner comment les contenus, les activités d’enseignement et les exigences de l’évaluation s’articulent concrètement.

Le développement professionnel des enseignants vise à faire évoluer l’enseignement en classe au moyen d’une séquence comprenant une formation professionnelle, une mise en pratique accompagnée, des retours ou du coaching, puis une évolution des pratiques pédagogiques. Un atelier peut introduire une idée, mais la participation à cet atelier ne prouve pas que les pratiques aient changé. La mise en œuvre dépend de conditions telles que la charge de travail des enseignants, la direction de l’établissement, le temps consacré à la mise en pratique et l’accès à un accompagnement.

Le développement professionnel des enseignants peut atteindre indirectement de nombreux apprenants, car un même enseignant peut influer sur plusieurs classes. Sa portée est donc potentiellement large, mais son mécanisme est moins immédiat que celui du tutorat individuel. Un indicateur à court terme, tel que la satisfaction des enseignants, peut être utile pour comprendre l’expérience des participants, mais il ne peut à lui seul établir une évolution des pratiques pédagogiques ou une amélioration des apprentissages des élèves.

Les systèmes d’alerte précoce organisent les informations afin d’identifier les élèves susceptibles d’avoir besoin d’une attention particulière. Ils ne constituent pas des diagnostics et ne remplacent pas le soutien. Leur séquence de mise en œuvre est la suivante :

flowchart TD
  n1["Indicateurs de risque"] --> n2["Règle de détection"]
  n2 --> n3["Examen humain"]
  n3 --> n4["Accompagnement ciblé"]
  n4 --> n5["Suivi"]
  n5 --> n1

Les indicateurs de risque peuvent inclure des tendances observées dans l’assiduité ou dans d’autres dossiers scolaires, mais un indicateur est un signal de mesure, et non une explication de la situation d’un élève. Une règle de signalement identifie les cas à examiner ; elle ne détermine pas ce qui ne va pas. L’examen humain est essentiel, car les tendances historiques peuvent reproduire des inégalités et parce qu’une même tendance observée peut avoir des causes différentes. L’établissement doit également préciser qui intervient après le signalement d’un élève et comment les informations issues du suivi sont réintégrées dans le système.

Comparer la portée, le mécanisme, la faisabilité et l’équité

Une comparaison utile commence par quatre questions :

• Portée : Qui bénéficie directement ou indirectement de l’intervention ?
• Mécanisme : Quel changement devrait se produire en premier ?
• Faisabilité : Quels effectifs, quels délais, quelle coordination, quels matériels et quels systèmes de données sont nécessaires ?
• Équité : Qui peut accéder à l’intervention, qui risque de ne pas en bénéficier et qui en assume les contraintes ?

Ces dimensions sont des outils d’analyse. Elles ne déterminent pas automatiquement une décision politique. Le choix d’un dosage, d’un seuil, d’un groupe cible ou d’une allocation des ressources reste une décision politique éclairée par les données probantes, le contexte local et la capacité de mise en œuvre.

| Intervention | Mécanisme principal | Portée typique | Question clé de dosage ou de fidélité | Limitation importante | | --------------------- | ---------------------------------------------------------------------------------------- | ------------------------------------------------------------------- | ---------------------------------------------------------------------- | ----------------------------------------------------------- | | Tutorat | Temps d’enseignement structuré supplémentaire | Contact direct avec des apprenants sélectionnés ou de petits groupes | Qualité du tuteur, fréquence, adéquation pédagogique et assiduité des élèves | Les effets moyens ne sont pas garantis pour chaque apprenant | | Soutien à l’assiduité | Identification des obstacles, suivie d’une prise de contact, d’un soutien pratique et d’un suivi | Contact direct avec les élèves et les familles confrontés à des obstacles à la participation | Continuité du soutien et suivi effectif de l’assiduité | L’absence peut être interprétée à tort comme un manque de motivation | | Réforme des programmes | Changements de contenu, de progression, de supports et de cohérence | Portée potentiellement large dans les établissements scolaires, les classes et les supports | Mise en œuvre en classe et préservation du temps consacré aux apprentissages fondamentaux | Une réforme écrite peut ne pas devenir une réforme effectivement mise en œuvre | | Développement professionnel des enseignants | Formation professionnelle, pratique accompagnée, retours ou accompagnement, et évolution des pratiques d’enseignement | Portée indirecte par l’intermédiaire des enseignants et de leurs classes | Pratique continue, accompagnement, leadership et charge de travail gérable | Participer à un atelier ou en être satisfait ne signifie pas que les pratiques d’enseignement ont changé | | Systèmes d’alerte précoce | Indicateurs de risque, signalement, examen, soutien et suivi | La couverture dépend de l’étendue des données et de la réactivité du personnel | Des règles claires, un examen humain, des responsabilités attribuées et un suivi | Un signalement ne constitue pas un diagnostic individuel |

La matrice montre pourquoi il ne faut pas confondre couverture et impact. Une réforme des programmes scolaires peut officiellement toucher chaque classe, mais avoir une couverture pratique limitée si les enseignants ne bénéficient pas du soutien nécessaire. Un programme de tutorat peut toucher moins d’élèves, mais offrir une dose d’accompagnement plus importante à ceux qui ont été sélectionnés. Un système d’alerte précoce peut identifier de nombreux élèves, mais produire peu de bénéfices si personne n’est chargé du suivi.

Le ciblage peut être organisé d’au moins trois façons :

• Ciblage selon le besoin : orienter le soutien vers les apprenants ou les établissements qui présentent un besoin défini en matière d’apprentissage, d’assiduité ou d’enseignement.
• Ciblage selon l’exposition : orienter le soutien vers les personnes qui ont été confrontées à une situation pertinente, comme des absences répétées ou un accès limité à l’enseignement.
• Ciblage selon le contexte : adapter le soutien à des circonstances telles que les difficultés de transport, les effectifs de l’établissement, les conditions d’exercice de la direction ou le temps d’enseignement disponible.

Ces règles ne doivent pas être réduites à une formule universelle. Un élève peut avoir une faible assiduité en raison de difficultés de transport, tandis qu’un autre élève présentant le même relevé d’assiduité peut être confronté à des problèmes de santé ou à des responsabilités d’aidant. L’indicateur est similaire, mais la réponse appropriée peut différer. La corrélation entre les absences et les faibles résultats peut justifier une analyse ; elle n’établit pas, à elle seule, que les absences ont causé le résultat d’apprentissage ni que la même intervention fonctionnera pour tous les élèves.

Il y a complémentarité lorsque les mécanismes des interventions se renforcent mutuellement. Par exemple, un soutien à l’assiduité peut aider un élève à participer régulièrement ; le tutorat peut ensuite lui fournir un enseignement structuré supplémentaire ; le développement professionnel des enseignants peut améliorer l’enseignement en classe auquel l’élève est exposé pendant la journée scolaire ordinaire. Il s’agit d’une logique de portefeuille plausible, et non d’une garantie que les effets s’additionneront.

Un portefeuille doit garantir un dosage adéquat. Répartir les ressources entre un trop grand nombre d’interventions peut laisser chacune d’elles être mise en œuvre de manière trop limitée pour fonctionner comme prévu. Il doit également éviter de considérer chaque élève signalé comme un candidat à tous les programmes. Une séquence pratique consiste à :

1. Diagnostiquer le problème et identifier les causes plausibles.
2. Sélectionner une intervention dont le mécanisme s’attaque à l’une de ces causes.
3. Définir le public cible visé et le dosage requis.
4. Attribuer la responsabilité de la mise en œuvre et du suivi.
5. Recourir à un suivi formatif pour vérifier la mise en œuvre et réviser le plan.

Exercice d’application : Imaginez un établissement scolaire hypothétique dans lequel certains élèves ont des absences répétées, tandis que d’autres sont assidus mais ont besoin d’un soutien pédagogique supplémentaire. Associez chaque groupe à une intervention possible, indiquez ce que l’intervention est censée modifier en premier lieu et identifiez une condition de mise en œuvre qui devrait faire l’objet d’un suivi. Ne déduisez pas d’explication causale du seul profil d’assiduité.

Le diagramme du portefeuille ci-dessous met l’accent sur les interactions tout en préservant l’incertitude : les interventions peuvent se soutenir mutuellement, mais leur effet combiné doit être évalué plutôt que présumé.

Conclusion

Comparer des interventions exige plus que de les classer selon leur réputation ou leurs résultats moyens. Le tutorat modifie l’accès à un temps d’enseignement structuré ; les dispositifs de soutien à l’assiduité s’attaquent aux obstacles à la participation ; la réforme des programmes transforme les contenus, leur progression, les supports et leur cohérence ; le développement professionnel des enseignants vise à faire évoluer les pratiques pédagogiques par une mise en pratique accompagnée ; et les systèmes d’alerte précoce organisent les informations en vue de leur examen et de leur suivi. Chacune de ces interventions a une portée, des exigences de dosage, des conditions de faisabilité et des risques en matière d’équité qui lui sont propres.

Le ciblage relie le diagnostic du problème à l’action, mais les indicateurs ne s’expliquent pas d’eux-mêmes. Un signalement nécessite un examen humain, et une tendance mesurée doit être interprétée. La complémentarité peut justifier un portefeuille de réformes lorsque les mécanismes se renforcent mutuellement ; toutefois, un dosage insuffisant, des responsabilités mal définies et l’hypothèse automatique d’effets additifs peuvent affaiblir l’ensemble du dispositif. Après avoir comparé les réponses possibles, le cours s’intéresse maintenant aux conditions qui déterminent si une réforme choisie est effectivement mise en œuvre, suivie et mise à profit.

Chapitre 2 : Mettre en œuvre la réforme et constituer des données probantes crédibles

{Les données probantes sur la mise en œuvre et l’architecture de l’évaluation sont essentielles pour interpréter les réformes éducatives de manière responsable. Avant de se demander si les résultats se sont améliorés, les décideurs doivent établir ce qui a été mis en œuvre, auprès de qui, avec quel niveau de qualité et comment la mise en œuvre a évolué au fil du temps. Ils doivent également comprendre ce que représentent les résultats des évaluations, avec quelle précision ils sont mesurés et quelles décisions de politique publique ces résultats peuvent éclairer.

La fidélité de la mise en œuvre ne se résume pas à mener à bien les activités prévues. Elle comprend notamment :

• Respect des modalités prévues : déterminer si les activités essentielles ont bien été mises en œuvre.
• Qualité de la mise en œuvre : déterminer si elles ont été mises en œuvre de manière exacte et efficace.
• Réceptivité des participants : comprendre comment les enseignants, les apprenants et les autres participants se sont engagés dans l’intervention et l’ont comprise.
• Adaptation justifiée : déterminer si les changements étaient délibérés, documentés et compatibles avec le maintien du mécanisme visé par l’intervention.

La portée et la dose fournissent des informations distinctes. La portée concerne les personnes qui ont effectivement bénéficié de l’intervention, tandis que la dose concerne la quantité, la fréquence ou la durée de leur participation. La disponibilité d’un programme ne garantit pas son exposition, et une dose plus importante n’est pas automatiquement préférable si la mise en œuvre est de mauvaise qualité, trop contraignante ou se fait au détriment d’autres apprentissages. Ces dimensions doivent être interprétées conjointement avec la qualité de la mise en œuvre et la réponse des participants.

Le suivi formatif soutient l’amélioration pendant la mise en œuvre, plutôt que de servir de preuve d’une réussite finale. Un suivi utile relie chaque indicateur à une décision possible et désigne la personne responsable d’y donner suite. La boucle de rétroaction centrale est la suivante :

1. Mesurer la mise en œuvre, la portée, la dose, la qualité ou la réponse.
2. Interpréter les données probantes et envisager d’autres explications.
3. Agir au moyen d’un ajustement ciblé.
4. Observer les conséquences de l’ajustement.
5. Modifier, maintenir, annuler ou examiner le changement.

Les indicateurs avancés, tels que la participation ou l’utilisation observée d’une routine pédagogique, fournissent des signaux d’alerte précoces et permettent d’agir en temps utile. Les indicateurs retardés, tels que les résultats ultérieurs aux évaluations ou la persistance de l’assiduité, montrent les résultats obtenus à terme, mais peuvent arriver trop tard pour corriger les problèmes de mise en œuvre. Aucun des deux types ne suffit à lui seul. Le suivi doit rester pertinent pour la prise de décision, intégrer les points de vue des praticiens et des apprenants, et consigner ce qui a changé et pourquoi. Cela permet aux responsables des politiques publiques de distinguer une intervention inefficace d’une intervention mal mise en œuvre, qui a touché trop peu d’apprenants ou qui a bénéficié d’une dose insuffisante.

Les résultats des évaluations exigent une interprétation tout aussi rigoureuse. Une évaluation est un processus conçu pour recueillir des données probantes sur un construit, tel que la compréhension de l’écrit ou le raisonnement mathématique. Elle peut avoir une visée formative, diagnostique, sommative, de suivi, de sélection ou de responsabilisation. Ces finalités ne sont pas interchangeables : une évaluation adaptée à l’estimation des performances moyennes à l’échelle d’un système peut ne pas fournir suffisamment d’informations pour établir un diagnostic individuel ou prendre des décisions à enjeux élevés.

La validité de construit concerne l’interprétation et l’utilisation défendues pour les scores. Le raisonnement établit un lien entre :

1. Le construit visé.
2. La conception des tâches.
3. Les réponses observées des apprenants.
4. Le modèle de notation et l’interprétation qui en découle.
5. La décision ou l’utilisation fondée sur les scores.

Les scores peuvent également refléter la langue, l’accessibilité pour les personnes en situation de handicap, la motivation, l’anxiété, les conditions de passation, la familiarité avec la technologie ou les limites de temps. La seule couverture du programme ne prouve pas que les apprentissages visés ont été mesurés. La mesure décrit les éléments probants et leur degré de précision ; le jugement en matière de politiques détermine quelle action, le cas échéant, ces éléments justifient.

La fiabilité concerne la constance, et non l’exactitude. Une mesure peut produire des résultats stables tout en captant systématiquement la mauvaise caractéristique. Tous les résultats observés comportent une part d’erreur de mesure ; les scores ne doivent donc pas être considérés comme des lectures exactes du niveau de compétence sous-jacent. Les échelles de compétence et les valeurs plausibles peuvent représenter l’incertitude de manière plus appropriée pour les analyses à l’échelle d’une population, mais les valeurs plausibles ne constituent pas des scores diagnostiques individuels précis.

L’échantillonnage influe également sur l’interprétation. Lorsque les apprenants ou les établissements ont des probabilités de sélection inégales, les pondérations aident les répondants à représenter l’ensemble de la population. Les pondérations peuvent également être ajustées pour tenir compte de la non-réponse et calibrées à partir d’informations connues sur la population. Toutefois, la pondération ne peut pas corriger un défaut de validité, des déclarations inexactes, un biais de non-réponse, une mise en œuvre défaillante ou un effet de confusion.

Les estimations concernant les groupes sont incertaines en raison de la variation d’échantillonnage, de l’erreur de mesure, de la structure en grappes, des pondérations inégales, des effets du plan d’échantillonnage et de la faible taille de certains sous-groupes. Les apprenants d’un même établissement ou d’une même classe peuvent partager des conditions communes, ce qui réduit la quantité effective d’informations indépendantes. Les estimations devraient donc être présentées avec des erreurs types ou des intervalles d’incertitude, et les faibles écarts ne devraient pas être considérés comme décisifs sans examiner leur précision et la comparabilité des mesures.

Enfin, corrélation n’est pas causalité. Une relation entre les résultats à une évaluation et un programme peut refléter l’effet du programme, mais elle peut aussi résulter du financement antérieur, de l’expérience des enseignants, des ressources familiales, de la sélection ou d’autres facteurs contextuels. De solides affirmations causales nécessitent un plan d’étude approprié, des comparaisons crédibles, une attention portée aux facteurs de confusion et un mécanisme plausible. Les effets peuvent également varier selon la fidélité de la mise en œuvre, la portée, le dosage et les conditions locales.

La leçon centrale du chapitre est que la solidité du jugement en matière de politiques dépend d’une chaîne de preuves : rendre la mise en œuvre observable, la suivre et l’adapter de manière systématique, définir ce que mesurent les évaluations et la façon dont elles seront utilisées, tenir compte de l’incertitude liée à l’échantillonnage et à la mesure, et éviter de formuler des affirmations plus fortes que ne le permettent les éléments probants.}

2.1 : Mise en œuvre, suivi et gestion adaptative

{Les données relatives à la mise en œuvre sont indispensables avant de déterminer si une intervention a fonctionné. Des résultats faibles peuvent être dus à une conception défaillante, à une mise en œuvre insuffisante, à une participation limitée, à un dosage inadéquat ou à des conditions extérieures.

La fidélité de mise en œuvre signifie qu’une intervention est déployée conformément à sa conception prévue, tout en autorisant des adaptations justifiées et documentées. Elle comprend :

• Respect des modalités prévues : vérifier si les activités essentielles ont bien été mises en œuvre.
• Qualité de la mise en œuvre : vérifier si elles ont été menées correctement et efficacement.
• Réceptivité des participants : observer comment les enseignants et les apprenants se sont engagés dans l’intervention et l’ont comprise.
• Adaptation : vérifier si les changements étaient délibérés et justifiés, et s’ils ont préservé le processus d’apprentissage prévu.

Un changement n’est pas automatiquement un échec. Adapter les exemples pour des apprenants plurilingues peut préserver l’objectif de l’intervention, tandis que supprimer la pratique guidée peut en modifier le mécanisme central.

La portée concerne les personnes qui bénéficient de l’intervention ; le dosage concerne la quantité, la fréquence et la durée de leur participation. La disponibilité ne garantit pas la portée, et le dosage peut varier d’un apprenant à l’autre. Un dosage plus élevé n’est pas toujours préférable si l’enseignement est de mauvaise qualité, trop exigeant ou s’il se fait au détriment d’autres apprentissages. Les relevés de mise en œuvre doivent suivre la participation, la fréquence, les activités essentielles, la qualité, les retours des participants et les adaptations.

Le suivi formatif s’appuie sur des informations recueillies selon des cycles courts pendant la mise en œuvre afin d’identifier les problèmes et d’améliorer le déploiement avant l’évaluation finale. Parmi les sources utiles figurent les relevés d’assiduité, les observations de cours, les travaux des élèves et les retours des enseignants et des apprenants. Le suivi est particulièrement utile lorsque chaque mesure est associée à une décision possible et qu’une personne est habilitée à agir.

La boucle de rétroaction fondamentale est la suivante :

1. Mesurer la mise en œuvre, la portée, le dosage, la qualité ou la réaction des participants.
2. Interpréter les données et examiner les explications alternatives.
3. Agir au moyen d’un ajustement ciblé.
4. Observer les conséquences de l’ajustement.
5. Modifier, conserver, annuler ou étudier le changement.

Les indicateurs avancés fournissent des signaux précoces, tels que la participation ou l’utilisation d’une routine pédagogique, et favorisent une action rapide. Les indicateurs retardés font apparaître des résultats ultérieurs, tels que les performances aux évaluations ou le maintien de l’assiduité. Les indicateurs avancés ne prouvent pas la réussite à long terme, tandis que les indicateurs retardés peuvent parvenir trop tard pour corriger les problèmes de mise en œuvre. Aucun des deux ne remplace l’autre.

La gestion adaptative exige une flexibilité rigoureuse : les changements doivent répondre aux données disponibles, être documentés et être suivis par une observation de leurs effets. Le rapprochement des données de mise en œuvre et des données de résultats aide à distinguer une intervention inefficace d’une intervention qui n’a pas été suffisamment mise en œuvre, qui n’a pas atteint le public visé ou qui n’a pas été correctement adaptée.}

Le portefeuille d’interventions n’est qu’une conception sur le papier tant que la mise en œuvre ne peut pas être observée. Ce sous-chapitre établit les données de mise en œuvre nécessaires avant d’interpréter la question de savoir si une réforme a produit un changement. La question centrale n’est donc pas seulement : « Les résultats des apprenants se sont-ils améliorés ? », mais aussi : « Qu’a-t-on mis en œuvre, pour qui, avec quelle qualité, et comment la mise en œuvre a-t-elle été ajustée ? »

Objectifs d’apprentissage : À la fin de ce sous-chapitre, vous devriez être capable de :

• Expliquer la fidélité de mise en œuvre à travers l’adhésion, la qualité de la prestation, la réactivité des participants et l’adaptation justifiée.
• Distinguer la portée du dosage et repérer les erreurs courantes dans l’interprétation de l’exposition.
• Décrire comment le suivi formatif appuie les décisions prises en cycles courts.
• Appliquer la boucle de rétroaction : mesurer -> interpréter -> agir -> observer les conséquences -> réviser.
• Distinguer les indicateurs avancés des indicateurs retardés et utiliser chacun à bon escient.

Une séquence probante solide suit une progression claire, depuis l’objectif et les décisions de conception jusqu’à la mise en œuvre, la psychométrie, la comparaison, l’interprétation et le débat. Les données relatives à la mise en œuvre doivent précéder l’interprétation des résultats, car de faibles résultats peuvent refléter une intervention peu efficace, une mise en œuvre défaillante, une portée limitée, un dosage insuffisant ou des conditions sans rapport avec l’intervention elle-même. #(Subchapter 2.1: Implementation, Monitoring, and Adaptive Management, 1 | evidence=sc21-e1)

Vérifier si la réforme atteint les apprenants comme prévu

La fidélité de mise en œuvre désigne le degré auquel une intervention est menée d’une manière qui reste conforme à sa conception initiale, tout en permettant une adaptation justifiée au contexte. La fidélité ne consiste pas à obéir rigidement à un plan original. Elle suppose d’examiner plusieurs dimensions liées entre elles :

• Respect des modalités prévues : Les activités planifiées et les composantes essentielles ont-elles été mises en œuvre ?
• Qualité de la mise en œuvre : Ont-elles été mises en œuvre avec exactitude et clarté, et d’une manière adaptée aux apprenants ?
• Réactivité des participants : Les enseignants, les élèves et les autres participants se sont-ils engagés dans l’intervention, l’ont-ils comprise ou y ont-ils réagi ?
• Adaptation : Des changements ont-ils été apportés délibérément, consignés et justifiés par les conditions locales ou par des données probantes ?

Par exemple, une école met en place une intervention de lecture guidée dans laquelle les enseignants modélisent une stratégie de lecture, accompagnent les élèves dans leur pratique et utilisent de brèves vérifications pour repérer les difficultés. Une analyse de la mise en œuvre ne consisterait pas seulement à noter si une séance de lecture guidée a eu lieu. Elle examinerait également si la stratégie a été expliquée avec exactitude, si les élèves ont eu des occasions de s’exercer, si l’enseignant a réagi aux incompréhensions et si les éventuelles modifications ont préservé le processus d’apprentissage visé par l’intervention.

Un écart par rapport au plan initial ne constitue pas automatiquement un échec. Un enseignant peut modifier les exemples utilisés au cours d’une leçon afin qu’ils soient accessibles aux apprenants multilingues. Il peut s’agir d’une adaptation justifiée si le processus central d’apprentissage est préservé. En revanche, remplacer la pratique guidée par un travail individuel non structuré constituerait un écart plus important, car cela modifie la manière dont l’intervention est censée influer sur les apprentissages. Cette distinction exige un jugement professionnel et une théorie du changement explicite ; les seules données de suivi ne permettent pas de déterminer si une adaptation est acceptable.

Une erreur fréquente consiste à noter si une activité a eu lieu tout en négligeant sa qualité. Une autre consiste à interpréter des résultats faibles sans vérifier au préalable si l’intervention a effectivement été mise en œuvre. Les données relatives à la fidélité ne peuvent pas établir qu’une intervention est efficace, mais elles contribuent à déterminer quelle affirmation peut raisonnablement être formulée au sujet d’un résultat.

La portée et le dosage fournissent une description connexe, mais distincte, de l’exposition :

| Dimension | Signification | Question à l’échelle de l’établissement | | --------- | ------------------------------------------- | ------------------------------------------------------------ | | Portée | Qui bénéficie de l’intervention | Quels apprenants ciblés ont effectivement participé ? | | Dose | Quantité, fréquence ou durée reçue | À combien de séances chaque apprenant a-t-il participé, et pendant combien de temps ? |

Un programme peut être accessible à tous les élèves d’un niveau donné, mais n’atteindre que ceux dont les familles donnent leur consentement, dont l’emploi du temps permet la participation ou que le personnel parvient à identifier efficacement. L’accessibilité ne correspond donc pas à l’exposition des participants. La dose peut également varier : un apprenant peut participer à presque toutes les séances, tandis qu’un autre en manque en raison de problèmes de transport, d’une maladie, d’autres cours ou de responsabilités familiales.

La dose ne doit pas être considérée comme automatiquement bénéfique lorsqu’elle augmente. Un plus grand nombre de séances peut être utile lorsque la mise en œuvre est de qualité et que la charge reste gérable. Toutefois, des séances supplémentaires peuvent aussi prendre la place d’autres apprentissages, accroître la fatigue ou prolonger un enseignement de mauvaise qualité. La portée et la dose doivent donc être interprétées en parallèle de la qualité de la mise en œuvre et de la réceptivité des apprenants.

L’exemple cumulatif suivant montre pourquoi ces notions doivent être examinées conjointement. Supposons qu’une intervention en mathématiques soit destinée aux apprenants qui éprouvent des difficultés avec les fractions. Le suivi peut révéler que l’intervention a atteint les apprenants ciblés, mais que l’assiduité était irrégulière. Il peut également montrer que les enseignants ont réalisé les activités prévues, mais qu’ils disposaient de peu de temps pour traiter les conceptions erronées. L’interprétation appropriée ne consiste pas simplement à conclure que l’intervention a « échoué » ou que l’école « l’a mise en œuvre ». Les données indiquent une situation plus précise : la portée était réelle, la dose variait et la qualité a peut-être limité le mécanisme recherché.

Avant d’interpréter les résultats ultérieurs, l’école doit établir un relevé de base de la mise en œuvre. Ce relevé peut notamment préciser :

1. Quels apprenants étaient ciblés et lesquels ont participé.
2. À quelle fréquence et pendant combien de temps les apprenants ont participé.
3. Quelles activités essentielles ont été réalisées.
4. Ce que les observations ou les travaux des apprenants indiquent sur la qualité.
5. Ce que les participants ont déclaré au sujet de leur engagement, de la clarté et de la charge.
6. Quelles adaptations ont été apportées, par qui et pour quelle raison.

Ces relevés ne remplacent pas l’évaluation des résultats. Ils la rendent plus interprétable en montrant ce que l’intervention est effectivement devenue dans la pratique.

Utiliser des indicateurs pour apprendre et s’adapter pendant la mise en œuvre

Le suivi formatif consiste à utiliser des informations recueillies sur des cycles courts pour repérer les problèmes de mise en œuvre et ajuster le déroulement avant une évaluation finale. Il se distingue d’une estimation finale de l’impact. Son objectif est de favoriser l’apprentissage et l’amélioration pendant la mise en œuvre, et non d’apporter prématurément la preuve d’une réussite à long terme. #(Subchapter 2.1: Implementation, Monitoring, and Adaptive Management, 1 | evidence=sc21-e2)

Une école peut examiner chaque semaine les relevés de présence, observer un petit nombre de cours, étudier les travaux des élèves et recueillir brièvement les retours des enseignants et des apprenants. Ces sources peuvent révéler que les séances sont programmées à un moment où de nombreux élèves ne sont pas disponibles, que les consignes manquent de clarté ou qu’une activité prévue prend plus de temps que prévu. L’école peut alors modifier l’emploi du temps, clarifier le déroulement pédagogique ou apporter un soutien supplémentaire avant l’évaluation finale.

Le suivi formatif est plus efficace lorsque chaque indicateur est associé à une décision possible. Recueillir de nombreuses mesures sans règles de décision peut créer une charge administrative sans améliorer la mise en œuvre. Un plan de suivi pratique pose les questions suivantes :

• Quelle caractéristique de la mise en œuvre est mesurée ?
• À quelle fréquence les informations sont-elles recueillies ?
• Qui les interprète ?
• Quel schéma observé déclencherait une action ?
• Qui est habilité à agir ?
• Comment observera-t-on les conséquences de l’action ?

Il s’agit de la boucle de rétroaction :

1. Mesurer : Recueillir des informations sur la mise en œuvre, la portée, le dosage, la qualité ou la réponse.
2. Interpréter : Examiner ce que le schéma peut signifier et quelles autres explications restent possibles.
3. Agir : Apporter un ajustement ciblé, par exemple en modifiant un calendrier ou en proposant un accompagnement.
4. Observer les conséquences : Vérifier si l’ajustement a modifié la participation, la qualité ou la charge.
5. Réviser : Maintenir, affiner, inverser ou examiner davantage l’ajustement.

La boucle doit inclure les enseignants, les élèves et les familles lorsque leur expérience est pertinente. Un tableau de bord qui transmet des informations vers les échelons supérieurs sans donner aux professionnels de terrain la possibilité de les interpréter ne constitue pas un système de rétroaction complet. La responsabilité de la réponse doit également être attribuée. Dans le cas contraire, le suivi peut se transformer en compte rendu de conformité : les informations sont recueillies, mais personne n’est censé ni habilité à les utiliser.

Une autre distinction concerne les indicateurs avancés et les indicateurs retardés. Les indicateurs avancés signalent la mise en œuvre ou les comportements à court terme. Les indicateurs retardés synthétisent les résultats ultérieurs.

| Type d’indicateur | Ce qu’il peut montrer | Exemple scolaire illustratif | Principale limite | | ----------------- | ---------------------------------------------------------------------------------------------- | --------------------------------------------------------------------------------- | --------------------------------------------------------- | | Indicateur précurseur | Si la mise en œuvre ou le comportement évolue suffisamment tôt dans la direction souhaitée pour permettre d’agir | Participation, utilisation observée d’une routine pédagogique, réalisation des exercices prévus | Il ne prouve pas la réussite à long terme | | Indicateur retardé | Ce qui s’est produit après un délai suffisant pour que les résultats se manifestent | Performance lors d’une évaluation ultérieure, persévérance ou assiduité maintenue | Il peut arriver trop tard pour corriger les problèmes de mise en œuvre |

Pour l’intervention en mathématiques, l’utilisation observée de la routine pédagogique prévue pourrait constituer un indicateur avancé. La performance ultérieure à une évaluation valide pourrait constituer un indicateur retardé. Si l’indicateur avancé est faible, l’établissement peut agir avant d’attendre les résultats de l’évaluation ultérieure. Si l’indicateur retardé est faible, l’établissement doit néanmoins vérifier la portée, le dosage, la fidélité, la qualité de la mesure et les conditions contextuelles avant de conclure que l’intervention elle-même était inefficace.

Les indicateurs doivent être sélectionnés parce qu’ils éclairent les décisions, et non simplement parce qu’ils sont faciles à dénombrer. Un simple chiffre d’assiduité peut être utile, mais il ne peut pas, à lui seul, montrer si les apprenants ont compris la leçon ni si l’enseignement était de qualité. De même, un enthousiasme précoce peut signaler la réceptivité des participants, mais il ne peut pas prouver l’existence d’apprentissages durables. Les signaux précoces sont utiles pour piloter la mise en œuvre ; ils ne remplacent pas les données finales sur les résultats.

La gestion adaptative exige donc une flexibilité rigoureuse. L’objectif n’est pas de modifier l’intervention à répétition chaque fois qu’un résultat est décevant. Il s’agit d’apporter un changement documenté lorsque les données mettent en évidence un problème plausible de mise en œuvre, d’observer ce qui s’ensuit et de conserver une trace de ce qui a changé et pourquoi. Cette trace facilite l’interprétation ultérieure et empêche les décideurs de confondre une intervention en évolution avec la conception initiale.

Les données ne produisent pas non plus automatiquement des arbitrages de politique publique. Le suivi peut montrer que les apprenants ciblés ont manqué des séances, que les enseignants ont adapté les supports ou qu’une routine a été utilisée de manière irrégulière. Les décideurs et les professionnels doivent alors déterminer s’il convient de revoir les effectifs, les emplois du temps, la formation, le ciblage, les ressources ou l’intervention elle-même. Ces décisions devraient tenir compte de la faisabilité, de l’équité, de la charge imposée aux apprenants, du jugement des enseignants et du mécanisme de changement visé.

Conclusion

Les données probantes relatives à la mise en œuvre constituent le pont entre une intervention conçue sur le papier et une réforme qui peut être évaluée dans la pratique. La fidélité de mise en œuvre exige de prêter attention au respect des modalités prévues, à la qualité de la mise en œuvre, à la réceptivité des participants et aux adaptations justifiées. La portée permet d’identifier les bénéficiaires d’une intervention, tandis que la dose indique la quantité, la fréquence ou la durée reçue. Ni l’une ni l’autre ne doit être déduite de la seule disponibilité du programme.

Le suivi formatif s’appuie sur des informations recueillies sur des cycles courts afin de soutenir l’amélioration avant l’évaluation finale. Sa valeur dépend de l’existence d’une boucle de rétroaction opérationnelle : mesurer -> interpréter -> agir -> observer les conséquences -> réviser. Les indicateurs précurseurs aident à repérer les problèmes de mise en œuvre à court terme, tandis que les indicateurs retardés synthétisent les résultats ultérieurs. Aucun de ces deux types d’indicateurs ne suffit à lui seul.

La leçon plus générale est d’ordre méthodologique et pratique : la mise en œuvre doit être observable avant que les résultats puissent être interprétés. Lorsque les données relatives à la mise en œuvre sont reliées aux données ultérieures sur les résultats, les décideurs peuvent distinguer une réforme qui s’est révélée inefficace malgré une mise en œuvre solide d’une réforme qui n’a jamais été suffisamment atteinte, mise en œuvre ou adaptée. Cette distinction favorise un jugement plus rigoureux sur les politiques publiques, une obligation de rendre des comptes plus responsable et des apprentissages plus utiles au cours de la réforme de l’éducation.

2.2 : Architecture de l’évaluation, échantillonnage et incertitude

{Une évaluation est un processus conçu pour recueillir des éléments probants au sujet d’un construit, comme la compréhension de l’écrit ou le raisonnement mathématique. Ses résultats doivent être interprétés au regard de la finalité visée, qui peut être formative, diagnostique, sommative, de suivi, de sélection ou de redevabilité. Une évaluation peut convenir pour décrire les performances d’un groupe, mais ne pas convenir pour diagnostiquer les individus ou prendre des décisions à forts enjeux.

La validité de construit porte sur la question de savoir si l’ensemble de la chaîne, de la capacité ciblée jusqu’à l’utilisation dans le cadre de la politique publique, est étayé :

1. Définir le construit.
2. Concevoir des tâches qui permettent de recueillir des éléments probants pertinents.
3. Observer les réponses des apprenants.
4. Appliquer un modèle de notation approprié.
5. Utiliser les résultats uniquement pour des décisions qu’ils peuvent raisonnablement étayer.

Les scores peuvent également refléter la langue, l’accessibilité pour les personnes en situation de handicap, la motivation, l’anxiété, la familiarité avec les technologies, les limites de temps et les conditions de passation. La fiabilité désigne la constance dans des conditions comparables, mais une mesure peut être fiable tout en mesurant systématiquement la mauvaise caractéristique. Les résultats observés combinent donc la compétence sous-jacente et l’erreur de mesure. Les estimations du niveau de compétence et les valeurs plausibles représentent une incertitude et ne doivent pas être considérées comme des diagnostics individuels exacts.

La mesure et le jugement de politique publique sont deux choses différentes. L’évaluation décrit les éléments probants et leur précision ; le jugement de politique publique détermine quelle action, le cas échéant, ces éléments permettent de justifier.

Lorsque seule une partie d’une population est évaluée, les procédures d’échantillonnage déterminent la manière dont les résultats doivent être analysés. Dans les échantillons complexes, les écoles, les classes ou les apprenants peuvent avoir des probabilités de sélection inégales ; les pondérations permettent donc à chaque répondant de représenter la part appropriée de la population. Les pondérations peuvent également tenir compte de la non-réponse et aligner les résultats sur des totaux connus de la population. Toutefois, elles ne peuvent pas corriger une validité insuffisante, une non-réponse biaisée, une mise en œuvre défaillante ou des facteurs de confusion.

Les estimations pour les groupes sont incertaines plutôt qu’exactes. Leur précision dépend de la taille de l’échantillon, de la variabilité, de la concentration des observations, de l’inégalité des pondérations et des effets du plan d’échantillonnage. Les rapports devraient inclure les erreurs types ou des intervalles d’incertitude, et les différences entre les groupes devraient être évaluées au regard de leur incertitude et de la comparabilité des mesures. Ajouter des décimales ne permet pas d’obtenir une plus grande exactitude.

Enfin, corrélation n’est pas causalité. Une association entre les résultats d’une évaluation et un programme peut refléter l’effet du programme, mais elle peut également résulter du financement antérieur, des ressources disponibles, de la sélection, de l’expérience des enseignants ou d’autres facteurs de confusion. De solides affirmations causales exigent une comparaison appropriée, une attention portée aux facteurs de confusion, un mécanisme plausible et l’examen de la manière dont les effets varient selon les contextes.}

Une fois la mise en œuvre suivie, les responsables de la réforme doivent savoir ce que représentent les résultats de l’évaluation. L’étape suivante consiste à distinguer la conception d’un système de mesure des décisions de politique publique prises à partir de ses résultats. Un score n’est pas simplement un fait qui attend d’être interprété : c’est un élément probant produit par des tâches, des conditions, des procédures d’échantillonnage et des modèles de notation particuliers.

Objectifs d’apprentissage

À la fin de ce sous-chapitre, vous devriez être capable de :

• Distinguer la finalité d’une évaluation du jugement de politique publique formulé à partir de ses résultats.
• Expliquer la validité de construit en suivant la chaîne qui relie le construit à l’usage prévu.
• Distinguer la fidélité de la validité et expliquer pourquoi les scores comportent une part d’incertitude.
• Expliquer pourquoi les échantillons complexes nécessitent des pondérations.
• Interpréter l’incertitude des estimations pour les groupes sans considérer les faibles écarts comme décisifs.
• Expliquer pourquoi une corrélation ne suffit pas, à elle seule, à établir un lien de causalité.

Définir ce qu’une évaluation est censée mesurer

Une évaluation est un processus conçu pour recueillir des éléments probants au sujet d’un construit. Un construit est la connaissance, la compétence, la disposition ou la capacité que l’évaluation est censée représenter. Par exemple, une évaluation de la compréhension écrite peut viser la compréhension, et non pas seulement la capacité à reconnaître des mots familiers dans un temps imparti.

La finalité de l’évaluation doit être définie avant de pouvoir interpréter ses résultats. Parmi les finalités courantes figurent :

• Formative : fournir un retour d’information au cours de l’apprentissage afin d’adapter l’enseignement ou l’étude.
• Diagnostique : repérer les profils de points forts et de besoins afin de diagnostiquer les difficultés individuelles.
• Sommative : évaluer les acquis à la fin d’un cours ou d’une période.
• Suivi : décrire des tendances entre les établissements, les régions ou au fil du temps.
• Sélection : éclairer les décisions concernant l’admission à un programme.
• Redevabilité : évaluer si les établissements ou les acteurs responsables ont satisfait à des attentes définies.

Ces finalités se recoupent, mais elles ne sont pas interchangeables. Une évaluation de suivi peut convenir pour estimer les performances moyennes à l’échelle d’un système, tout en étant trop brève ou fondée sur un échantillonnage trop général pour permettre un diagnostic individuel. Ajouter des conséquences à forts enjeux à une telle évaluation en modifie l’utilisation prévue et peut nécessiter de nouveaux éléments probants démontrant que le dispositif permet cet usage. Il ne faut pas supposer qu’une même évaluation convient aussi bien à toutes les finalités #(Assessment Architecture, 1 | evidence=sc22-e1).

La validité de construit concerne la qualité de l’interprétation et de l’utilisation que l’on justifie pour les résultats d’une évaluation. Il ne s’agit pas d’une étiquette permanente attachée à un test. Le raisonnement suit une chaîne :

1. Construit : Quelle capacité cherche-t-on à cibler ?
2. Conception de la tâche : Les questions ou activités permettent-elles de recueillir des éléments probants pertinents pour cette capacité ?
3. Réponses observées : Qu’ont réellement dit, écrit, sélectionné ou fait les apprenants ?
4. Interprétation des scores : Que déduit le modèle de notation à partir de ces réponses ?
5. Usage prévu : Cette interprétation est-elle appropriée pour la décision à prendre ?

Une tâche de mathématiques qui demande aux élèves d’expliquer pourquoi une solution fonctionne peut fournir des éléments probants différents de ceux d’une tâche qui exige seulement de sélectionner une réponse. Aucune des deux tâches n’est automatiquement « valide » ou « invalide ». La question pertinente est de savoir si la tâche et la notation étayent l’interprétation visée. La couverture du programme, à elle seule, ne prouve pas que les apprentissages ont été mesurés : un test peut porter sur des notions enseignées tout en privilégiant la restitution, la vitesse de lecture ou la familiarité avec le format du test.

Les scores peuvent également refléter des influences sans rapport avec le construit ciblé. La langue, l’accessibilité pour les personnes en situation de handicap, la motivation, l’anxiété, la familiarité avec les technologies, les limites de temps et les conditions de passation peuvent influer sur les réponses observées. Ces influences n’invalident pas automatiquement une évaluation, mais elles doivent être prises en compte lors de l’interprétation des résultats, en particulier entre différents groupes ou contextes.

La distinction entre mesure et jugement de politique publique est donc essentielle. La mesure pose la question suivante : « Quels éléments probants cette évaluation fournit-elle, et avec quelle précision ? » Le jugement de politique publique pose celle-ci : « Compte tenu de ces éléments, quelle action est justifiée ? » Un score peut indiquer une performance moyenne plus faible dans un groupe. Décider de modifier le programme, de cibler des ressources supplémentaires, d’examiner la fidélité de la mise en œuvre ou de mener une analyse plus approfondie du problème relève d’un jugement de politique publique. L’évaluation éclaire ce jugement, mais ne le rend pas elle-même.

La fidélité concerne une partie de cette chaîne. La fidélité est la constance de la mesure dans des conditions pertinentes. Une évaluation fidèle tend à produire des résultats similaires lorsque la capacité sous-jacente n’a pas évolué et que des formes comparables ou des conditions de notation comparables sont utilisées. La fidélité n’établit pas la validité. Une mesure peut capter de façon constante le mauvais aspect — par exemple, la vitesse à répondre à un test plutôt que la profondeur du raisonnement visée.

Un modèle utile est le suivant :

Le résultat observé peut fournir des informations sur le niveau de maîtrise d’un apprenant ou d’un groupe, mais il n’en constitue pas une mesure exacte. Dans les évaluations modernes, la théorie de la réponse à l’item peut être utilisée pour relier les réponses à une échelle de maîtrise. Le niveau de maîtrise estimé qui en résulte peut être plus informatif qu’un simple score fondé sur le nombre de réponses correctes, notamment lorsque les apprenants reçoivent des items différents mais reliés entre eux. Certains programmes utilisent des valeurs plausibles, c’est-à-dire plusieurs tirages représentant l’incertitude concernant le niveau de maîtrise d’une personne aux fins d’analyses à l’échelle de la population. Les valeurs plausibles ne sont pas des scores individuels répétés ordinaires et ne doivent pas être traitées comme des diagnostics individuels précis.

Vérification de la restitution : Si une école utilise une évaluation de suivi du système pour attribuer des leçons de remédiation individuelles, quelle partie de la chaîne faut-il examiner en premier ? La réponse est l’usage prévu : l’évaluation peut fournir des informations utiles sur un groupe sans fournir des informations individuelles suffisamment détaillées.

Comprendre les échantillons, les pondérations et l’incertitude

Une évaluation peut porter sur chaque apprenant d’une population définie, ou s’appuyer sur un échantillon. Un échantillon est un sous-ensemble sélectionné pour recueillir des informations sur une population plus large. L’échantillonnage peut réduire la charge de travail et les coûts, mais le processus de sélection détermine la manière dont les résultats doivent être analysés.

Dans un échantillon aléatoire simple, chaque unité éligible a à peu près la même probabilité d’être sélectionnée. Dans un échantillon complexe, les écoles, les classes ou les apprenants peuvent avoir des probabilités de sélection différentes. Un apprenant sélectionné avec une probabilité de $p_i$ reçoit une pondération de base qui reflète approximativement l’inverse de cette probabilité :

Les pondérations peuvent ensuite être ajustées pour tenir compte de la non-réponse et calibrées afin que les totaux de l’échantillon correspondent aux informations connues sur la population. Ainsi, la pondération finale d’un répondant peut représenter le nombre ou le type de membres de la population que ce répondant représente. Tous les répondants ne doivent donc pas nécessairement compter de la même manière.

Ignorer les pondérations peut fausser les moyennes de la population et les comparaisons entre sous-groupes. Toutefois, les pondérations ne corrigent pas toutes les sources de biais. Elles ne peuvent pas réparer automatiquement une validité de construit insuffisante, des déclarations inexactes, des différences non mesurées dans la non-réponse, une mise en œuvre défaillante ou des facteurs de confusion. Une pondération correcte est nécessaire pour de nombreux échantillons complexes, mais elle ne suffit pas à garantir une conclusion crédible #(Assessment Architecture, 1 | evidence=sc22-e2).

Le plan d’échantillonnage influe également sur l’incertitude. Une estimation est une valeur étayée au mieux par les données disponibles, et non un fait connu concernant la population. Elle doit être accompagnée d’une erreur-type ou d’un intervalle d’incertitude. Une forme simplifiée de présentation est la suivante :

Un intervalle de confiance est un intervalle produit par une procédure statistique définie ; son interprétation dépend de cette procédure et de ses hypothèses. En pratique, un intervalle plus large indique une moindre précision. La précision diminue généralement lorsque les effectifs des sous-groupes sont faibles, que la variation entre les observations est importante, qu’il existe une structure en grappes ou que les pondérations sont inégales.

La structure en grappes se produit lorsque les apprenants sélectionnés sont regroupés au sein d’écoles ou de classes. Les apprenants d’une même école peuvent partager des enseignants, des politiques, des ressources et des conditions locales ; leurs résultats ne sont donc pas totalement indépendants. Cela peut accroître l’effet de plan, rendant l’estimation moins précise que celle obtenue avec un échantillon aléatoire simple de même taille nominale. Les analystes doivent donc utiliser, lorsque cela s’applique, des procédures d’enquête qui tiennent compte des pondérations, de la structure en grappes et de la stratification.

Pour les estimations par groupe, l’incertitude comporte plus d’une composante. Elle peut refléter :

• Incertitude d’échantillonnage : les écoles ou les apprenants sélectionnés.
• Incertitude de mesure : des éléments imparfaits sur le niveau de compétence.
• Effets du plan d’échantillonnage : une précision réduite en raison de la mise en grappes et de la sélection inégale.
• Taille du sous-groupe : les groupes plus petits produisent généralement des estimations moins précises.

Lorsqu’on compare deux groupes, la question pertinente n’est pas seulement de savoir si leurs moyennes déclarées diffèrent. Il faut déterminer si la différence est importante au regard de son incertitude et si les mesures sont comparables. Afficher de nombreuses décimales peut donner une fausse impression de précision lorsque le plan d’étude ne permet pas de l’étayer.

Considérons une comparaison illustrative entre deux régions. La région A présente un niveau estimé de compétence en lecture supérieur à celui de la région B. Cette tendance peut être compatible avec une différence réelle, mais elle peut aussi refléter une variation d’échantillonnage, une erreur de mesure, des profils de participation différents ou des différences contextuelles. Une interprétation prudente examinerait les estimations, leurs intervalles d’incertitude, les procédures d’échantillonnage et de pondération, ainsi que la comparabilité des conditions d’évaluation, avant de formuler une recommandation en matière de politiques publiques.

La même prudence s’applique aux relations entre les résultats d’évaluation et d’autres indicateurs. La corrélation décrit une association : deux variables évoluent conjointement selon une structure donnée. La causalité signifie que la modification d’un facteur entraîne une modification d’un autre dans le cadre d’une explication causale appropriée. Un programme technologique scolaire peut être plus courant dans les écoles où les résultats d’évaluation sont plus élevés. Cette corrélation pourrait traduire un effet du programme, mais elle pourrait aussi s’expliquer par le financement antérieur, l’expérience des enseignants, les ressources familiales, la sélection des participants au programme ou d’autres facteurs. Le lien pourrait même être partiellement inversé si les écoles les plus performantes sont davantage susceptibles d’adopter cette technologie.

Les résultats d’évaluation peuvent contribuer à un argument causal, mais ils n’établissent pas la causalité du simple fait que deux mesures sont liées. Des affirmations causales plus solides nécessitent un plan d’étude approprié, une comparaison crédible, la prise en compte des facteurs de confusion et un mécanisme plausible. Même dans ce cas, les effets peuvent varier selon les apprenants et les contextes en raison de différences dans la fidélité de la mise en œuvre, la portée, le dosage et les conditions locales.

Conclusion

~L’architecture de l’évaluation détermine les éléments probants qu’elle peut raisonnablement étayer. La finalité guide la conception ; la validité de construit relie le construit visé aux tâches, aux réponses, à l’interprétation des scores et à leur utilisation ; la fiabilité concerne la constance ; et l’incertitude nous rappelle que les résultats observés sont des estimations plutôt que des mesures exactes. Les pondérations d’échantillonnage contribuent à représenter une population cible lorsque les probabilités de sélection diffèrent, tandis que la non-réponse, le calibrage, la mise en grappes, les effets du plan d’échantillonnage et la taille des sous-groupes influent sur la précision des estimations concernant les groupes. Enfin, une corrélation peut mettre en évidence un phénomène qui mérite d’être étudié, mais elle ne peut à elle seule établir un lien de causalité. Un jugement éclairé en matière de politiques publiques exige donc à la fois une compréhension technique du fonctionnement des évaluations et une interprétation rigoureuse de la manière dont leurs résultats sont utilisés — ou détournés.

Chapitre 3 : Interpréter les résultats et débattre des choix de réforme

{Les résultats des évaluations ne sont ni des observations directes de la compétence ni des consignes automatiques pour l’action publique. Ils sont des interprétations des données fondées sur des modèles, et leur signification dépend du construit mesuré, du dispositif d’évaluation, de la population et de l’usage prévu.

Des réponses à la compétence

Les réponses observées peuvent être synthétisées sous forme de scores, mais les scores n’ont pas toujours la même signification selon les versions de l’évaluation, les populations ou les programmes. La théorie de la réponse à l’item relie les profils de réponses à une compétence latente au moyen de caractéristiques des items telles que la difficulté et le pouvoir discriminant. Deux apprenants ayant le même nombre de réponses correctes peuvent recevoir des estimations de compétence différentes s’ils ont réussi des items de types différents. Toutefois, une modélisation sophistiquée ne peut pas corriger un construit mal défini : une évaluation portant sur un aspect étroit du raisonnement mathématique ne peut pas être considérée comme une mesure complète de la compréhension des mathématiques.

Une échelle de compétence situe la compétence estimée sur un continuum latent associé à des descriptions de ce que les apprenants de différents niveaux sont généralement capables de faire. Les points de l’échelle ne correspondent pas simplement à des pourcentages de réponses correctes, et les comparaisons entre programmes exigent de prêter attention à l’alignement des construits, aux conventions de présentation des résultats et aux conditions de passation. Les paramètres des items peuvent également fonctionner différemment selon les langues, les populations ou les contextes.

Les distinctions essentielles sont les suivantes :

• Un score observé synthétise la performance enregistrée pour certains items.
• Une compétence estimée est une inférence fondée sur un modèle concernant une caractéristique non observée.
• Les valeurs plausibles sont plusieurs tirages issus d’une distribution d’incertitude représentant des valeurs raisonnables de la compétence, en particulier pour les analyses au niveau de la population.

Les valeurs plausibles ne sont ni des scores obtenus à des passations répétées ni des niveaux de compétence individuels définitifs. Elles doivent être analysées selon des procédures appropriées afin que l’incertitude soit prise en compte dans les moyennes de groupe, les écarts et les relations. À chaque étape, les résultats restent des éléments probants à interpréter, et non des jugements automatiques en matière de politique publique.

Estimations de population et décisions individuelles

Les évaluations à l’échelle d’une population peuvent décrire des groupes ou comparer des sous-groupes au moyen de plans d’échantillonnage, de pondérations, de valeurs plausibles et d’une prise en compte de l’incertitude au niveau du groupe. Une moyenne de groupe ne décrit pas chacun de ses membres, n’établit pas que tous les individus d’un groupe obtiennent de meilleurs résultats que tous ceux d’un autre groupe et ne prouve pas qu’un facteur a causé l’écart. Il ne faut pas confondre corrélation et classement avec causalité.

Une estimation destinée à l’analyse d’une population, y compris une valeur plausible unique, ne convient pas pour diagnostiquer un apprenant donné. Les décisions individuelles nécessitent des éléments propres à l’apprenant et provenant de sources multiples, tels que les travaux réalisés en classe, les observations de l’enseignant, le suivi formatif, les informations contextuelles et une évaluation ciblée. Un jugement professionnel ou stratégique est nécessaire pour décider d’une intervention, d’une orientation ou d’un soutien.

Avant d’utiliser une estimation, posez-vous les questions suivantes :

1. Quel construit a été mesuré ?
2. Comment les réponses ont-elles été converties dans l’échelle présentée ?
3. Quelle incertitude entoure l’estimation ou la comparaison ?
4. L’usage prévu consiste-t-il à décrire une population, à évaluer un programme, à assurer un suivi formatif ou à prendre une décision individuelle ?

Ces questions permettent d’éviter de confondre score et compétence, de faire un mauvais usage des points de l’échelle, de surestimer la fiabilité des estimations et de généraliser à tort des résultats de groupe aux individus.

Comparer les réformes et inférer leurs effets

Les décisions d’amélioration des établissements scolaires exigent un jugement transparent plutôt que la recherche d’une intervention universellement meilleure que les autres. Commencez par un diagnostic clair du problème et par une théorie du changement expliquant ce qui devrait changer, pour qui, au moyen de quelles activités et pour quelles raisons. Le tutorat, le soutien à l’assiduité, le développement professionnel des enseignants, la réforme des programmes et les systèmes d’alerte précoce répondent à des problèmes différents et fonctionnent selon des mécanismes différents.

Comparez les interventions selon les critères suivants :

• Résultats et échéances
• Groupes cibles et transférabilité
• Qualité de la mise en œuvre, portée, dosage et dotation en personnel
• Faisabilité et capacités disponibles
• Équité et groupes susceptibles d’être laissés de côté
• Coûts directs, temps consacré par le personnel et coûts d’opportunité
• Effets imprévus tels que l’étiquetage, l’exclusion, le rétrécissement des programmes ou la présentation biaisée des résultats

Un changement observé après une intervention indique une association, mais pas nécessairement un lien de causalité. Pour établir une interprétation causale, il faut disposer d’un contrefactuel crédible et tenir compte de la sélection, des tendances antérieures, des facteurs de confusion, des réformes menées simultanément, des effets de débordement et de l’évolution des effectifs. Les données issues d’essais randomisés peuvent renforcer l’inférence causale, mais leurs résultats ne sont pas nécessairement directement transposables à des contextes où les apprenants, le personnel, les ressources ou les conditions de mise en œuvre sont différents.

Les effets moyens peuvent masquer une hétérogénéité : une intervention peut être plus bénéfique pour certains apprenants ou établissements que pour d’autres, avoir peu d’effet sur un autre groupe ou imposer des contraintes à certains participants. Les affirmations concernant des sous-groupes nécessitent des échantillons suffisamment importants, des mécanismes plausibles et des dispositifs capables d’étayer la comparaison ; à défaut, les conclusions doivent rester prudentes.

Efficacité, équité, coût et responsabilité

L’analyse coût-efficacité vise à déterminer quel résultat supplémentaire est obtenu grâce à des ressources supplémentaires, par comparaison avec une solution de rechange réaliste, et non simplement quelle option est la moins chère. Les coûts comprennent les supports et les intervenants, mais aussi la formation, la coordination, les systèmes de données, le temps consacré par le personnel et les activités auxquelles il faut renoncer. Le résultat dépend également des effets considérés comme importants. L’assiduité, le bien-être, la confiance, l’achèvement de la scolarité et la progression à long terme peuvent compter au même titre que les résultats aux tests.

L’équité signifie un accès juste à des possibilités porteuses de sens, et non un traitement identique. Un soutien ciblé peut remédier à des obstacles inégalement répartis, mais le ciblage peut aussi produire des étiquettes, des exclusions ou des erreurs de classification. Des indicateurs tels que l’assiduité, le niveau de maîtrise estimé et le jugement des enseignants ne constituent que des éléments partiels et doivent éclairer, sans s’y substituer, la prise de décision professionnelle. La confidentialité, l’accessibilité, la langue, le handicap et la qualité des données doivent être pris en compte.

Un débat politique responsable distingue :

Affirmation → éléments probants → hypothèses → limites → jugement de valeur → décision

Les éléments probants éclairent les choix, mais ne déterminent ni leurs valeurs ni leurs arbitrages. Un argument solide précise ce qui est établi, ce qui est supposé, la solidité des éléments probants, ce qui demeure incertain et les raisons pour lesquelles un équilibre particulier entre rapidité, équité, faisabilité et capacité du système est jugé acceptable.

La responsabilisation doit favoriser l’amélioration et la responsabilité envers le public, sans considérer les résultats comme des mesures complètes de la qualité d’un établissement ou d’un enseignant. Les garanties comprennent la communication de l’incertitude, l’interprétation des résultats dans leur contexte, l’utilisation de plusieurs indicateurs, la distinction entre les comparaisons de groupes et les diagnostics individuels, l’examen des conséquences imprévues, la mise en regard des données avec le jugement professionnel et l’absence de conséquences lourdes lorsque les mesures ne sont pas fiables ou peuvent être facilement manipulées.

La leçon centrale est de considérer les données issues de l’évaluation et des réformes comme informatives, mais limitées. De bonnes décisions mettent en relation une mesure valide, une interprétation tenant compte de l’incertitude, un raisonnement causal crédible, les connaissances relatives à la mise en œuvre, l’équité, le coût et des valeurs explicites. L’objectif n’est ni la certitude ni l’établissement d’un classement universel, mais l’adoption d’une ligne d’action proportionnée, réalisable et défendable.}

3.1 : Des réponses aux estimations de compétence

{Les résultats d’évaluation passent des réponses observées à la compétence estimée par une série d’interprétations.

• La théorie de la réponse à l’item (TRI) modélise la probabilité d’une réponse à partir de la compétence inférée d’un apprenant et des caractéristiques de l’item, telles que sa difficulté et son pouvoir discriminant. Elle prend en compte les profils de réponses, et pas uniquement le nombre total de réponses correctes.
• La compétence estimée n’est pas directement observée. Il s’agit d’une inférence fondée sur un modèle, qui dépend des items de l’évaluation, des hypothèses du modèle, de la qualité des réponses et du construit mesuré.
• Une échelle de compétence représente un continuum latent associé à des descriptions de ce que les apprenants de différents niveaux sont généralement capables de faire. Il ne s’agit pas simplement d’une échelle de pourcentage de réponses correctes, et les scores issus de programmes différents ne peuvent pas être comparés sans vérifier l’alignement du construit et de l’échelle.
• La validité du construit reste essentielle : une modélisation sophistiquée ne peut pas faire en sorte qu’une évaluation étroite ou mal conçue mesure une compétence plus large que celle qu’elle représente effectivement.
• Les valeurs plausibles sont des tirages multiples à partir d’une distribution d’incertitude autour de la compétence. Elles sont principalement utilisées dans les analyses de population afin de rendre compte de l’incertitude entourant les moyennes, les écarts et les relations entre groupes. Elles ne sont pas des scores de tests répétés et ne doivent être ni moyennées ni interprétées comme des résultats individuels définitifs.

Le niveau d’inférence doit correspondre à l’usage prévu. Les évaluations de population peuvent décrire des groupes ou comparer des sous-groupes, mais une moyenne de groupe ne décrit pas chacun de ses membres, ne prouve pas l’existence d’un lien de causalité et ne permet pas d’établir un diagnostic concernant un apprenant donné. Les décisions individuelles nécessitent des éléments propres à l’apprenant, tels que les travaux réalisés en classe, les observations de l’enseignant, le suivi formatif et une évaluation ciblée.

Avant d’utiliser une estimation, posez-vous les questions suivantes :

1. Quel construit l’évaluation mesure-t-elle ?
2. Comment les réponses ont-elles été converties sur l’échelle publiée ?
3. Quelle incertitude entoure l’estimation ?
4. Le résultat est-il destiné à décrire une population, à évaluer un programme, à assurer un suivi formatif ou à éclairer une décision individuelle ?

Les résultats d’évaluation sont des éléments probants, et non des certitudes. Les décisions concernant les interventions, l’orientation, la reddition de comptes ou les politiques publiques nécessitent des éléments supplémentaires et un jugement professionnel.}

L’architecture de l’évaluation explique comment les résultats sont produits, mais leur interprétation dépend du niveau d’inférence. Ce sous-chapitre suit le cheminement des réponses observées vers la compétence estimée, puis examine ce que ces estimations peuvent étayer pour les populations, les sous-groupes et les apprenants pris individuellement. La mise en garde centrale est qu’une compétence publiée n’est pas un trait directement observé. Il s’agit d’une interprétation fondée sur un modèle, à partir d’éléments probants recueillis dans des conditions d’évaluation particulières.

Objectifs d’apprentissage

À la fin de ce sous-chapitre, vous devriez être en mesure de :

• Expliquer comment la théorie de la réponse à l’item relie les réponses, les caractéristiques des items et le niveau de compétence.
• Interpréter une échelle de compétence comme un continuum latent associé à des descriptions des performances.
• Distinguer les scores observés, le niveau de compétence estimé et les valeurs plausibles.
• Expliquer pourquoi les estimations relatives à une population et les comparaisons entre groupes ne doivent pas servir à établir des diagnostics individuels.
• Identifier les principales limites liées à la validité du construit, à l’incertitude, à l’alignement des échelles et au jugement en matière de politiques publiques.

Comment les réponses aux items deviennent des échelles interprétables

La première étape consiste à distinguer une réponse observée du niveau de compétence sous-jacent que l’évaluation vise à mesurer. Une réponse observée peut être une réponse sélectionnée, une réponse construite ou toute autre performance enregistrée. Un ensemble de telles réponses peut être synthétisé sous la forme d’un score observé, mais cette synthèse ne permet pas nécessairement une interprétation stable entre différentes versions d’un test, différentes populations ou différents programmes d’évaluation.

La théorie de la réponse à l’item (TRI) fournit un modèle permettant de relier les réponses au niveau de compétence. De manière générale, la TRI représente la probabilité d’une réponse donnée en fonction du niveau de compétence d’une personne et des caractéristiques de l’item. Parmi les caractéristiques courantes des items figurent la difficulté, qui indique le niveau de compétence généralement nécessaire pour réussir, et la discrimination, qui indique dans quelle mesure un item différencie les niveaux de compétence proches. Il s’agit d’une explication conceptuelle, et non de l’affirmation qu’une réponse révèle directement le niveau de compétence. Le niveau de compétence estimé est produit en combinant les informations issues des réponses avec les hypothèses du modèle #(sc31-e1).

Par exemple, supposons que deux apprenants répondent correctement au même nombre de questions. L’un peut avoir répondu correctement à plusieurs items relativement difficiles, tandis que l’autre a répondu correctement à des items plus faciles. Un modèle de TRI peut utiliser le profil des réponses, et pas seulement le nombre total de réponses correctes, pour produire des niveaux de compétence estimés différents. L’interprétation dépend des items, du modèle, de la qualité des réponses et du construit mesuré.

Cette dépendance définit une limite importante. La TRI n’est pas une solution magique pour corriger un construit mal défini. Si une évaluation ne mesure qu’une partie étroite du raisonnement mathématique, un modèle sophistiqué ne transforme pas le résultat en mesure complète de la compréhension des mathématiques. La validité de construit reste essentielle : l’interprétation doit être étayée par des éléments montrant que l’évaluation représente bien les connaissances ou les compétences visées.

Les paramètres des items ne doivent pas non plus être considérés comme universels. Leur comportement peut varier selon les populations, les langues, les conditions de passation ou les procédures d’administration. Un item qui différencie efficacement les apprenants dans un contexte peut fonctionner différemment dans un autre. Par conséquent, la communication d’un niveau de compétence estimé exige de prêter attention à la conception de l’évaluation ainsi qu’aux conditions dans lesquelles le modèle a été élaboré et appliqué.

Une échelle de compétence situe le niveau de compétence estimé sur un continuum latent relié à des niveaux de performance décrits ou à des repères. « Latent » signifie que l’attribut n’est pas observé directement, mais inféré à partir d’éléments observables. Une échelle devient interprétable lorsque ses points sont associés à des descriptions telles que les types de tâches que les apprenants situés à un niveau donné sont généralement capables d’accomplir. Un point de l’échelle tire son sens de ces descriptions de la performance, et non du simple fait qu’il porte une étiquette numérique.

Une échelle de compétence ne doit donc pas être lue comme une simple échelle de pourcentage de réponses correctes. Un apprenant situé à un point donné de l’échelle n’a pas nécessairement répondu correctement à un pourcentage fixe de toutes les questions possibles. La relation entre les réponses et la position sur l’échelle dépend de la difficulté des items, de leur pouvoir discriminant, de la conception du test et du modèle. Les comparaisons entre les échelles de différents programmes exigent également de vérifier leur alignement, les conventions de communication des résultats et les construits représentés.

La distinction entre un score observé et un niveau de compétence estimé peut être résumée comme suit.

| Caractéristique | Score observé | Niveau de compétence estimé | | --------------------- | ------------------------------------------------------------ | ---------------------------------------------------------------------------------------- | | Signification de base | Un résumé des réponses enregistrées | Une inférence fondée sur un modèle concernant un attribut latent | | Informations principales utilisées | Réponses ou points obtenus | Réponses, caractéristiques des items, hypothèses du modèle et, parfois, informations complémentaires | | Interprétation | Ce qui a été observé sur ce formulaire d’évaluation | Ce que les éléments probants issus des réponses suggèrent quant à la position sur une échelle de compétence | | Limitation principale | Peut ne pas être comparable d’un formulaire ou d’un programme à l’autre | Dépend de la validité de construit, de l’adéquation du modèle et de l’incertitude | | Prudence appropriée | Ne supposez pas que le même total signifie la même chose partout | Ne considérez pas l’estimation comme une caractéristique directement observée |

Cette distinction est importante dans l’interprétation à l’échelle de l’établissement scolaire. Un enseignant peut observer qu’un apprenant a répondu correctement à six des dix questions posées en classe. Ce score observé constitue un élément utile pour évaluer la performance à ces questions. Il n’est pas automatiquement équivalent à une estimation générale de la compétence, surtout si les questions ne portent que sur un seul thème ou fournissent des informations limitées. À l’inverse, une évaluation à grande échelle peut estimer la compétence à l’aide d’une conception des items plus large, mais l’estimation reste incertaine et ne doit pas être interprétée comme une description complète de l’apprenant.

Les valeurs plausibles offrent une autre manière de représenter l’incertitude, notamment dans les analyses au niveau de la population. Plutôt que d’attribuer à chaque participant un niveau de compétence unique et définitif, un système d’évaluation peut générer plusieurs tirages à partir d’une distribution a posteriori de la compétence. Ces tirages sont appelés valeurs plausibles. Ils représentent l’éventail des niveaux de compétence qui restent raisonnables compte tenu des réponses et des informations complémentaires.

Les valeurs plausibles ne sont pas des scores de tests répétés pour un même apprenant. Ce sont des tirages alternatifs à partir d’une distribution d’incertitude. Dans l’analyse de groupes, la variation entre les valeurs plausibles est prise en compte afin que les estimations des moyennes, des différences ou des relations reflètent l’incertitude liée aux estimations de la compétence. Faire la moyenne des valeurs plausibles sans appliquer les procédures d’analyse appropriées peut conduire à sous-estimer l’incertitude ou à produire des résultats trompeurs #(sc31-e2).

La séquence est donc cumulative : les réponses fournissent des éléments probants ; un modèle relie ces éléments à la compétence ; une échelle confère aux performances une signification interprétable ; et les valeurs plausibles représentent l’incertitude lorsque la compétence est utilisée dans une analyse de population. À chaque étape, le résultat demeure une interprétation de mesure, et non un jugement de politique publique. Déterminer si un apprenant bénéficie d’une intervention, si un établissement scolaire doit être tenu responsable de ses résultats ou si un programme doit être étendu exige des critères supplémentaires et un jugement professionnel.

Pourquoi les estimations relatives à une population ne constituent pas des diagnostics individuels

La distinction suivante concerne le niveau d’inférence. Une comparaison entre groupes décrit des populations ou des sous-groupes, par exemple les écarts de niveau de compétence estimé moyen entre des régions, des types d’établissements scolaires, ou des groupes soumis à une intervention et des groupes de comparaison. Un diagnostic individuel porte sur une décision concernant un apprenant donné : par exemple, déterminer si cet apprenant a besoin d’un enseignement supplémentaire sur les fractions ou sur une compétence particulière en lecture.

Ces objectifs nécessitent des éléments probants différents. Les évaluations de population s’appuient souvent sur des échantillons planifiés, des pondérations d’échantillonnage, des plans complexes et des valeurs plausibles pour estimer les caractéristiques d’une population. La moyenne obtenue peut être informative pour le groupe tout en restant imprécise pour un participant donné. Une moyenne de groupe ne décrit pas chacun des membres de ce groupe, car l’hétérogénéité peut être importante.

Prenons l’exemple d’une comparaison entre deux groupes scolaires. Si un groupe présente une estimation moyenne de compétence plus élevée, ce résultat peut étayer une affirmation descriptive concernant les groupes dans les conditions de l’évaluation. Il n’établit pas que chaque apprenant du groupe obtenant le score le plus élevé possède un niveau de compétence supérieur à celui de chaque apprenant de l’autre groupe. Il ne permet pas non plus, à lui seul, d’identifier la cause de cette différence. Une différence entre groupes peut être associée à de nombreux facteurs, et une corrélation ne doit pas être assimilée à une causalité en l’absence d’un plan d’étude approprié et d’éléments probants complémentaires.

La distinction peut être explicitée comme suit :

| Question | Inférence concernant une population ou un sous-groupe | Diagnostic individuel | | ---------------------- | ----------------------------------------------------------------------------- | ---------------------------------------------------------------- | | Unité d’interprétation | Groupe ou population défini(e) | Un apprenant nommé | | Éléments probants typiques | Réponses d’échantillon, pondérations d’échantillonnage, valeurs plausibles, incertitude au niveau des groupes | Plusieurs sources d’éléments probants propres à l’apprenant | | Objectif principal | Décrire des tendances ou comparer des groupes | Éclairer la compréhension de l’enseignement ou orienter les décisions de soutien | | Risque majeur | Confondre association ou classement et causalité | Traiter une estimation imprécise comme une étiquette définitive | | Conclusion appropriée | « Les groupes diffèrent quant à la mesure rapportée dans ces conditions » | « Cet apprenant pourrait avoir besoin de preuves ou d’un soutien supplémentaires dans ce domaine » |

Il est donc inapproprié d’utiliser une estimation de population de type enquête pour situer un apprenant individuel. Une seule valeur plausible ne doit pas être utilisée pour établir un diagnostic individuel, et les valeurs plausibles ne doivent pas être moyennées comme s’il s’agissait de tentatives répétées de la part de cet apprenant. Même une estimation individuelle issue d’une évaluation bien conçue peut être incertaine lorsque l’apprenant a répondu à peu d’items, a présenté des profils de réponses inhabituels ou a été évalué dans des conditions qui ne reflètent pas ses performances ordinaires.

Les décisions individuelles devraient s’appuyer sur une base de données probantes plus large, comprenant notamment les travaux réalisés en classe, les observations de l’enseignant, le suivi formatif, les informations contextuelles pertinentes et une évaluation ciblée complémentaire. Ces sources présentent elles aussi des limites, mais, prises ensemble, elles peuvent fournir des informations plus utiles au diagnostic d’un problème qu’une estimation orientée vers la population prise isolément. La décision finale concernant une intervention ou une orientation relève d’un jugement professionnel ou institutionnel éclairé par la mesure ; elle n’est pas produite mécaniquement par le nombre.

Un interprète rigoureux devrait se poser quatre questions avant d’utiliser une estimation :

• Quel construit l’évaluation a-t-elle été conçue pour mesurer ?
• Comment les informations issues des réponses observées ont-elles été converties dans l’échelle rapportée ?
• Quelle incertitude entoure l’estimation ou la comparaison entre les groupes ?
• L’utilisation prévue concerne-t-elle la description d’une population, l’évaluation d’un programme, le suivi formatif ou une décision individuelle ?

Ces questions contribuent à prévenir plusieurs erreurs courantes : employer indifféremment les termes « score » et « niveau de maîtrise », supposer qu’un score observé plus élevé a toujours la même signification d’une version à l’autre, considérer les points de l’échelle comme naturellement signifiants en l’absence de descriptions des performances, et supposer qu’une moyenne de groupe décrit chacun des membres de ce groupe.

Conclusion

Passer des réponses aux estimations de compétence suppose plusieurs interprétations liées entre elles. La théorie de la réponse à l’item modélise la probabilité des réponses en fonction de la compétence des personnes et des caractéristiques des items. Une échelle de compétence situe l’inférence qui en résulte sur un continuum latent relié à des descriptions des performances. Les valeurs plausibles représentent l’incertitude entre les différentes valeurs de compétence possibles dans les analyses à l’échelle d’une population. Un score observé résume les réponses, tandis qu’une compétence estimée constitue une inférence fondée sur un modèle.

La distinction finale, et la plus importante, concerne ce que les données mesurent et ce que les décideurs choisissent d’en faire. Les estimations relatives à une population peuvent étayer les comparaisons entre groupes lorsque l’échantillonnage, la pondération, l’alignement des échelles et l’incertitude sont traités de manière appropriée. Elles ne permettent pas, à elles seules, d’établir un diagnostic concernant un apprenant donné. Les décisions individuelles exigent des éléments probants propres à l’apprenant, une attention portée à l’hétérogénéité, ainsi qu’un jugement professionnel ou fondé sur les politiques publiques. Considérer la mesure comme un élément probant plutôt que comme une certitude permet de préserver à la fois l’utilité et les limites des résultats de l’évaluation.

3.2 : Comparer les données probantes, inférer les effets et débattre des réformes

{Les décisions d’amélioration scolaire devraient reposer sur l’adéquation entre un problème défini et une intervention réalisable, et non sur le programme qui semble produire l’effet le plus important. Une théorie du changement précise ce qui devrait changer, pour qui, au moyen de quelles activités et pourquoi.

Comparez les réformes selon les critères suivants :

• Résultats et groupes cibles
• Qualité de la mise en œuvre, portée, personnel mobilisé et faisabilité
• Équité et personnes susceptibles d’en bénéficier ou d’être laissées de côté
• Coûts directs, temps du personnel et coûts d’opportunité
• Effets non intentionnels tels que l’étiquetage, l’exclusion, le rétrécissement du programme ou la distorsion des déclarations de résultats

Corrélation n’est pas causalité. Une amélioration observée après une réforme peut aussi s’expliquer par des tendances temporelles, la sélection, d’autres réformes, l’évolution des effectifs ou des conditions extérieures. Toute affirmation causale exige une comparaison ou un contrefactuel crédible. Les données issues d’études randomisées peuvent renforcer l’inférence causale, mais les résultats ne sont pas nécessairement transposables directement à d’autres établissements, apprenants ou contextes de mise en œuvre.

Les effets moyens peuvent masquer une hétérogénéité : les interventions peuvent aider davantage certains apprenants ou établissements que d’autres, avoir peu d’effet sur un autre groupe ou faire peser des contraintes ailleurs. Les conclusions concernant les sous-groupes doivent rester prudentes, car les petits échantillons et les comparaisons multiples peuvent produire des différences trompeuses.

L’analyse coût-efficacité consiste à déterminer quel résultat supplémentaire est obtenu en échange des ressources supplémentaires mobilisées, par comparaison avec une solution de remplacement réaliste. Les évaluations devraient prendre en compte les coûts visibles et cachés et considérer plusieurs résultats, tels que l’assiduité, le bien-être, l’achèvement de la scolarité et les acquis, plutôt que de réduire la valeur de l’éducation à un seul score de test.

L’équité consiste à garantir un accès juste à des possibilités porteuses de sens, et non nécessairement à appliquer un traitement identique. Les systèmes de données, comme les outils d’alerte précoce, peuvent aider à repérer les besoins, mais les indicateurs sont imparfaits et devraient éclairer — et non remplacer — le jugement professionnel. Les risques liés à la vie privée, à l’accessibilité, à la langue, au handicap et aux erreurs de classification doivent être pris en compte.

Un débat politique responsable distingue :

Affirmation → données probantes → hypothèses → limites → jugement de valeur → décision

Les données probantes éclairent les décisions, mais ne les déterminent pas automatiquement. Les participants devraient préciser ce qui est établi, ce qui demeure incertain et quelles priorités justifient l’arbitrage retenu.

La reddition de comptes devrait soutenir l’amélioration et la responsabilité publique sans considérer les résultats comme des mesures exhaustives de la qualité d’un établissement ou des enseignants. Les garde-fous comprennent la communication de l’incertitude, l’interprétation des résultats dans leur contexte, l’utilisation de plusieurs indicateurs, la distinction entre les comparaisons de groupes et le diagnostic individuel, l’examen des conséquences non intentionnelles, la mise en relation des données avec le jugement professionnel et l’abstention de décisions à forts enjeux fondées sur des mesures peu fiables ou faciles à manipuler.

L’objectif central est de porter, dans la transparence et avec mesure, un jugement en situation d’incertitude : sélectionner une intervention fondée sur les données probantes, équitable, réalisable et adaptée au problème comme au contexte.}

Une décision d’amélioration scolaire consiste rarement à choisir entre une option manifestement bonne et une autre manifestement mauvaise. Le plus souvent, les responsables comparent des interventions dont les objectifs, les coûts, les données probantes et les risques diffèrent. Le cours met maintenant en relation la mesure, les données probantes relatives à la mise en œuvre et le jugement en matière de politiques publiques. L’objectif n’est pas d’identifier une intervention universellement meilleure que les autres, mais de prendre une décision transparente dans l’incertitude et de la défendre de manière responsable.

Objectifs d’apprentissage : À la fin de ce sous-chapitre, vous devriez être capable de :

• Comparer les interventions à partir de leurs résultats, de leurs conditions de mise en œuvre, des groupes ciblés, de leurs coûts et de leurs conséquences imprévues.
• Distinguer corrélation et causalité, et repérer les menaces courantes qui pèsent sur l’interprétation causale.
• Expliquer pourquoi un effet moyen peut différer selon les apprenants, les établissements scolaires et les contextes.
• Interpréter le rapport coût-efficacité marginal sans réduire la valeur éducative à un seul résultat.
• Construire un débat sur les politiques publiques fondé sur les données probantes, en distinguant les résultats des hypothèses et des jugements de valeur.
• Décrire les garanties nécessaires à une reddition de comptes responsable.

Comparer les réformes sans exagérer ce que montrent les données

Étape 1 : Commencer par diagnostiquer le problème. Une réforme doit répondre à un problème défini, et non simplement à la popularité d’une intervention. De faibles résultats scolaires, une assiduité insuffisante, un accès limité à des enseignements exigeants et une mauvaise transition vers la poursuite d’études peuvent appeler des réponses différentes. Une théorie du changement explicite le mécanisme proposé : qu’est-ce qui changera, pour qui, par quelles activités et pourquoi ce changement devrait-il améliorer un résultat ?

Comparez des interventions telles que le tutorat, le soutien à l’assiduité, la réforme des programmes, le développement professionnel des enseignants et les systèmes d’alerte précoce. Ces options ne ciblent pas exactement le même problème et ne reposent pas sur le même mécanisme. Le tutorat peut fournir un enseignement supplémentaire ; le soutien à l’assiduité peut s’attaquer aux obstacles à la participation ; le développement professionnel des enseignants peut faire évoluer les pratiques en classe ; un système d’alerte précoce peut améliorer le ciblage et la coordination. La question pertinente n’est donc pas simplement : « Quel programme produit l’effet le plus important ? » C’est plutôt : « Quelle intervention correspond le mieux à ce problème et à ce contexte, compte tenu des données probantes et des ressources disponibles ? »

Étape 2 : Comparer les interventions selon plusieurs dimensions. L’efficacité comparée consiste à examiner de manière structurée ce que différentes interventions permettent d’obtenir, pour quels groupes cibles, dans quelles conditions de mise en œuvre et à quel coût. Elle prend également en compte les conséquences imprévues. Une comparaison utile porte notamment sur les éléments suivants :

• Résultats : Quels résultats sont mesurés : performances aux évaluations, assiduité, achèvement des cours, bien-être ou autre objectif ?
• Groupes cibles : Quels apprenants ont été concernés, et sont-ils comparables aux apprenants du contexte envisagé ?
• Mise en œuvre : L’intervention a-t-elle été déployée avec une portée, une intensité, des effectifs et une fidélité de mise en œuvre suffisants ?
• Faisabilité : L’établissement peut-il fournir le temps, la formation, les locaux et les systèmes de données nécessaires ?
• Équité : Qui en bénéficie, qui risque de ne pas être pris en compte, et l’accès ou les effets peuvent-ils différer selon les groupes ?
• Coûts et coûts d’opportunité : Quelles ressources sont nécessaires, et quelles autres activités ces ressources évinceraient-elles ?
• Conséquences imprévues : La réforme pourrait-elle rétrécir le programme, renforcer la catégorisation des élèves ou créer des incitations à manipuler les données déclarées ?

| Question de comparaison | Pourquoi c’est important | | --------------------------------- | ---------------------------------------------------------------------------- | | Les résultats se sont-ils améliorés ? | Établit ce qui a été mesuré, mais pas nécessairement pourquoi l’amélioration s’est produite. | | Pour qui les résultats se sont-ils améliorés ? | Révèle une éventuelle hétérogénéité des effets. | | Dans quelles conditions ? | Indique si la mise en œuvre et le contexte ont favorisé l’intervention. | | À quel coût supplémentaire ? | Aide à comparer la valeur, plutôt que de s’intéresser uniquement aux résultats bruts. | | Quels risques ont accompagné les gains ? | Empêche qu’un seul indicateur favorable ne domine le jugement. |

Étape 3 : Distinguer corrélation et causalité. La corrélation désigne une évolution conjointe : deux mesures évoluent ensemble. Un effet causal est la différence attribuable à une intervention dans le cadre d’un contrefactuel défini. Le contrefactuel consiste à se demander ce qui serait arrivé aux mêmes apprenants, au même moment, en l’absence de l’intervention. Comme cette situation ne peut généralement pas être observée directement, les chercheurs utilisent un dispositif de comparaison pour l’estimer.

Par exemple, si l’assiduité augmente après la mise en place d’une nouvelle équipe de soutien, cette hausse constitue un indice d’association. Elle ne prouve pas, à elle seule, que l’équipe est à l’origine de l’amélioration. L’assiduité peut également avoir évolué en raison de tendances saisonnières, d’une amélioration des transports, d’une réforme menée parallèlement ou d’une composition différente des effectifs scolaires. La sélection peut aussi jouer un rôle : les établissements qui se portent volontaires pour un programme peuvent se distinguer systématiquement de ceux qui ne le font pas.

flowchart TD
  a["Intervention introduite"] --> b["Évolution des résultats observés"]
  c["Tendances temporelles"] --> b
  d["Sélection et facteurs de confusion"] --> b
  e["Réformes concomitantes et effets de débordement"] --> b
  f["Comparaison définie ou contrefactuelle"] --> g["Interprétation causale plus solide"]
  b --> g

Les données issues d’une randomisation peuvent améliorer l’inférence causale, car l’affectation contribue à équilibrer les différences observées et non observées entre les groupes. Toutefois, les résultats d’une étude randomisée ne sont pas automatiquement transposables à tous les contextes. Les apprenants, les établissements scolaires, les capacités du personnel, la fidélité de la mise en œuvre et les politiques environnantes peuvent différer. Le raisonnement causal exige donc à la fois un dispositif crédible et une appréciation rigoureuse du contexte.

Étape 4 : Examiner l’hétérogénéité des effets. L’hétérogénéité signifie qu’un effet moyen peut masquer des variations importantes selon l’apprenant, l’établissement, les conditions de mise en œuvre ou le contexte. Une intervention peut avoir un effet moyen positif tout en aidant davantage certains apprenants que d’autres, en entraînant peu de changements pour un autre groupe ou en imposant des contraintes à un troisième groupe.

Cela ne signifie pas que toute différence apparente entre sous-groupes soit réelle. De petits échantillons peuvent produire des estimations instables, et la recherche de différences entre de nombreux sous-groupes peut faire apparaître des résultats dus au hasard. Pour qu’une affirmation concernant un sous-groupe soit crédible, il faut généralement disposer d’un échantillon de taille suffisante, d’un mécanisme plausible et d’un dispositif capable d’étayer la comparaison. La conclusion appropriée peut donc être prudente : les données suggèrent que les effets pourraient varier selon le contexte, mais l’estimation disponible est trop incertaine pour justifier une affirmation ferme concernant un sous-groupe.

La première infographie est placée à ce stade, car la comparaison exige de prendre simultanément en compte les données probantes, la mise en œuvre, l’équité, les coûts, l’incertitude et la responsabilité, plutôt que de se limiter à un classement unique.

Équilibrer efficacité, équité, coût et responsabilité

L’efficacité est importante, mais elle ne constitue qu’un élément du jugement porté sur une politique. Une réforme dont les résultats moyens semblent prometteurs peut être difficile à mettre en œuvre, coûteuse à maintenir, mal adaptée au groupe cible ou préjudiciable si son système de responsabilité incite à restreindre les apprentissages ou à exclure certains élèves.

Étape 5 : Interpréter le rapport coût-efficacité. Le rapport coût-efficacité compare les ressources supplémentaires aux résultats supplémentaires. La question centrale n’est pas : « Quelle est l’option la moins chère ? », mais plutôt : « Quel résultat supplémentaire obtient-on au regard des ressources supplémentaires nécessaires, comparativement à une solution de remplacement réaliste ? »

Les coûts visibles d’un programme peuvent inclure le matériel, la technologie ou les prestataires externes. Les coûts moins visibles comprennent le temps du personnel, la formation, la coordination, la gestion des données et le coût d’opportunité des activités qui ne peuvent pas avoir lieu parce que les ressources ont été réaffectées. Une réforme peut sembler peu coûteuse si l’on ne tient pas compte du temps du personnel, ou coûteuse si l’on ne prend pas en compte ses bénéfices plus larges.

Le rapport coût-efficacité dépend également du résultat retenu. Une réforme peut améliorer l’assiduité, la confiance ou l’achèvement d’un cours sans entraîner de changement immédiat important à une épreuve donnée. Réduire la valeur éducative à un seul résultat peut fausser la comparaison, en particulier lorsque les réformes poursuivent plusieurs objectifs. Les décideurs doivent donc préciser quels résultats sont pris en compte, sur quelle période et pour quels groupes.

Étape 6 : Intégrer l’équité dans la comparaison. L’équité ne consiste pas à proposer exactement la même intervention à chaque apprenant. Elle concerne un accès équitable à des possibilités porteuses de sens, ainsi que la prise en compte de la diversité des obstacles et des besoins. Une intervention ciblée peut être plus équitable si elle dirige un soutien supplémentaire vers les apprenants qui rencontrent les obstacles les plus importants. Toutefois, le ciblage peut aussi produire une stigmatisation préjudiciable ou exclure des apprenants dont les besoins ne sont pas pris en compte par les données.

Les choix de mesure sont importants. Un système d’alerte précoce peut, par exemple, aider le personnel à repérer les apprenants qui ont besoin d’un soutien, mais ses indicateurs ne se confondent pas avec les apprenants eux-mêmes. Le niveau de maîtrise estimé, les résultats observés, les relevés d’assiduité et les jugements des enseignants fournissent chacun des informations partielles. Ils doivent étayer le jugement professionnel et alimenter une boucle de rétroaction, non s’y substituer. L’accessibilité, la langue, le handicap, la confidentialité et le risque d’erreur de classification doivent être pris en considération avant d’utiliser les résultats pour répartir les possibilités.

Étape 7 : Débattre des affirmations de politique publique en toute transparence. Un débat sur les politiques fondé sur les données probantes ne signifie pas que les données probantes déterminent automatiquement la décision. Cela signifie que les participants rendent leur raisonnement explicite :

Claim -> evidence -> assumptions -> limitations -> policy value judgment -> decision

Prenons une controverse sur la question de savoir si une école devrait donner la priorité à un programme de tutorat ciblé ou à une formation plus large des enseignants. Un participant peut soutenir qu’il faut adopter le tutorat parce qu’il répond directement aux besoins des apprenants en retard. Les données probantes pourraient notamment comprendre une comparaison crédible entre le tutorat et l’offre habituelle. Les hypothèses pourraient porter sur la disponibilité de tuteurs formés et sur la régularité de la participation. Les limites pourraient inclure l’incertitude quant à la transposition des résultats à la population locale. Le jugement de valeur relatif à la politique publique peut accorder la priorité à un soutien rapide pour les apprenants qui ont actuellement les besoins les plus importants. Un autre participant peut accorder davantage de valeur au renforcement des capacités à l’échelle du système et plaider en faveur de la formation des enseignants, tout en reconnaissant que ses effets pourraient mettre plus de temps à apparaître.

Aucune des deux positions ne devrait présenter une préférence de valeur comme un résultat empirique. De même, l’incertitude ne doit pas être considérée comme la preuve qu’aucune décision ne peut être prise. Une décision responsable précise ce qui est connu, ce qui est supposé, ce qui demeure incertain et pourquoi le compromis retenu est acceptable.

Étape 8 : Utiliser la responsabilisation de manière responsable. La responsabilisation remplit deux fonctions légitimes : favoriser l’amélioration et maintenir la responsabilité publique quant à l’utilisation des ressources et de l’autorité. Elle devient préjudiciable lorsque les résultats sont considérés comme des mesures complètes de la qualité d’une école ou d’un enseignant, malgré l’influence des conditions familiales, du contexte local, des apprentissages antérieurs, des effectifs et des ressources.

Une responsabilisation responsable prévoit des garde-fous :

• Signaler l’incertitude plutôt que de présenter les classements comme exacts.
• Interpréter les résultats dans leur contexte, notamment en tenant compte des groupes cibles et des conditions de mise en œuvre.
• Utiliser plusieurs indicateurs pertinents plutôt que de ne retenir que les mesures favorables.
• Distinguer la comparaison entre groupes du diagnostic individuel.
• Examiner les conséquences imprévues, notamment le rétrécissement des apprentissages, l’adaptation de l’enseignement à une mesure, l’exclusion et la modification des remontées d’information.
• Combiner les données avec le jugement professionnel et donner la possibilité d’en rechercher les causes.
• Éviter les conséquences à forts enjeux lorsque la mesure n’est pas fiable, est mal alignée ou se prête facilement à la distorsion.

Ces garde-fous n’éliminent pas la responsabilité. Ils en améliorent la qualité en rendant les affirmations proportionnées aux données disponibles. On peut attendre d’une école qu’elle suive la mise en œuvre et réagisse aux données probantes, sans la tenir seule responsable de résultats façonnés par des conditions échappant à son contrôle.

Conclusion

~Comparer des réformes exige davantage que d’identifier l’amélioration observée la plus importante. Une comparaison rigoureuse examine le diagnostic du problème, les éléments probants concernant les mécanismes causaux, la fidélité de la mise en œuvre, les groupes ciblés, l’hétérogénéité des effets, l’équité, le rapport coût-efficacité, l’incertitude et les conséquences imprévues. Une corrélation peut signaler une tendance, mais son interprétation causale dépend d’un contrefactuel crédible et d’une attention minutieuse portée à la sélection, aux tendances, aux facteurs de confusion, aux effets de débordement et au contexte. Les effets moyens éclairent les décisions, mais ne garantissent pas des effets identiques pour chaque apprenant ou chaque établissement scolaire. Enfin, un débat sur les politiques fondé sur les données probantes distingue les affirmations empiriques des hypothèses et des jugements de valeur, tandis qu’une reddition de comptes responsable utilise les résultats pour favoriser l’amélioration et assumer la responsabilité publique, sans créer d’incitations néfastes ni d’étiquettes stigmatisantes. La tâche finale consiste donc à exercer un jugement transparent dans l’incertitude : non pas trouver une intervention universellement meilleure, mais choisir et défendre une ligne d’action proportionnée, équitable et réalisable.~

Conclusion

La réforme commence par un diagnostic, une théorie du changement et un ensemble ciblé de soutiens complémentaires, comme le tutorat. Suivez la fidélité de mise en œuvre, la portée, le dosage et les retours au moyen d’indicateurs avancés et retardés ; adaptez l’action. Interprétez les données en tenant compte de la finalité de l’évaluation, de la validité de construit, de la fiabilité, des pondérations d’échantillonnage et de l’incertitude ; distinguez les estimations de maîtrise des faits, et la mesure du jugement de politique publique, lorsque vous évaluez les résultats et les risques. Pour les appareils et les plateformes, évaluez les usages des écrans à partir de la pratique, de la participation, de l’accès, du bien-être et de la réussite — et non du temps d’écran. Mémorisez les termes, raisonnez à partir des données probantes, comparez les scénarios et transposez une recommandation en y intégrant une option low-tech, des garanties de confidentialité et d’équité, ainsi que des critères d’évaluation et de révision.

⟬

1. Quelle séquence représente le mieux la chaîne de diagnostic nécessaire à la conception d’une réforme de l’éducation ? A. Situation observée → causes plausibles → apprenants concernés → décision opérationnelle© B. Situation observée → intervention → résultats aux tests → jugement sur la politique publique C. Priorité de politique publique → allocation budgétaire → situation observée → explication causale D. Apprenants concernés → résultat d’évaluation → intervention universelle → résultat final Un diagnostic solide consiste à partir de l’identification de ce qui est observé, à examiner les causes plausibles, à déterminer qui est concerné, puis à choisir une action susceptible d’y répondre de manière raisonnable.
2. Quelle combinaison décrit correctement la fidélité de mise en œuvre ? A. Adhésion, qualité de la mise en œuvre, réactivité des participants et adaptation justifiée© B. Coût du programme, ampleur moyenne de l’effet et viabilité à long terme uniquement C. Fiabilité de l’évaluation, pondérations d’échantillonnage et distributions des scores
   D. Seuils de ciblage, priorités des politiques publiques et compromis acceptables
   La fidélité de mise en œuvre porte sur la question de savoir si les activités essentielles ont été menées, dans quelle mesure elles l’ont été correctement, comment les participants se sont impliqués et si les adaptations étaient justifiées et documentées.
3. Une école observe que les élèves qui utilisent une plateforme éducative ont tendance à obtenir de meilleurs scores de réussite. Quelle conclusion est la mieux fondée à partir de cette seule corrélation ?
   A. La plateforme a causé l’amélioration des résultats
   B. Les meilleurs résultats ont incité les élèves à utiliser la plateforme
   C. Cette relation constitue une tendance qui mérite d’être étudiée, mais la causalité n’est pas établie©
   D. La plateforme n’a aucun effet sur la réussite
   La corrélation montre que les mesures évoluent conjointement, mais les affirmations causales nécessitent une comparaison ou un contrefactuel crédible, la prise en compte des facteurs de confusion et un mécanisme plausible.
4. Dans une théorie du changement, quelle est la principale différence entre un produit immédiat et un résultat ?
   A. Un produit est une ressource investie, tandis qu’un résultat est une activité réalisée
   B. Un produit est ce que l’intervention génère directement, tandis qu’un résultat est une évolution ultérieure censée en découler© C. Un extrant est un effet sociétal à long terme, tandis qu’un résultat est un jugement de politique publique D. Un extrant est un score d’évaluation, tandis qu’un résultat est toujours un effet causal La séquence de la théorie du changement distingue les produits directs des activités, tels que les sessions achevées, des changements à court et à long terme qui devraient en découler.
5. Dans un échantillon complexe, un apprenant sélectionné avec une probabilité p_i reçoit un poids de base approximatif représenté par quelle formule ? A. w_i ≈ p_i B. w_i ≈ 1/p_i© C. w_i ≈ p_i² D. w_i ≈ 1 − p_i Le poids de base est approximativement l’inverse de la probabilité de sélection, ce qui permet aux répondants échantillonnés de représenter la part appropriée de la population cible.
6. Pourquoi les valeurs plausibles ne devraient-elles généralement pas être utilisées comme diagnostics définitifs du niveau d’un apprenant ? A. Il s’agit de plusieurs tirages représentant l’incertitude relative au niveau de compétence, destinés à une analyse à l’échelle de la population© B. Elles sont toujours identiques au score brut de l’apprenant fondé sur le nombre de réponses correctes C. Ils éliminent l’incertitude de mesure grâce à des tests répétés
   D. Ils sont conçus uniquement pour mesurer l’assiduité, et non la maîtrise
   Les valeurs plausibles représentent l’incertitude liée aux estimations de la maîtrise et sont destinées aux analyses à l’échelle des populations, et non à l’établissement de diagnostics précis au niveau individuel.
   ⟭