L'affirmation que des collègues et moi-même avons faite précédemment (ici et là), selon laquelle les études d'évaluation ne montrent pas de différence d'efficacité entre les approches synthétiques et analytiques de l'enseignement de la lecture, repose sur la méta-analyse du National Reading Panel, qui a trouvé entre les deux approches une différence de taille d'effet de 0.11 écart-type, statistiquement non significative. Bien entendu, l'absence de différence statistiquement significative dans cette méta-analyse ne prouve pas l'absence réelle de différence. Il était donc inévitable que cette absence de différence soit contestée.
C'est ce que fait l'association Enseignement et Liberté, sur la base d'une contre-expertise commandée à la junior-entreprise de l'ENSAE. Ce rapport m'a été envoyé pour avis par un membre de l'association, auquel j'ai renvoyé un certain nombre de commentaires, déconseillant la publication. Aujourd'hui l'association publie néanmoins le rapport sur son site, suivi de plusieurs analyses et déclarations (la 1ère, la 2ème, la 3ème, la 4ème). Pour permettre à chacun de se faire une idée sur la base de différents points de vue, je recopie donc ma réponse ci-dessous, augmentée de quelques notes explicatives.
cher Monsieur,
J'ai bien lu le rapport
que vous m'avez envoyé.
La première
partie me parait être une tentative de faire
passer pour statistiquement significatives des différences
qui ne le sont pas. Pour aboutir à ce résultat,
l'auteur propose en quelque sorte d'inverser la charge de la preuve et
de se satisfaire d'une probabilité de 5% que la
différence soit réelle pour accepter cette
différence (1). D'un
point de vue strictement mathématique ce n'est pas
répréhensible, car tout critère
statistique de significativité est arbitraire, et fait donc
l'objet d'un choix délibéré. En
revanche c'est une absurdité
épistémologique. Ce n'est tout de même
pas un hasard si tous les scientifiques du monde sont d'accord pour
maintenir le critère de certitude à 95%. Il y a
bien des désaccords, mais typiquement de la part de gens qui
voudraient le porter à 99%, c'est-à-dire le
rendre encore plus strict, pas le contraire. Il ne viendrait
à l'esprit de qui que ce soit de sensé de vouloir
le descendre à 5%! Cela reviendrait à prendre
pour certain tout et n'importe quoi, et les "certitudes" n'en
finiraient pas de se contredire les unes les autres! Si le
législateur devait prendre ce critère de
certitude pour informer ses décisions, alors il devrait
modifier les lois toutes les semaines à la
lumière de telle nouvelle étude apportant une
"certitude" contredisant les précédentes.
Vraiment, cette argumentation ne tient pas debout, si vous l'utilisez vous
allez vous mettre dans l'embarras.
Accessoirement je pense
qu'il y a une erreur de calcul dans la reconstitution des
écart-types du NRP, car à vue de nez ils sont
trop faibles d'un ordre de grandeur pour être corrects (2). S'ils étaient ceux
indiqués, alors les différences obtenues par le
NRP seraient statistiquement significatives selon les
critères usuels, or ce n'est pas le cas. Mais peu importe,
car le problème est dans la définition du
critère, pas dans les chiffres (3).
La deuxième
partie est une présentation honnête de
l'étude de Johnston & Watson 2004 (4) (dite "du
Clackmannanshire"). Remarquez qu'ici l'auteur ne propose pas de changer
de critère statistique, puisque le critère usuel
suffit à aboutir au résultat
espéré... Incontestablement cette
étude produit des résultats en faveur de
l'approche synthétique. Evidemment il est tentant de mettre
en exergue cette étude, mais peut-on ignorer que d'autres
études ont donné des résultats
différents? C'est bien parce qu'il y a une grande
variabilité et des contradictions entre les
études, qu'une méta-analyse de plusieurs
études est infiniment supérieure aux
résultats d'une seule.
Comme l'a
observé l'auteur du rapport, la méta-analyse du
NRP n'était pas centrée sur la comparaison
analytique-synthétique, et a pu exclure quelques
études pertinentes, donc n'était pas
idéale pour répondre à la question qui
vous intéresse. Par ailleurs, publiée en 2000,
elle n'inclue pas les études plus récentes,
notamment celle de Johnston & Watson.
J'attire donc votre
attention sur une nouvelle méta-analyse
réalisée cette année à la
demande du gouvernement britannique, et ayant parmi ses missions
d'évaluer la question analytique-synthétique: http://www.dfes.gov.uk/research/data/uploadfiles/RR711_.pdf
Les auteurs ne trouvent
que 3 études évaluant cette question
rigoureusement, dont celle de Johnston & Watson, mais les deux
autres aboutissent à des conclusions opposées. Au
total la méta-analyse donne un avantage non significatif de
0.2 écart-type en faveur de la méthode
synthétique, même conclusion que le NRP. Les
auteurs ajoutent qu'avec 3 études seulement, le
degré de confiance qu'on peut avoir dans cette conclusion
est évidemment faible, et que d'autres études
seraient nécessaires pour vraiment savoir s'il y a une
différence d'efficacité.
La conclusion de tout
ça, c'est que les données scientifiques actuelles
n'indiquent pas de différence d'efficacité entre
les approches analytiques et synthétiques. Mais elles sont
en quantité insuffisante, et donc le débat n'est
pas clos. Si vous voulez avoir le fin mot de l'histoire, il ne sert
à rien de faire des contorsions statistiques pour
déformer l'interprétation normale des
données, il faut simplement encourager de nouvelles
recherches rigoureuses et à grande échelle sur le
sujet. Et tout particulièrement en France, en
évaluant les méthodes en usage en France. Par
exemple, les partisans des méthodes "naturelles" ne
manqueront pas de souligner que les méthodes analytiques
anglophones qui ont été
évaluées n'incorporent pas les
activités intensives d'écriture dont ils pensent
qu'elles sont le meilleur moyen d'apprendre le code. Je ne sais pas
s'ils ont raison, mais on ne pourra le savoir que si ces
méthodes particulières sont
évaluées, à côté
des autres méthodes synthétiques, analytiques et
mixtes en usage en France. Si vous avez l'oreille du ministre, ne
manquez donc pas de lui souffler de mettre de l'argent de
côté pour cela (dans l'Agence Nationale de la
Recherche, par exemple).
Bien cordialement,
Franck Ramus