Quelle était la faute des modèles et pourquoi? – AIER

Les modèles d'épidémiologie utilisés pour justifier et étendre le verrouillage actuel des coronavirus commencent à faire l'objet d'un examen scientifique indispensable. Un nouveau document de travail publié par le National Bureau of Economic Research (NBER) présente un examen statistique détaillé de plusieurs modèles influents, et en particulier l'étude de l'Imperial College-London (ICL) qui a prédit jusqu'à 2,2 millions de décès dus au COVID-19 en les États-Unis dans son scénario le plus extrême.

Le modèle ICL a présenté un éventail de scénarios basés sur différentes réponses politiques, mais cette projection extrême – également appelée son scénario «ne rien faire» – a fait la une des journaux en mars. Bien que le document de l'ICL ait décrit son propre scénario «ne rien faire» comme «peu probable» étant donné qu'il supposait la propagation du virus en l'absence de réponses politiques et comportementales même modestes, ses projections astronomiques de décès étaient largement créditées à l'époque pour avoir influencé plusieurs gouvernements à adopter les politiques de verrouillage sévères que nous vivons actuellement.

L'administration Trump a spécifiquement cité la projection de 2,2 millions de morts d'ICL le 16 marse quand il a changé de cap vers un ensemble rigoureux de politiques de «distanciation sociale», que de nombreux États ont ensuite utilisé comme base pour les ordonnances d'abris sur place. Au Royaume-Uni, où le scénario «ne rien faire» du même modèle prévoyait plus de 500 000 décès, l'équipe de l'ICL a été directement créditée pour avoir incité le Premier ministre Boris Johnson à changer de cap par rapport à une stratégie de renforcement progressif de «l'immunité du troupeau» grâce à une politique de contact plus léger. approche des blocages maintenant en place.

Manifestement, le modèle ICL a modifié de façon dramatique les réponses politiques de deux grandes puissances mondiales.

En effet, l'équipe ICL n'a pas joué un petit rôle dans l'hypothèse des projections de son scénario «ne rien faire», même si son propre rapport a minimisé la probabilité de ce résultat en faveur de projections plus conservatrices associées à un éventail de politiques de distanciation sociale et de suspensions des pouvoirs publics. rassemblements. Le 20 marse L'auteur principal de l'ICL, Neil Ferguson, a rapporté la projection de 2,2 millions de morts au New York Times Nicholas Kristof comme le «pire des cas». Lorsque Kristof l'a interrogé davantage sur le scénario du «meilleur cas», Ferguson a répondu «environ 1,1 million de décès» – la limite inférieure du modèle ICL «ne rien faire».

Il convient de noter que même au moment de sa réunion du 16 marse publique, les conditions du scénario «ne rien faire» de l'ICL ont déjà été violées, rendant ses hypothèses invalides. La plupart des gouvernements avaient déjà commencé à «faire quelque chose» à ce stade, qu'il s'agisse de campagnes d'information du public sur l'hygiène et la distanciation sociale ou les annulations d'événements et les premiers stades du verrouillage, qui a commencé sérieusement une semaine plus tôt. Des adaptations comportementales volontaires ont également précédé les politiques gouvernementales de plusieurs semaines, avec une augmentation mesurable du lavage des mains remontant à au moins février et une baisse spectaculaire des réservations de restaurants au cours des deux premières semaines de mars. Lorsqu'elle est lue dans ce contexte, la décision de Ferguson de faire un battage médiatique contre le nombre extrême de morts du scénario «ne rien faire» à la presse de la mi-mars à la fin mars semble irresponsable.

Néanmoins, les prévisions alarmistes du nombre de morts dominaient le récit public à l'époque et – citant le modèle ICL – les États-Unis se sont retrouvés en lock-out.

Un mois plus tard, il est devenu évident que la prévision de 2,2 millions de morts avait été annulée de plusieurs ordres de grandeur, tout comme son homologue britannique de 500 000 décès prévus. Ferguson et l'équipe ICL ont modifié leurs commentaires publics pour mettre l'accent sur d'autres scénarios avec des projections plus conservatrices par dizaines de milliers (dans certains cas, cela a été décrit à tort comme une révision de leur modèle, bien qu'il ait en fait utilisé les scénarios les plus doux dans le mois de mars original). 16e papier).

Néanmoins, les dommages causés par le scénario «ne rien faire» de l'ICL, trop exagéré, ont déjà été causés. En effet, au moment d'écrire ces lignes, le président Trump cite toujours la projection de 2,2 millions de dollars dans ses conférences de presse quotidiennes comme la justification sous-jacente des fermetures. le New York Times Le reporter de COVID, Donald McNeil, revendiquait également les mêmes chiffres que le 18 avrile, et même un mois plus tard, cela reste un tabou sur les réseaux sociaux pour que les non-épidémiologistes examinent les affirmations statistiques sous-jacentes d'experts accrédités tels que Ferguson.

« Restez sur votre propre voie », nous dit-on, et laissez les experts faire leur propre travail. L'épidémiologie a ses propres méthodes et modèles propriétaires, même si leurs scénarios les plus alarmistes – ceux que Ferguson a publiquement médiatisés il y a un mois – vacillent de manière visible et évidente.

Entrez dans le nouveau document du NBER, rédigé conjointement par une équipe d'économistes de la santé de l'Université Harvard et du MIT. Ses auteurs effectuent un examen mesuré et délicat des principales prévisions épidémiologiques, y compris le modèle ICL au cœur des décisions de politique de verrouillage en mars. Parmi leurs principales conclusions:

«L'hétérogénéité la plus importante et la plus difficile dans la pratique est que le comportement individuel varie dans le temps. En particulier, la propagation de la maladie incite probablement les individus à prendre des décisions privées pour limiter les contacts avec d'autres personnes. Ainsi, les estimations de scénarios qui supposent une propagation exponentielle incontrôlée de la maladie, telles que les chiffres rapportés du modèle de l'Imperial College de 500 000 décès au Royaume-Uni et de 2,2 millions aux États-Unis, ne correspondent pas aux réponses comportementales auxquelles on s'attend dans la pratique. »

Comme l'expliquent les auteurs, le comportement humain change au cours d'une épidémie. Même une connaissance de base des risques d'infection associés incite les gens à prendre des mesures de précaution (pensez à vous laver davantage les mains ou à porter un masque en public). Les attentes concernant les interventions politiques ultérieures incitent elles-mêmes à modifier leur comportement – et de manière continue. L'effet cumulatif est de réduire la fiabilité des prévisions épidémiologiques, en particulier celles qui ne tiennent pas compte des changements de comportement.

Si cela vous semble familier, c'est la critique que mon collègue Will Luther a faite le 18 marse, seulement deux jours après la sortie du modèle ICL. Il a également noté cette implication lorsque Ferguson a déplacé l'accent de son commentaire public sur les scénarios les plus conservateurs de son modèle fin mars. J'ai également souligné l'importance de l'adaptation comportementale à cette époque lors de l'examen des nombreuses réponses politiques au COVID-19, des conseils de santé publique aux fermetures aux points de contrôle frontaliers dans certains États.

Les auteurs de l'article du NBER critiquent en outre l'article de l'ICL et quatre autres modèles d'épidémiologie pour exagérer leur propre certitude quant à leurs nombreux scénarios de projection. L'adaptation comportementale, entre autres facteurs, réduit la précision des prévisions à long terme. La présentation de plusieurs scénarios nécessite également l'adoption d'une multitude d'hypothèses sous-jacentes sur la façon dont ces facteurs se joueront compte tenu de chaque choix de politique effectué. Malheureusement, aucun des modèles d'épidémiologie qu'ils ont envisagés n'a pris de mesures suffisantes pour tenir compte de ces complications.

L'étude du NBER conclut ainsi:

«En somme, le langage de ces articles suggère un degré de certitude qui n'est tout simplement pas justifié. Même si les valeurs des paramètres sont représentatives d'un large éventail de cas dans le contexte du modèle donné, aucun de ces auteurs ne tente de quantifier l'incertitude quant à la validité de leurs choix de modélisation plus larges. »

L’expertise épidémiologique peut transmettre des connaissances spécialisées sur la nature de la transmission des maladies, particulièrement adaptées à la prévision de la propagation d’une pandémie. Mais cela n'exempte pas les modélisateurs des meilleures pratiques en sciences sociales pour tester la robustesse de leurs affirmations. Elle n'élimine pas non plus les règles de base de l'analyse statistique.

Ce serait une erreur de dresser l'épidémiologie comme un terrain contre ses détracteurs «extérieurs», car les débats en cours sur le COVID-19 révèlent en fait une discussion scientifique beaucoup plus complexe – y compris entre des experts médicaux et d'autres spécialistes des pandémies. À peu près au même moment où le modèle ICL a été publié en mars, un statisticien médical distingué

John Ioannidis a lancé un avertissement fort aux modélisateurs de maladies afin qu'ils reconnaissent les graves lacunes dans les données fiables sur COVID-19, y compris les hypothèses sur sa transmission et ses taux de mortalité essentiellement inconnus.

Plus récemment, une équipe d'épidémiologistes basée à l'Université de Sydney a examiné les performances du modèle influent de l'Institut de métrologie et d'évaluation de la santé (IHME) de l'Université de Washington pour prédire les décès le lendemain dans chacun des 50 États. En examinant les résultats quotidiens de mars et début avril, ils ont conclu que jusqu'à 70% du total des décès quotidiens se situaient en dehors de l'intervalle de confiance de 95% du modèle, soit parce qu'ils étaient trop élevés ou trop bas. Cette constatation ne discrédite pas nécessairement l'approche du chercheur de l'IHME, mais elle témoigne de la nécessité de raffiner davantage leurs techniques tout en mettant en garde contre l'utilisation de ses prédictions comme base pour l'élaboration des politiques alors que l'incertitude quant à son exactitude reste élevée.

Comme le montrent ces exemples, l'épidémiologie, l'économie de la santé et les domaines connexes qui se spécialisent dans les statistiques médicales ne sont pas un seul «consensus» à considérer comme une voix d'expertise monolithique. Au contraire, ils accueillent des débats nécessaires et parfois fortement divisés – y compris sur COVID-19.

Pour illustrer l'importance de l'examen statistique, il est utile de se pencher sur les épidémies passées et d'observer ce que des débats similaires nous apprennent sur l'exactitude des prévisions épidémiologiques concurrentes. À la fin des années 1990 et au début des années 2000, un de ces exemples a joué en Grande-Bretagne concernant le syndrome de Creutzfeldt-Jakob, mieux connu par son surnom commun de «maladie de la vache folle».

En 2001, le New York Times a publié un article sur différentes projections épidémiologiques sur la propagation de la maladie de la vache folle, mettant en évidence deux modèles concurrents.

Le premier modèle est venu d’une équipe de Jerome Huillard d’Aignaux, Simon Cousens et Peter Smith de la London School of Hygiene and Tropical Medicine (LSHTM). En utilisant une variété d'hypothèses sur la prévalence existante de la maladie (certaines d'entre elles vivement contestées) ainsi que des données d'observation sur l'incidence de la maladie avant son éclosion très médiatisée en 1996, le modèle LSHTM a offert une variété de scénarios décrivant un modèle global de transmission légère pour le maladie.

Comme Cousens l'a dit au Fois en 2001, «aucun modèle ne proposait un nombre supérieur à 10 000 décès et la plupart étaient bien inférieurs, de l'ordre de quelques milliers de décès» répartis sur la prochaine décennie. Alors que la littérature sur la maladie de la vache folle continue de débattre de certaines des hypothèses sous-jacentes de leur modèle, les projections de mortalité de l'équipe LSHTM se sont révélées assez proches de la réalité – du moins par rapport à d'autres modèles.

On estime que 177 personnes sont mortes de la maladie de la vache folle au Royaume-Uni à la suite de l'épidémie de 1996. Les mesures d'atténuation des maladies persistent dans un effort continu pour empêcher une future flambée de transmission du bétail à l'homme, y compris des restrictions à l'importation / exportation de bœuf et l'abattage de bovins pour contenir l'infection dans le bétail, mais au cours des deux dernières décennies, les décès annuels de la vache folle dans les humains sont restés extrêmement rares.

Quand le 2001 Fois Cependant, un modèle différent a dominé les gros titres de l'épidémie de vache folle – un modèle qui prévoyait une pandémie à grande échelle entraînant plus de 136 000 décès au Royaume-Uni. Le gouvernement britannique s'est appuyé sur ce modèle concurrent pour sa réponse politique, abattant environ 4 millions de vaches dans le processus. Le modèle concurrent ne s'est pas non plus limité au bétail. Dans une autre étude, ils ont examiné le potentiel de propagation de la maladie chez les moutons. En cas de transmission de l'agneau à l'homme, les modélisateurs ont alors proposé un scénario du «pire des cas» de 150 000 morts humaines, qu'ils ont fait passer à une presse frénétique à l'époque.

Dans le 2001 Fois L'article, l'auteur principal de cette projection plus alarmiste, a répondu aux projections relativement minimes du nombre de morts de l'équipe LSHTM. Ces chiffres, a-t-il insisté, étaient «injustement optimistes». Il a exposé une litanie de problèmes avec le modèle LSHTM, décrivant ses hypothèses sur l'exposition antérieure à la maladie de la vache folle comme «extrêmement naïve» et suggérant qu'il manquait une «sous-déclaration généralisée de la maladie par les agriculteurs et les vétérinaires qui ne comprenaient pas ce qui arrivait à leurs animaux. .  » Il a concédé à l'époque qu'il n'avait «depuis révisé (la projection de 136 000) que très légèrement à la baisse», mais a exprimé sa confiance qu'il se révélerait beaucoup plus proche du décompte réel.

L'auteur principal des projections de mortalité par maladie extrême de la vache folle et de l'agneau fou au début des années 2000 est un nom familier pour la modélisation épidémiologique.

C'était Neil Ferguson de l'équipe ICL.

Comme dans le cas de la crise actuelle, un haut degré d'incertitude a plané dans le passé sur les prévisions épidémiologiques. Une telle incertitude est probablement inévitable, mais elle produit également un large éventail de projections concurrentes. Lorsque les gouvernements élaborent une politique basée sur des prévisions épidémiologiques, leur choix du modèle à utiliser pourrait faire la différence entre une stratégie d'atténuation modérée et une grande intervention proactive, comme l'abattage massif de bétail dans le cas de la maladie de la vache folle ou agressif et généralisé. mettre à l'échelle les blocages sociétaux dans le cas de COVID-19.

Ce choix, souvent fait au milieu de graves limitations de données, est souvent présenté au public comme une action malheureuse mais nécessaire pour empêcher un scénario apocalyptique de se jouer. Mais nous devons également considérer les dommages invisibles encourus lorsque les politiciens fondent leurs décisions sur un scénario modélisé qui est non seulement improbable, mais aussi extrêmement alarmiste et probablement exagéré par la double tentation de l'attention des médias et de gagner l'oreille des politiciens.

Étant donné les fortes incertitudes révélées par l'examen statistique des modèles épidémiologiques, y compris parmi d'autres experts médicaux, la présomption devrait plutôt aller dans le sens contraire. Ce qui est justifié, ce n'est pas une action politique audacieuse en réponse à des modèles spéculatifs générés avec peu de transparence et des suppositions douteuses, mais plutôt une extrême prudence lorsqu'on s'appuie sur les mêmes modèles pour déterminer la politique.

Phillip W. Magness

P_W_Magness_1255cropped

Phil Magness est chercheur principal à l'American Institute for Economic Research.
Il est l'auteur de nombreux ouvrages sur l'histoire économique, la fiscalité, les inégalités économiques, l'histoire de l'esclavage et la politique éducative aux États-Unis.

Livres par Phillip W. Magness

Soyez informé des nouveaux articles de Phillip W. Magness et AIER. SOUSCRIRE

Vous pourriez également aimer...