L’échec de la modélisation de l’Imperial College est bien pire qu’on ne le savait – AIER

Un échange fascinant s’est déroulé à la Chambre des lords du Royaume-Uni le 2 juin 2020. Neil Ferguson, le physicien de l’Imperial College de Londres qui a créé le principal modèle d’épidémiologie derrière les verrouillages, a été confronté à sa première interrogation sérieuse sur la performance prédictive de son travail.

Ferguson a prédit des décès catastrophiques le 16 mars 2020, à moins que les gouvernements du monde entier n’adoptent sa suite préférée d’interventions non pharmaceutiques (IPN) pour conjurer la pandémie. La plupart des pays ont suivi ses conseils, en particulier après que les gouvernements du Royaume-Uni et des États-Unis aient explicitement invoqué son rapport pour justifier les verrouillages.

L’équipe de Ferguson à l’Impériale revendiquerait bientôt le mérite d’avoir sauvé des millions de vies grâce à ces politiques – un chiffre auquel elle est parvenue grâce à un exercice ridiculement non scientifique où elle prétendait valider son modèle en utilisant ses propres projections hypothétiques comme contrefactuel de ce qui se passerait sans verrouillage. Mais l’audience de juin au Parlement a attiré l’attention sur un autre test dans le monde réel de la modélisation de l’équipe impériale, celui-ci basé sur des preuves réelles.

Alors que l’Europe entrait dans le premier cycle de son expérience désormais d’un an avec des restrictions d’abris sur place, la Suède a renoncé à la stratégie recommandée par Ferguson. Ce faisant, ils ont également créé les conditions d’une expérience naturelle pour voir comment leurs nombres de coronavirus se comportaient par rapport aux modèles d’épidémiologie. Bien que Ferguson ait initialement limité sa portée aux États-Unis et au Royaume-Uni, une équipe de chercheurs de l’Université d’Uppsala en Suède a emprunté son modèle et l’a adapté à leur pays avec des projections tout aussi catastrophiques. Si la Suède ne fermait pas à clé à la mi-avril, a projeté l’équipe d’Uppsala, le pays connaîtrait bientôt 96000 décès de coronavirus.

J’ai été l’une des premières personnes à attirer l’attention sur l’adaptation d’Uppsala du modèle de Ferguson le 30 avril 2020. Même à cette date précoce, le modèle montrait des signes évidents de défaillance. Bien que la Suède ait été durement touchée par le virus, son nombre de morts n’était que de quelques milliers à un moment où l’adaptation du modèle de Ferguson attendait déjà des dizaines de milliers. En un an, la Suède comptait un peu plus de 13000 décès dus à Covid-19 – un bilan sérieux, mais moins élevé par habitant que de nombreux États de verrouillage européens et bien loin des 96000 décès projetés par l’adaptation d’Uppsala.

L’implication pour le travail de Ferguson reste claire: le modèle principal utilisé pour justifier les verrouillages a échoué son premier test dans le monde réel.

Lors de l’audience de la Chambre des Lords de l’année dernière, le député conservateur, le vicomte Ridley, a parlé à Ferguson de l’adaptation suédoise de son modèle: «L’Université d’Uppsala a pris le modèle de l’Imperial College – ou l’un d’entre eux – et l’a adapté à la Suède et a prévu des décès en Suède de plus 90 000 d’ici la fin du mois de mai s’il n’y avait pas de verrouillage et 40 000 si un verrouillage complet était appliqué. » Avec de telles disparités extrêmes entre les projections et la réalité, comment l’équipe impériale pourrait-elle continuer à guider la politique à travers leur modélisation?

Ferguson a rétorqué, désavouant tout lien avec les résultats suédois: «Tout d’abord, ils n’ont pas utilisé notre modèle. Ils ont développé leur propre modèle. Nous n’avons eu aucun rôle à le paramétrer. En règle générale, l’aspect clé de la modélisation est la façon dont vous la paramétrez par rapport aux données disponibles. Mais pour être absolument clair, ils n’ont pas utilisé notre modèle, ils n’ont pas adapté notre modèle.

Le modélisateur de l’Imperial College n’a fourni aucune preuve que l’équipe d’Uppsala avait commis une erreur dans l’application de son approche. La version publiée depuis par l’équipe d’Uppsala indique clairement qu’ils ont construit l’adaptation suédoise directement à partir du modèle britannique de l’Imperial. «Nous avons utilisé un modèle basé sur un agent individuel basé sur le cadre publié par Ferguson et ses collègues que nous avons réimplémenté» pour la Suède, expliquent les auteurs. Ils ont également reconnu que leurs projections modélisées dépassaient de loin les résultats observés, bien qu’ils attribuent de façon quelque peu discutable les différences à des changements de comportement volontaires plutôt qu’à une faute dans la conception du modèle.

L’équipe de Ferguson a néanmoins tenté de manière agressive de se dissocier de l’adaptation d’Uppsala de leur travail. Après que le UK Spectator ait attiré l’attention sur les résultats suédois au printemps dernier, Imperial College a tweeté que «Le professeur Ferguson et l’équipe d’intervention impériale COVID-19 n’ont jamais estimé à 40 000 ou 100 000 décès suédois. Le travail de l’Impériale est en train d’être confondu avec celui d’un groupe de chercheurs entièrement distinct. C’est une déviation que Ferguson et ses défenseurs ont répétée à plusieurs reprises depuis.

Il s’avère cependant que Ferguson et l’équipe de l’Imperial College étaient loin d’être honnêtes dans leurs tentatives de se dissocier des résultats observés par la Suède. Dans les semaines qui ont suivi la publication de leurs célèbres projections américaines et britanniques, Ferguson et son équipe ont en fait produit une version réduite de leur propre exercice de modélisation pour le reste du monde, y compris la Suède. Ils n’ont pas largement diffusé les projections au niveau des pays, mais la liste complète peut être trouvée enterrée dans un fichier annexe Microsoft Excel au rapport n ° 12 de l’Imperial College, publié le 26 mars 2020.

Les propres résultats projetés de l’Impériale pour la Suède sont presque identiques à l’adaptation d’Uppsala de leur modèle britannique. L’équipe de Ferguson a prévu jusqu’à 90 157 décès sous propagation «non atténuée» (par rapport aux 96 000 d’Uppsala). Dans le scénario de «distanciation sociale au niveau de la population» censé approximer les mesures d’atténuation des NPI telles que les verrouillages, les modélisateurs impériaux ont prédit que la Suède subirait jusqu’à 42 473 décès (contre 40 000 lors de l’adaptation d’Uppsala).

L’équipe impériale n’a pas précisé le moment exact auquel elle s’attendait à ce que la Suède atteigne le pic de son épidémie. Nous pouvons raisonnablement le déduire de leur modèle antérieur aux États-Unis et au Royaume-Uni, qui prévoyait que «le pic de mortalité (décès quotidiens) se produirait environ 3 mois» après la flambée initiale. Cela placerait le nombre de morts quotidien maximal en Suède vers la mi-juin, ou presque exactement à la même période que l’adaptation de l’équipe d’Uppsala.

Figure I: Modèle de l’Imperial College pour la Suède, 26 mars 2020

modèle impérial

Il s’avère que la ligne de questions du vicomte Ridley était correcte depuis le début. L’adaptation d’Uppsala du modèle de Ferguson ne projetait pas seulement un nombre de morts exagéré en Suède. Les propres projections de Ferguson pour la Suède ont avancé des chiffres similaires, tous très éloignés de ce qui s’est passé.

Le modèle multi-pays de l’Imperial College a utilisé ses projections antérieures et plus célèbres pour les États-Unis et le Royaume-Uni pour revendiquer la validité de son ensemble plus large d’extrapolations internationales. Comme l’a écrit l’équipe de Ferguson le 26 mars 2020: «Notre impact estimé d’un scénario non atténué au Royaume-Uni et aux États-Unis pour un nombre de reproduction, R0, de 2,4 (490 000 décès et 2 180 000 décès respectivement) correspond étroitement aux scénarios équivalents utilisant des microsimulations plus sophistiquées. (Respectivement 510 000 et 2 200 000 morts) »qu’ils ont relâché quelques semaines auparavant. Si les projections de l’Impériale aux États-Unis et au Royaume-Uni concordaient, une validité similaire pourrait être déduite pour les autres pays qu’ils ont modélisés dans le rapport multi-pays.

L’équipe de l’Imperial College s’est entièrement consacrée à son modèle multi-pays pour guider la politique. Ils ont appelé d’autres pays à adopter des verrouillages et des INP connexes pour réduire le nombre de morts projeté du scénario «non atténué» à «l’éloignement social». Comme Ferguson et ses collègues l’écrivaient à l’époque, «[t]o contribuer à éclairer les stratégies nationales dans les semaines à venir, nous fournissons ici des statistiques récapitulatives de l’impact potentiel des stratégies d’atténuation et de suppression dans tous les pays du monde. Celles-ci illustrent la nécessité d’agir tôt et l’impact que ne pas le faire est susceptible d’avoir sur les systèmes de santé locaux. »

Ne pas agir, ont-ils poursuivi, entraînerait une catastrophe quasi-certaine. Comme l’écrivaient Ferguson et son équipe, «[t]Les seules approches qui peuvent éviter l’échec du système de santé dans les mois à venir seront probablement les mesures intensives de distanciation sociale actuellement mises en œuvre dans de nombreux pays les plus touchés, de préférence associées à des niveaux élevés de dépistage. En bref, le monde devait entrer dans un verrouillage immédiat afin d’éviter les catastrophes prédites par leur modèle multi-pays.

(Remarque: l’Imperial College a également inclus un troisième scénario d’atténuation possible pour des mesures plus strictes en plus des INP de la population générale, visant à isoler davantage les personnes âgées et vulnérables, prévoyant qu’il pourrait réduire le nombre de Suède entre 16 192 et 33 878. Ils ont en outre modélisé un quatrième possible  » suppression »consistant en un verrouillage sévère qui réduirait les contacts humains de 75% pendant la durée de la pandémie et les maintiendrait pendant un an ou plus jusqu’à ce que la vaccination à l’échelle de la population soit réalisée. Elle prévoyait 14 518 décès. La Suède n’a manifestement adopté aucune des ces approches).

Un an plus tard, nous pouvons maintenant regarder en arrière pour voir comment les projections internationales de l’Imperial College se sont comportées, en accordant une plus grande attention au petit nombre de pays qui ont résisté à ses recommandations de verrouillage. Les résultats ne sont pas jolis pour Ferguson et indiquent un modèle clair de modélisation qui a systématiquement exagéré le nombre de morts projeté de Covid-19 en l’absence de verrouillages et de NPI connexes.

La figure II compare les projections du modèle de l’Imperial College pour son scénario de «distanciation sociale» et son scénario «non atténué» aux résultats réels à un an après sa publication. Ces projections reflètent un taux de réplication supposé (R0) de 2,4 – le scénario le plus prudent qu’elles ont envisagé, ce qui signifie que la fourchette supérieure des projections de l’Impériale prévoyait des taux de mortalité considérablement plus élevés. Les pays examinés ici – la Suède, Taïwan, le Japon et la Corée du Sud – se distinguent soit pour éviter les verrouillages et les restrictions agressives similaires des NPI, soit pour s’y fier dans une portée beaucoup plus limitée que celle conseillée par l’Imperial College. Les États-Unis, où 43 des 50 États ont adopté des verrouillages sous une forme ou une autre, sont également inclus à des fins de comparaison.

Figure II: Performance de la modélisation de l’Imperial College dans 4 pays non verrouillés et aux États-Unis

Pays (supposé R0 = 2,4) Décès projetés selon le modèle impérial – distanciation sociale (verrouillage) Décès projetés par le modèle impérial – propagation non atténuée Décès réels sur 1 an (26/03/21) Surestimation, scénario de verrouillage Surestimation, scénario non atténué Surestimation du pourcentage – Verrouillages Pourcentage de surestimation – Non atténué
Suède 30 434 66 393 13 496 16 938 52 897 126% 392%
Taïwan 93 712 179 828 dix 93 702 179 818 937020% 1798180%
Corée du Sud 141 198 301 352 1 716 139 482 299 636 8128% 17461%
Japon 469 064 1 055 426 8 967 460 097 1 046 459 5131% 11670%
États Unis 1 099 095 2.186.315 563 285 535 810 1 623 030 95% 288%

Comme on peut le voir, l’Imperial College a largement surestimé les décès projetés dans chaque pays à la fois dans son scénario «non atténué» et son scénario de «distanciation sociale» dépendant des NPI – y compris par ordre de grandeur dans plusieurs cas.

Des exagérations similaires peuvent être trouvées dans presque tous les autres pays où l’Impériale a publié des projections, alors même que la plupart d’entre eux ont choisi de se verrouiller. Le modèle le plus conservateur de l’équipe impériale prévoyait 332 000 décès en France dans le cadre d’une «distanciation sociale» basée sur le verrouillage et 621 000 avec une propagation «non atténuée». En un an, la France avait subi 94 000 morts. La Belgique devrait subir au moins 46 000 décès dans le cadre de l’atténuation des NPI et 91 000 avec une propagation incontrôlée. Lors du premier anniversaire du modèle, il a atteint 23000 morts – parmi les plus hauts péages au monde par habitant et un exemple de mauvaise gestion politique extrême de la pandémie sous un verrouillage sévère bien sûr, mais toujours seulement la moitié de l’Imperial College. projection la plus prudente pour l’atténuation des NPI.

Il y a un peu plus d’un an, la modélisation épidémiologique de Neil Ferguson et de l’Imperial College a joué un rôle prééminent dans la fermeture de la majeure partie du monde. Les prévisions exagérées de cette équipe de modélisation sont désormais impossibles à minimiser ou à nier, et s’étendent à presque tous les pays du monde. En effet, ils pourraient bien constituer l’un des plus grands échecs scientifiques de l’histoire humaine moderne.

Phillip W. Magness

Phil Magness

Phil Magness est chercheur principal à l’American Institute for Economic Research.

Il est l’auteur de nombreux ouvrages sur l’histoire économique, la fiscalité, les inégalités économiques, l’histoire de l’esclavage et la politique éducative aux États-Unis.

Livres de Phillip W. Magness

Soyez informé des nouveaux articles de Phillip W. Magness et AIER.

Vous pourriez également aimer...