Les chiffres sont-ils faux ? – Flint Dimanche 58

Hier matin je me suis réveillé, comme tous les matins donc, hum (cette phrase est bizarre), et comme tous les matins je vais jeter un oeil sur le petit pot bleu rempli de terre que j’ai posé dans un coin de ma cuisine. Dans ce petit pot bleu, il y a des graines. Et hier matin, donc, de ce petit pot des petites tiges vertes un peu tordues sont sorties de terre. La veille il n’y avait rien. Et le lendemain, si. Ça a fait ma journée. Tout ça n’a aucun rapport avec ce dont je voulais te parler ce matin, mais je voulais poser ça là, ça me semblait important.

Aujourd’hui, je voulais discuter avec toi de la vérité des chiffres. Donc aucun rapport en effet, quoique. Hier soir j’ai lu les 100 premières pages des notes philosophiques que Victor Hugo a couchées sur le papier avant d’écrire les Misérables. Comme s’il avait cherché à comprendre la complexité du monde et le sens de notre passage sur terre avant de s’attaquer à son immense oeuvre sur la condition humaine.

Dans ses notes, Victor Hugo se pose des milliards de questions sur comment marche la planète. Alors ce n’est pas exactement des milliards, mais il y a beaucoup beaucoup de questions. Certaines pages sont mêmes parfois remplies de séries de questions vertigineuses qu’un homme du XIXème siècle se pose sur les mystères de l’univers à l’aune de ce que la science ne sait pas vraiment. Il liste tellement de données et de phénomènes contradictoires qu’on a le sentiment que son cerveau va exploser et le notre avec. Et l’on se dit que oui, déjà à son époque, et sans doute plus encore aujourd’hui qu’hier, essayer de comprendre l’incroyable machinerie du monde versus la folle machinerie de l’humanité, c’est impossible pour un simple cerveau. A un moment, avant de repartir dans une nouvelle litanie de questions sans fond, Victor Hugo écrit :

« Je le répète, figurez-vous la terre, si vous pouvez (…) est-ce le chaos ? Non. C’est l’ordre ».

Avant de conclure à nouveau qu’il n’y comprenait rien.

Pour autant, il y a la science, et il y a les chiffres. Et un certain nombre de méthodes consensuelles sur lesquelles on peu à peu près s’accorder, ne serait-ce que pour ne pas faire exploser notre cerveau comme c’est arrivé à Victor Hugo et pour prendre des décisions. Sauf que le diable étant dans les détails, les chiffres, on peut leur faire dire un peu ce qu’on veut, comme on dit à la télé.

Par exemple cette semaine, j’ai reçu un message incendiaire d’une lectrice de Flint qui m’accusait d’être irresponsable parce que l’un de nos robots, Yolo, avait sélectionné un article rapportant que la France était classée N°4 pour sa politique contre le réchauffement climatique, alors que cet article était une « fake news ». Une fausse info. Je ne sais pas si c’était moi qu’elle accusait ou notre pauvre robot, mais ça m’a pas mal perturbé. D’abord parce que, d’une part, ce robot dédié à l’écologie a été entrainé par une journaliste plutôt pro-environnement pour sélectionner la qualité de ses articles et que, d’autre part, l’analyse de cet article par nos algorithmes prédisaient que sa résonance serait plus politique que scientifique, mais surtout avec une forte résonance centriste et libérale. Et c’est bien ce qui s’est passé, puisque l’article en question a été repris par l’ensemble de la sphère de la République en Marche (LREM) pour vanter la bonne note de la France au moment où le gouvernement se faisait vilipender par les défenseurs de l’environnement pour sa loi Climat.

Cet article était-il faux ? Pas exactement, mais il était trompeur. Et surtout il arrivait à point nommé au moment où le débat faisait rage.

Le classement auquel il faisait référence était il faux ? Là encore, oui et non. Enfin les chiffres étaient des vrais chiffres, mais ça dépend des chiffres que tu prends et de ceux que tu oublies. Du coup je me suis interrogé sur la vérité derrière les chiffres vrais et de ce qui faisait qu’une information chiffrée était vraie ou fausse, et là j’ai été rattrapé par le vertige de Victor Hugo.

Et j’ai appris pas mal de trucs vertigineux qui pourraient bien t’être utiles en ce dimanche de printemps relou et glacial. Notamment sur tes propres biais et comment les contrer, mais aussi sur la manipulation des données et comment faire preuve d’un minimum de méfiance quand ils te sont balancés à la figure comme ça avec des jolis graphiques et que tu n’y comprends plus rien à rien.

Tout d’abord, j’ai demandé à Mathilde Saliou, la nouvelle journaliste de Flint, d’enquêter un peu sur cette histoire de France 4ème championne du climat et puis ensuite j’ai lu des bouquins sur la manipulation des données et sur les biais cognitifs. Voici le résultat.

Commençons par les faits : publié par la MIT Technology Review le 25 janvier 2021 et ardemment discuté depuis qu’il a été repris dans un article de Transitions & Énergies le 5 avril, le Green Future Index place la France quatrième au classement des pays enregistrant les meilleurs progrès vers un “futur bas carbone”. En pleine discussion de la loi Climat et résilience, ce résultat a été salué par le gouvernement mais critiqué par la communauté scientifique, qui juge le calcul biaisé.

Révélons ensuite un premier biais : le biais d’autorité. Le classement a été réalisé par une revue, la MIT Technology Review, appartenant au Massachusetts Institute of Technology, dont la place de meilleure université mondiale au classement QS 2021 peut jouer en faveur d’un biais d’autorité. C’est à dire que l’on peut croire que l’étude est scientifique parce que l’université qui la produit est prestigieuse. Or, la Technology Review est un média business & technologies de bonne réputation (auprès des décideurs politiques et économiques), mais pas une revue scientifique.

Oui mais le classement s’appuie sur de vrais chiffres alors pourquoi serait-il faux ? Eh bien ça dépend du poids donné à ces chiffres. Mathilde écrit :

« La méthodologie du Green Future Index consiste à donner des notes sur 10 aux différents pays dans 5 domaines : émissions carbones, transition énergétique, société verte, innovations propres (ou vertes) et politiques climatiques. Ces notes pèsent différemment : les politiques climatiques comptent pour 40% du résultat final, tandis que les 4 autres piliers comptent chacun pour 15% (une critique de cette méthode par Céline Guivarch, climatologue et membre du Haut Conseil pour le Climat). »

Je te laisse découvrir, amender et commenter les détails des recherches de Mathilde sur ce débat dans son document de travail (qui est sous forme de brouillon) ici. Mais ce qui nous intéresse ici c’est de savoir s’ils sont vrais ou faux. Alors ni l’un ni l’autre, tout ce que l’on peut dire de ce classement c’est que c’est son exploitation médiatique et politique qui peut être trompeuse.

Selon les chiffres que tu utilises et la pondération que tu leur appliques, tu vas avoir des résultats différents. Par exemple, en 2018, la France était le 8e plus gros émetteur de gazs à effet de serre / habitant et le 2e plus gros producteur de déchets de l’OCDE. Mais selon un autre classement, plus scientifique celui-ci, la France est 5ème de l’Environmental Performance Index 2020, indicateur développé par des chercheurs de l’université de Yale et visant à estimer la performance des politiques environnementales, et sur le climat elle est à nouveau 4ème. Mais, souligne Mathilde, les bons résultats de ces politiques est corrélé au niveau de vie, ce qui est sujet à débat (en substance : les plus riches sont les plus gros pollueurs donc ils ont plus de marge de progrès).

Histoire de ma la jouer comme Victor Hugo, je me suis amusé à jouer avec plein de chiffres selon des critères différents sur le site Gapminder, créé par la fondation du célèbre statisticien Hans Rösling, et j’ai trouvé plein de résultats différents : la France est classée 8ème en émissions cumulées de CO2 par exemple, mais 44ème si on se concentre sur les émissions par année et si on inclut les importations. Sinon elle est N°1 en nucléaire mais ça on le savait plus ou moins.

Manipuler les chiffres, c’est délicat, et selon la façon dont on les manipule, ça peut nous amener à prendre des décisions inefficaces. Dans un ouvrage passionnant (mais très long), le prix Nobel d’économie Daniel Kahneman sur le fonctionnement trompeur de la pensée (et ses conséquences sur nos décisions) rapporte cette histoire très perturbante : la fondation Gates a investi récemment pas loin de deux milliards dans une étude chiffrée pour savoir quelles étaient les établissements scolaires les plus efficaces. Cette étude super coûteuse a permis à la fondation de conclure que les écoles les plus petites étaient les plus efficaces. Donc pour sauver l’éducation, il faut réduire la taille des établissements scolaires. Yala ! Sauf que, souligne Daniel Kahneman, si l’on avait regardé AUSSI les établissements les moins performants, on aurait retrouvé la même proportion de petites écoles. Donc ces chiffres à 1,7 millard ne voulaient rien dire. Conclusion, quand tu veux faire un classement, pense aussi à faire un contre-classement avant de foutre le bordel, merci.

Cette réflexion sur les chiffres nous amène à prendre en compte un autre biais, celui de raisonnement. Dans les années 60, une expérimentation, appelée « tâche de Wason » a révélé cette tendance redoutable qu’a notre cerveau à ne voir dans les chiffres que ce qu’il voulait voir. Tiens, essaie toi aussi de répondre pour voir. L’expérimentateur te montre une série de nombres et te demande de déceler la règle qui la sous-tend en proposant une autre série. Par exemple : 2-4-6. Tu vas me dire « 8-10-12 », ou « 3-5-7 » (la règle serait « de 2 en 2 » pair ou impair) ce qui marche aussi. Sauf que personne, selon les résultats de l’étude, n’a imaginé que la règle pouvait être beaucoup plus simple : une série de nombre croissants. Par exemple 17-36-41 marchait aussi.

Comment éviter ce biais que l’on appelle « biais de confirmation » ? Il faudrait avoir le réflexe de chercher d’abord des séries qui infirmeraient la règle pour envisager la règle sous-jacente dans toute sa diversité.

Voilà. Bon courage ! Je te laisse avec cette jolie pagaille que j’ai mise dans ta tête et je vais relire Victor Hugo.

Ce billet est un extrait de la lettre hebdomadaire « Flint Dimanche », qui explore avec toi comment nous pouvons mieux nous informer dans un monde rempli d’algorithmes. Pour la recevoir, abonne-toi à Flint ici. Tu recevras également une sélection de liens personnalisée, envoyée par l’intelligence artificielle de Flint.