Les données que vous ne voyez pas
Quand on entend une grand-mère affirmer qu'« avant, c'était mieux fabriqué », on imagine qu'elle parle d'une vérité technique : les machines à laver d'autrefois durent quarante ans, celles d'aujourd'hui à peine cinq. Le constat semble évident. Il suffit de regarder autour de soi.
Sauf qu'il ne suffit pas.
Le problème de l'observation, c'est qu'on ne voit jamais que ce qui est encore là. Toutes les machines à laver de l'époque qui ont rendu l'âme dans les années 70 ne sont plus dans la cuisine de votre grand-mère pour témoigner. Elles sont à la décharge depuis longtemps. Celles qui survivent ne représentent pas la qualité moyenne d'une époque — elles représentent l'exception statistique qui a tenu. Quand vous comparez la durée de vie d'un échantillon de survivants à celle d'un échantillon complet d'objets actuels, vous ne comparez pas deux époques. Vous comparez le filtre du temps à l'absence de filtre.
C'est ce qu'on appelle le biais du survivant. Et une fois que vous le voyez, vous le voyez partout.
L'histoire la plus parlante vient de la Seconde Guerre mondiale. La Royal Air Force veut réduire les pertes de ses bombardiers, et ses ingénieurs ont une idée tout à fait raisonnable : observer où les avions de retour de mission ont été touchés, puis renforcer le blindage à ces endroits. Ils examinent donc les appareils qui rentrent, repèrent les zones les plus criblées d'impacts — les ailes, l'arrière du fuselage — et y ajoutent du métal. Les résultats sont surprenants : le taux de retour ne s'améliore pas. Il baisse légèrement.
Le mathématicien Abraham Wald, appelé à la rescousse, met le doigt sur l'erreur en quelques minutes. Les avions que l'on examine sont précisément ceux qui ont survécu. Les zones criblées d'impacts qu'on y observe sont donc, par définition, des zones où l'on peut prendre des balles et continuer à voler. Les vraies zones critiques — moteurs, cockpit, réservoirs — n'apparaissent presque jamais touchées sur les avions de retour, parce que quand elles le sont, l'avion ne rentre pas. Ce qu'il fallait blinder, c'était précisément les zones sans impact.
Le biais est exactement le même que pour la machine à laver. On regarde les survivants, on en tire des conclusions, et on oublie que l'échantillon est filtré.
L'architecture vit le même phénomène. Si les bâtiments d'il y a six cents ans semblent plus solides que les nôtres, c'est parce que les bâtiments d'il y a six cents ans que l'on peut encore visiter sont, par définition, les seuls qui ont tenu six cents ans. Tout le reste — la grande majorité — s'est effondré depuis longtemps, dans l'indifférence des touristes. Les cathédrales gothiques sont des miracles de robustesse parce que ce sont les miracles qui ont survécu. Les autres ne sont pas là pour témoigner.
L'exemple qui me semble le plus instructif vient pourtant du marketing contemporain. Imaginez une enseigne de mode qui perd des clientes et veut comprendre pourquoi. Elle envoie un questionnaire à sa base. Les clientes répondent. Les équipes analysent les retours, identifient des pistes d'amélioration, montent un plan d'action. Le plan d'action ne fonctionne pas.
La raison est exactement la même qu'avec les bombardiers. Le questionnaire a été envoyé à la base active, donc aux clientes qui ouvrent encore les e-mails. Celles qui sont parties — précisément les seules qui peuvent expliquer le départ — ne sont plus dans la base, ou sont opt-out, ou n'ouvrent plus rien. L'enseigne a interrogé ses survivantes. Elles lui ont expliqué ce qu'il faudrait améliorer pour qu'elle soit encore plus parfaite à leurs yeux. Mais le problème n'était pas chez elles. Il était chez celles qui n'ont pas répondu.
La règle générale qui se cache derrière tout cela est inconfortable : l'information qui vous manque est presque toujours plus importante que celle dont vous disposez. Les morts ne remplissent pas de questionnaires. Les avions abattus ne reviennent pas pour qu'on les examine. Les bâtiments effondrés n'apparaissent pas dans les guides touristiques. Et pourtant, ce sont eux qui contiennent la réponse.
La méthode pour s'en sortir n'est jamais agréable. Il faut aller chercher l'échantillon qui n'est pas là. Appeler les clientes parties — pas celles qui restent. Examiner les projets qui ont échoué — pas seulement ceux qui réussissent. Étudier les espèces éteintes — pas seulement celles qui ont survécu. À chaque fois, c'est plus coûteux, plus pénible, et plus instructif.
Le biais du survivant n'est pas une erreur de raisonnement parmi d'autres. C'est l'angle mort par défaut de l'observation humaine. Notre cerveau a évolué pour traiter ce qui est devant nous, pas ce qui en a disparu. Le travail consiste à corriger ce réglage à la main.
Quand vous regardez vos données, demandez-vous toujours qui n'est pas dans l'échantillon. La réponse y est souvent.