{"id":549,"date":"2018-07-23T14:12:08","date_gmt":"2018-07-23T13:12:08","guid":{"rendered":"http:\/\/kudueconomics.eu\/?p=549"},"modified":"2018-09-19T10:59:09","modified_gmt":"2018-09-19T09:59:09","slug":"prenez-garde-au-biais-qui-vous-guette","status":"publish","type":"post","link":"https:\/\/kudueconomics.eu\/fr\/prenez-garde-au-biais-qui-vous-guette","title":{"rendered":"Prenez garde au biais qui vous guette !","raw":"Prenez garde au biais qui vous guette !"},"content":{"rendered":"

Read this post in english<\/em><\/a><\/span><\/p>\n

L’analyse de grandes quantit\u00e9s de donn\u00e9es peut vous conduire \u00e0 une grave erreur. <\/span><\/strong><\/span>Voici pourquoi, et comment vous en pr\u00e9server.<\/span>
\n<\/span><\/strong><\/span><\/span><\/p>\n

\"\"<\/p>\n

Dans mon r\u00e9cent \u00ab\u00a0quiz\u00a0\u00bb parlant de technologie, j’ai mentionn\u00e9 que d\u00e9nicher des donn\u00e9es exploitables enfouies sous des montagnes de donn\u00e9es inutiles, cette activit\u00e9 que l’on nomme dans la jargon \u00ab\u00a0data-mining\u00a0\u00bb, constituait un parfait domaine d’application pour l’intelligence artificielle et en particulier pour les r\u00e9seaux neuronaux.<\/span><\/p>\n

Mais<\/span> j’ai \u00e9galement mentionn\u00e9 que cette activit\u00e9 pouvait conduire \u00e0 une \u00e9norme erreur<\/strong>, \u00e0 un biais logique dont nous devons tous nous m\u00e9fier.<\/span> Ce biais, que l’on peut appeler sans surprise \u00able data-mining bias<\/em>\u00bb (pas de traduction fran\u00e7aise correcte), est ce dont je souhaite parler aujourd’hui.<\/span><\/span><\/p>\n

Parlons donc de cet effrayant biais !<\/span><\/p>\n

<\/p>\n

Celui-ci, de part son nom anglais barbare et son\u00a0 lien s\u00e9mantique avec l’informatique peut sembler quelque chose de tr\u00e8s technique et qui ne peut donc concerner que les geeks. Mais ce n’est pas le cas du tout!<\/strong> C’est une erreur tr\u00e8s commune \u00e0 laquelle tout le monde est confront\u00e9 r\u00e9guli\u00e8rement. Vous, moi, tout le monde.<\/span><\/p>\n

Rappelons n\u00e9anmoins que le processus d’exploration syst\u00e9matique de grandes quantit\u00e9s de donn\u00e9es reste une m\u00e9thode parfaitement valid<\/strong>e qui consiste \u00e0 extraire de ces donn\u00e9es, \u00e0 priori sans int\u00e9r\u00eat, des corr\u00e9lations, des s\u00e9ries temporelles, des tendances, des similitudes… \u00ab\u00a0Bien pratiqu\u00e9\u00a0\u00bb, avec prudence et rigueur, cette m\u00e9thode peut en effet conduire \u00e0 des d\u00e9couvertes utiles.<\/span><\/p>\n

Mais elle peut aussi conduire \u00e0 une grosse erreur<\/strong>. Voici pourquoi.<\/span><\/p>\n

Mais d’abord, illustrons-la.<\/span><\/h2>\n

Voici donc quelques exemples concrets pour illustrer ce probl\u00e8me et comprendre pourquoi vous devriez lire la fin de cet article !<\/span><\/span><\/p>\n

Premier exemple: <\/span>le sensationnalisme journalistique<\/strong><\/span><\/p>\n

Les journalistes ont besoin de nous faire peur, ils ont besoin de nous faire croire tous les jours que quelque chose m\u00e9rite d’\u00eatre imprim\u00e9.<\/span> Parfois, c’est vrai, mais parfois ce n’est pas vrai du tout.<\/span><\/p>\n

Et cela se remarque particuli\u00e8rement lorsqu’ils relatent, \u00e0 titre d’exemple parmi tant d’autres, des conditions m\u00e9t\u00e9orologiques \u00abextr\u00eames\u00bb<\/strong>.<\/span><\/p>\n

C’est en effet un sujet dans lequel ils sont tr\u00e8s souvent les victimes plus ou moins consentantes du biais tant redout\u00e9.<\/span> Pour faire les gros titres, ils creusent dans l’histoire ou la g\u00e9ographie jusqu’\u00e0 ce qu’ils trouvent quelque chose<\/strong> \u00e0 comparer avec les conditions m\u00e9t\u00e9orologique actuelles et nous effrayer de la sorte : \u00ab\u00a0Nous vivons un moment historique de froid intense et dangereux\u00a0\u00bb.<\/span> La preuve: \u00ab\u00a0il n’a jamais fait aussi<\/span> froid dans ce d\u00e9partement un 17 novembre depuis 23 ans. Nous sommes tous condamn\u00e9s!\u00a0\u00bb.<\/span><\/span><\/span><\/p>\n

Voil\u00e0 un illustration parfaite du biais de \u00ab\u00a0data-mining<\/em>\u00ab\u00a0. Si vous \u00eates journaliste arr\u00eater de faire cela s’il vous plait. <\/span>Arr\u00eatez de creuser les donn\u00e9es historiques ou g\u00e9ographiques jusqu’\u00e0 trouver quelque chose qui pourrait rendre spectaculaire ce qui ne l’est pas<\/strong>. Il fait froid en hiver et chaud en \u00e9t\u00e9<\/span>, c’est normal. <\/span><\/span>Bien s\u00fbr il est clair que cela se produit plus souvent que la normale en raison du changement climatique, c’est vrai, mais un seul \u00e9v\u00e9nement ne suffit pas \u00e0 prouver quoi que ce soit \u00e0 ce sujet, et alimenter la peur \u00e0 ce sujet n’est pas sain.<\/span><\/span><\/span><\/p>\n

Et ceci n’est bien s\u00fbr pas limit\u00e9 aux bulletins m\u00e9t\u00e9orologiques.<\/strong> Cette erreur se retrouve sur d’autres sujets comme la croissance des taux de petite d\u00e9linquance dans des quartiers \u00e9troits (\u00ab\u00a0significatifs\u00a0\u00bb d’une hausse g\u00e9n\u00e9rale du crime), des chiffres d’immigration depuis un pays particulier et sur une p\u00e9riode courte, nombre d’attaques de requins sur une plage au plus haut depuis 20 ans… Tout ce qui peut effrayer le public par un chiffre cl\u00e9 est potentiellement sujet au biais.<\/span><\/span><\/span><\/p>\n

Deuxi\u00e8me exemple: corr\u00e9lations m\u00e9dicales \u00e9tranges<\/strong><\/span><\/p>\n

On entend souvent parler d’\u00ab\u00e9tudes m\u00e9dicales\u00bb qui \u00abprouvent\u00bb que consommer un certain produit vous donne une forte chance de mourir dans d’horribles souffrances ou au contraire de devenir plus jeune et encore plus beau. <\/span>Ces \u00e9tudes, toujours tr\u00e8s surprenantes, proviennent parfois de \u00ab\u00a0chercheurs am\u00e9ricains\u00a0\u00bb (les meilleurs !), et exposent des relations \u00e9tranges sur des sous-ensembles de donn\u00e9es tr\u00e8s sp\u00e9cifiques<\/strong>.<\/span><\/span><\/p>\n

Pour \u00eatre tout \u00e0 fait honn\u00eate, car je ne suis pas compl\u00e8tement na\u00eff, la plupart de ces \u00e9tudes sont financ\u00e9es par des lobbys<\/em> et bien qu’elles puissent effectivement trouver des donn\u00e9es qui \u00abprouvent\u00bb ce qu’elles veulent prouver, elles sont malhonn\u00eates car elles savent que cela <\/span>ne prouve pas grand chose et se gardent bien de vous le dire.<\/span><\/span><\/p>\n

En voici un autre: il y a quelques jours, ma femme a essay\u00e9 de me convaincre que je devais arr\u00eater ma consommation d’une petite bi\u00e8re en rentrant le soir avant le diner. Mais ce qu’elle a trouv\u00e9 en premier lien sur Google ne lui a pas du tout plu puisqu’elle est tomb\u00e9e sur \u00e0 une campagne financ\u00e9e par un groupement de brasseurs relatant une \u00e9tude qui \u00abprouvait\u00bb que la bi\u00e8re \u00e9tait bonne pour la sant\u00e9… ceci en suivant l’am\u00e9lioration d’une caract\u00e9ristique m\u00e9dicale bien particuli\u00e8re, dans un groupe ethnique bien particulier et sur une p\u00e9riode bien particuli\u00e8re<\/strong>…<\/span><\/p>\n

J’ai l\u00e2chement, avec hypocrisie, essay\u00e9 d’utiliser cette \u00ab\u00a0\u00e9tude\u00a0\u00bb pour valider mon vice, mais elle n’a pas \u00e9t\u00e9 dupe. Elle a naturellement et intuitivement d\u00e9busqu\u00e9 le biais de \u00ab\u00a0data-mining<\/em>\u00a0\u00bb qui n’\u00e9tait pas si subtilement cach\u00e9 dans les r\u00e9sultats de l’\u00e9tude. Je n’ai plus le droit \u00e0 ma bi\u00e8re du soir.<\/strong><\/span><\/p>\n

Observez comment ces \u00e9tudes se limitent \u00e0 des \u00e9chantillons tr\u00e8s sp\u00e9cifiques<\/strong>… c’est ainsi que vous pouvez d\u00e9tecter ce biais, volontaire ou non.<\/span> En limitant les \u00e9chantillons et en les s\u00e9parant en sous-ensembles se recoupant selon de nombreux crit\u00e8res, vous cr\u00e9er de nombreuses \u00ab\u00a0observations\u00a0\u00bb diff\u00e9rentes sur les m\u00eames donn\u00e9es<\/strong> et vous avez alors une tr\u00e8s bonne probabilit\u00e9 de trouver ce que vous voulez trouver.
\n<\/span><\/span><\/p>\n

En faisant le tour d’une droite dans l’espace il y un moment ou vous pourrez dire que vu sous cet angle elle ressemble \u00e0 un point. Cela n’en fera pas un point pour autant !<\/span><\/p>\n

Troisi\u00e8me exemple: le test historique de strat\u00e9gie d’investissement ou \u00ab\u00a0backtesting\u00a0\u00bb<\/strong><\/span><\/p>\n

Souvent, en essayant de concevoir une strat\u00e9gie d’investissement, les analystes financiers utilisent les donn\u00e9es de march\u00e9 pass\u00e9es, que ce soit des donn\u00e9es de prix ou fondamentales, et creusent ces donn\u00e9es dans l’espoir de trouver la relation d’investissement la plus c\u00e9l\u00e8bre au monde<\/strong>:<\/span><\/p>\n

\u00ab\u00a0Si ceci se produit en un instant N, alors le prix de cette action sera \u00e0 la hausse en N + 1, et je serais incroyablement riche \u00e0 l’instant N + 2.\u00a0\u00bb<\/strong><\/span><\/p>\n

Et ils trouvent toujours une telle relation. Toujours. Sur le papier. Ils recherchent tous la martingale de l’investissement<\/strong> (ne perdez pas votre temps et votre argent cette relation n’existe pas, l’investissement est difficile, ne devient jamais plus facile et exige beaucoup de travail et de patience).<\/span><\/p>\n

Mais quand ils d\u00e9cident de tester cela dans la vraie vie (et je dois avouer que je l’ai fait!), cela ne fonctionne pas et ils perdent de l’argent (et j’en ai perdu, mais c’est ainsi qu’on apprend sur les march\u00e9s).<\/span><\/span><\/span><\/p>\n

Tr\u00e8s bien tout \u00e7\u00e0, mais au final c’est quoi ce biais ?<\/span>
\n<\/span><\/h2>\n

La m\u00e9thode statistique dit de \u00ab\u00a0data-mining\u00a0\u00bb<\/strong> consiste \u00e0 traiter automatiquement d’\u00e9normes quantit\u00e9s de donn\u00e9es afin de d\u00e9nicher des informations utiles et statistiquement significatives<\/strong> (ce qui est une notion math\u00e9matique bien d\u00e9finie).<\/span><\/p>\n

Le biais de \u00ab\u00a0data-mining\u00a0\u00bb est l’erreur de croire que tout ce que vous trouvez pendant une recherche selon cette m\u00e9thode est significatif<\/strong> (c’est-\u00e0-dire non uniquement du \u00e0 la chance)<\/span>.<\/span><\/p>\n

Car il faut bien comprendre la chose suivante: si vous avez assez de donn\u00e9es, et si vous observez ces donn\u00e9es de suffisamment de mani\u00e8res diff\u00e9rentes (des \u00ab\u00a0observations\u00a0\u00bb ) vous trouverez toujours \u00ab\u00a0quelque chose\u00a0\u00bb<\/strong>. Ceci une v\u00e9rit\u00e9 statistique, ce n’est pas une opinion. C’est math\u00e9matique.<\/span><\/p>\n

Il y a toujours quelqu’un qui gagne au loto.<\/span> M\u00eame si la distribution des tirages est absolument al\u00e9atoire, si vous essayez assez longtemps, ou si suffisamment de personnes jouent, un \u00e9v\u00e9nement tr\u00e8s improbable se produira:\u00a0 il y aura un gagnant au loto.
\n<\/span><\/span><\/p>\n

Prenons un autre exemple : cette vid\u00e9o illustre l’utilisation d’un \u00ab\u00a0tableau de Galton\u00a0\u00bb. Ce jeu scientifique classique est le meilleur moyen d’exp\u00e9rimenter visuellement la distribution normale, ou en langage plus classique \u00ab\u00a0la th\u00e9orie des grands nombres\u00a0\u00bb.
\n<\/span><\/p>\n

Voici un exemple typique de ceci: comment le caf\u00e9 peut vous faire vivre plus longtemps!<\/a><\/span> ( en anglais ).<\/span><\/p>\n