La semaine dernière, Olivier Dessibourg, responsable de la section scientifique au Temps, a tweeté :
Cliquez sur le lien inclus dans le tweet.
Ca y est ? Fini de rigoler ou de râler selon votre point de vue ? Bien, maintenant développons un peu. En effet, on peut trouver ici et là des bouts d'évidence qui semblent supporter l'homéopathie. Pourtant, le consensus scientifique est clair : ça ne marche pas. Sur le blog Sham et science il y a une discussion en détail, avec des commentaires intéressants. Je voudrais uiliser cet exemple de l'homéopathie pour explorer un peu les approches que nous avons pour comprendre le monde, et la différence entre empiricisme pur et science.
On va utiliser comme point de départ un peu plus élaboré que le lien tweeté ci-dessus un billet de blog sur les "médecines alternatives", par Edzart Ernst. Edzart est à la retraite du premier poste de Professeur de "médecines alternatives" (interview en français à La Recherche). Il distingue trois perspectives sur l'homéopathie :
-
La perspective "sceptique" part des mécanismes supposés de l'homéopathie, constate qu'ils sont incohérents avec tout ce que nous savons du monde et pour tout dire impossibles, et donc en déduit que l'homéopathie c'est faux. Les tenants de ce point de vue ne sont pas forcément très intéressés par les tests de l'homéopathie, vu que l'on connait le résultat à l'avance.
-
La perspective des "croyants" se base sur leur expérience personnelle, anecdotique mais très convaincante d'un point de vue subjectif, pour décider que l'homéopathie ça marche. Ils ne vont retenir des tests de l'homéopathie que ce qui peut la soutenir, et souscrire à toutes les interprétations tarabiscotées permettant de justifier cette efficacité présumée malgré l'invraisemblance scientifique et les nombreux tests négatifs.
-
La perspective "empirique" ("evidence-based medicine") demande à tester l'homéopathie comme n'importe quelle autre approche thérapeutique, et à juger selon les résultats.
Pour E. Ernst le point important est que l'évidence utilisée dans la perspective empirique est maintenant tellement solide en défaveur de l'homéopathie, qu'à toutes fins utiles les perspectives 1 et 3 se rejoignent. Il n'y a donc plus lieu à débat, hors les prises de position des croyants. Toutefois, il me paraît intéressant de revenir sur la différence entre les positions 1 et 3, qui s'applique bien au-delà de la question de l'homéopathie.
La question est de savoir si, face à une proposition nouvelle, on peut rester sans opinion jusqu'à l'avoir testée, ou si l'on peut se forger une opinion justifiée et rationnelle basée sur notre connaissance préalable. C'est le problème également soulevé dans la contreverse sur l'étude de Séralini et al. sur les rats cancéreux et les OGM. Pour rappel, les auteurs avaient nourri des rats avec plus ou moins de maïs OGM, et avaient attendu qu'ils meurent, le plus souvent de cancers douloureux car c'est ce qui arrive avec cette variété de rats. Ayant tout comparé à tout sans plan expérimental clair, ils ont trouvé que dans certaines comparaisons des rats ayant mangé davantage d'OGM avaient eu davantage de cancers. Dans d'autres comparaisons c'était le contraire, et rien n'était significatif, des points rarement mis en avant par la communication autour de cet article, depuis retiré du journal d'origine et republié. Bref, revenons à nos moutons.
Pour comprendre le monde, il nous faut raisonner en termes de probabilités. Hors les maths, on ne sait jamais rien de manière 100% sure ; ce n'est pas une limitation particulière à la science, c'est une limitation générale de notre capacité à connaître le monde. Lorsque l'on veut utiliser ces probabilités en pratique, il y a deux grandes approches de la notion de test statistique, et qui justement correspondent grosso-modo aux attitudes 1 et 3 ci-dessus. L'approche dite "fréquentiste" est celle que vous avez probablement appris si vous avez fait un peu de stats et de probabilités à l'école ou à l'université. Et elle domine la plupart des applications pratiques. Pour tester une hypothèse, on va prendre les données disponibles pour le test, on va poser une "hypothèse nulle" de comportement aléatoire simple (genre les patients guérissent à la même fréquence avec ou sans traitement homéopathique, ou la probabilité d'avoir un cancer ne dépend pas du % d'OGM dans l'alimentation), et caculer la probabilité de se tromper en rejetant cette hypothèse nulle avec ces données. On ne va pas détailer (voir ce billet de blog pour un commentaire intéressant), ce qui est important ici c'est que ne rentrent en jeu dans la décision que les données obtenues pour le test. Cela correspond donc à l'approche numéro 3 "empiriste" ci-dessus. Avant d'avoir testé, on ne sait rien.
Dans l'approche dite "bayésienne", on va prendre en compte nos connaissances préalables. Au lieu de calculer la probabilité que nos données suivent l'hypothèse nulle, on va calculer la probabilité que l'hypothèse qui nous intéresse soit correcte (l'homéopathie marche, les OGM sont poison le maïs OGM augmente les cancers de rats), en prenant en compte les données disponibles mais aussi la probabilité a priori (avant les expériences). On voit pourquoi c'est moins utilisé : il est souvent difficile de calculer cette probabilité a priori de manière rigoureuse. (Quelques billets de blog qui vont plus en détail : explication détaillée sur Science étonnante, billet sur l'usage pratique de cette approche, analogie dans un vieux billet à moi.) Or dans le cas général l'approche bayésienne est plus juste.
Ce qui est important, c'est donc qu'il faut prendre en compte non pas la seule information d'une série de résultats, qui peut par hasard sembler "significative" (probabilité faible d'accepter l'hypothèse nulle), mais aussi l'information que l'on avait avant. C'est là où on passe d'une approche "empirique" à une approche "scientifique" (voir aussi ce billet de Sham et science). L'approche scientifique prend en compte notre connaissance et notre compréhension du monde, qui existent avant même de récolter les données. Pour revenir à l'homéopathie, connaissant les lois de la physique et de la chimie, la probabilité a priori que du sucre sur lequel on a évapouré de l'eau, laquelle eau avait moins d'une chance sur un million de contenir une molécule de substance active, ait un effet médical est très proche de zéro. Donc ensuite si les données ne montrent aucun effet, cela confirme. Mais si elles montrent un effet, l'effet devrait être très très fort et bien soutenu pour contrebalancer notre solide connaissance préalable. Une autre façon de le dire est "Extraordinary claims require extraordinary evidence" (Carl Sagan), des affirmations extraordinaires nécessitent des preuves extraordinaires. Si vous faites une comparaison de 20 patients, et que le groupe traité à l'homéopathie guérit en moyenne 10% mieux, cela n'est pas suffisant pour rejeter toute la physique et la chimie. Bon en plus, comme dit par Ernst, l'évidence cumulée est qu'il n'y a pas d'effet, ce qui en soi n'est pas surprenant.
De même pour les effets supposés de l'alimentation en OGM sur les taux de cancers, à la Séralini. C'est un peu plus subtil que l'homéopathie, mais il n'y a rien dans notre compréhension de la biologie qui permette que de manger des organismes dont l'ADN a été à un moment modifié puisse causer des cancers. Il est possible qu'une certaine modification, spécifique, fasse apparaître un composé cancérigène, bien que ce soit très peu probable. Mais que toutes les modifications différentes de l'ADN causent quelque chose (quoi ? ce n'est jamais expliqué) qui rendrait la nourriture cancérigène même après digestion, dans laquelle l'ADN est coupé en petits morceaux indistinguables ? La probabilité a priori est très faible. Il faut se rappeler qu'en sciences on se permet toujours le doute, donc on ne va jamais mettre les probabilités à zéro ou à un, mais pour l'homéopathie ou les OGM cancérigènes on est dans l'ordre de grandeur semblable à n'importe quoi que l'on considérerait comme impossible dans la vie quotidienne.
En conclusion :
-
il faut prendre en compte les connaissances scientifiques avant de conclure à un résultat ;
-
les OGM ne sont pas des poisons ;
-
l'homéopathie ne marche pas ;
-
les scientifiques sont bien embétants.
Mise à jour : juste vu un article intéressant sur l'impact (en anglais) des études de sciences sociales qui fait une remarque similaire :
positive findings in underpowered studies are particularly likely to be false positives when they are surprising – i.e., when we have no good reason to suppose that there will be a true effect of intervention.
Quand les résultats sont surprenants et que l'étude est petite, le résultat est probablement faux. Voilà voilà.