Comment détecter une manipulation de données ?

 -  -  12


Traduction de Want to Know If Someone Is Manipulating Data ? (Dr. Milton Packer)

MEDPAGE TODAY, 27 février 2019, lien:bwxr

Milton Packer explique comment distin­guer la science de la magie.

Tout magi­cien est un maître de la trom­perie et nous adorons être trompés. Comment les magi­ciens réalisent‐ils leurs illu­sions ? La clé de chaque tour de magie est la mauvaise direc­tion. Si vous dites aux membres de l’auditoire de regarder A, ils ne regar­de­ront pas B. Or c’est B qui fait fonc­tionner le truc.

C’est pour­quoi de nombreux magi­ciens inter­disent les télé­phones portables lors de leurs repré­sen­ta­tions. Si vous pouvez prendre une vidéo du numéro et la revoir à plusieurs reprises, vous pourrez éven­tuel­le­ment savoir comment l’astuce fonc­tionne. Vous pourrez conti­nuer à cher­cher B même si l’artiste fait tout pour que vous soyez concentré sur A.

Pourquoi est‐ce que je parle de magi­ciens sur un blog consacré à la méde­cine ?

Il y a deux semaines, j’ai écrit un article sur mes expé­riences en tant que cher­cheur prin­cipal dans des essais cliniques à grande échelle. Plusieurs lecteurs ont pensé que mes expé­riences person­nelles ne repré­sen­taient pas la norme. Beaucoup pensaient que les données des essais cliniques étaient couram­ment mani­pu­lées afin de les mettre en valeur de manière opti­male. J’ai dû recon­naître que leurs préoc­cu­pa­tions étaient rece­vables.

Un ami respecté m’a suggéré de consa­crer un article à la descrip­tion de la mani­pu­la­tion des données dans le but de donner à un essai négatif une appa­rence posi­tive. Mon défi : comment la décrire dans un blog ?

Bientôt, la réponse devint évidente. La trom­perie du public lors de la présen­ta­tion d’un essai clinique est basée sur la même stra­tégie de mauvaise direc­tion que les magi­ciens utilisent pour que leurs numéros fonc­tionnent.

Croyez‐le ou non, il y a des dizaines de formes possibles de mauvaises direc­tions qui sont possibles lors de la présen­ta­tion des résul­tats d’un essai clinique. On pour­rait en remplir un livre entier. Mais aujourd’hui, je vais mentionner les deux plus impor­tantes, que tout lecteur ou audi­teur peut recher­cher.

Le truc du « manque » est le premier et le plus impor­tant. Le meilleur moyen d’améliorer l’apparence des données consiste à extraire celles que vous n’aimez pas ou de ne pas prendre la peine de les collecter. Si la présen­ta­tion ne prend pas en compte les données manquantes, toutes sortes de mani­pu­la­tions sont possibles.

Disons que vous avez rando­misé 600 patients dans un essai. Selon le prin­cipe d’intention de traiter [inten­tion to treat, lien:r2l6] qui régit l’intégrité des essais cliniques, vous devez fournir des données sur 600 patients. Mais souvent, les inves­ti­ga­teurs vous montre­ront des données sur 550 patients, après avoir exclu 50 patients de l’analyse.

Les inves­ti­ga­teurs cliniques peuvent fournir toutes sortes de raisons pour lesquelles ces 50 patients manquent. Ils peuvent dire que les patients ne sont jamais revenus pour un suivi ou qu’ils ont violé le proto­cole et ont été retirés de l’analyse. Les enquê­teurs savent faire preuve de beau­coup de créa­ti­vité en élabo­rant des raisons qui semblent crédibles mais qui sont biai­sées. Ils peuvent même prétendre que leur absence est sans impor­tance si elle touche autant les deux groupes de trai­te­ment, même si ce n’est certai­ne­ment pas vrai.

La vérité : les manque­ments ne sont jamais aléa­toires et, s’ils sont suffi­sam­ment impor­tants, ils consti­tuent toujours une source de biais. Le patient n’est-il pas revenu pour une nouvelle évalua­tion parce qu’il était décédé ou avait subi un effet indé­si­rable grave ? L’enquêteur pour­rait même ne pas le savoir. L’intégrité d’un essai clinique dépend de la capa­cité d’un inves­ti­ga­teur à décrire et à rendre compte de toutes les données manquantes. Un enquê­teur expé­ri­menté s’inquiète des données manquantes ; un enquê­teur négligent ignore le problème.

Quand le manque est‐il impor­tant ? Lorsque la quan­tité de données manquantes est une propor­tion signi­fi­ca­tive de la taille de l’effet du trai­te­ment. Exemple : si le groupe de trai­te­ment a eu 25 décès de moins que le groupe de contrôle, les données manquantes chez 15 patients sont signi­fi­ca­tives. Si le groupe de trai­te­ment a eu 200 décès de moins que le groupe de contrôle, il est très peu probable que des données manquantes chez cinq patients soient perti­nentes.

Deuxièmement, il s’agit de ne pas montrer une analyse plani­fiée ou, alter­na­ti­ve­ment, de montrer une analyse qui n’était pas plani­fiée. Dans chaque essai clinique, les règles régis­sant l’analyse des données on été préa­la­ble­ment défi­nies dans un proto­cole et un plan statis­tique formel. Ces docu­ments four­nissent la preuve que les enquê­teurs envi­sagent de se pencher sur un critère d’évaluation très spéci­fique, défini d’une manière très spéci­fique et analysé de manière très spéci­fique dans un ordre très spéci­fique. Ces règles sont défi­nies avant que quiconque ait eu l’occasion de consulter les données.

Comment savoir si les enquê­teurs ont suivi leurs règles pré‐spécifiées ? Vous devez lire le proto­cole et le plan statis­tique. Et, si vous le pouvez, vous devez regarder les dates auxquelles ces docu­ments ont été déposés à l’avance auprès des orga­nismes de régle­men­ta­tion.

Ces docu­ments peuvent révéler que les enquê­teurs ont défini quatre para­mètres de manière très spéci­fique et qu’ils avaient l’intention de les analyser dans l’ordre suivant : A, D, C, B.

Alors, vous inquiéteriez‐vous si les enquê­teurs ne présen­taient que les résul­tats de A et C ? Vous inquiéteriez‐vous s’ils chan­geaient la défi­ni­tion de A après coup ? Seriez‐vous inquiet s’ils analy­saient C d’une manière qui n’était pas plani­fiée ? Et vous inquiéteriez‐vous si le présen­ta­teur vous deman­dait de concen­trer votre atten­tion sur un nouveau critère d’évaluation — appelons‐le E — qui n’a jamais été planifié à l’avance ?

Vous devriez vous inquiéter dans toutes ces circons­tances.

Comment pouvez‐vous savoir si les enquê­teurs ont suivi leur plan fidè­le­ment ? Quelques revues de premier plan exigent que les enquê­teurs four­nissent des fichiers de leur proto­cole et un plan statis­tique au moment de la première évalua­tion par les pairs. Ils sont publiés en tant que supplé­ments en ligne à l’article présen­tant les résul­tats prin­ci­paux de l’étude. Malheureusement, la plupart des revues n’ont pas cette exigence. Et même lorsque ces docu­ments sont publiés, la plupart des lecteurs ne se donnent pas la peine de les consulter.

Il y a quatre points impor­tants à retenir de ces docu­ments.

  • Les enquê­teurs savent que ces docu­ments seront examinés de près. Par consé­quent, certains pour­raient être tentés de spéci­fier une analyse inap­pro­priée à l’avance. Spécifier quelque chose de stupide dans le plan statis­tique ne le rend pas valide.
  • Les enquê­teurs doivent résumer l’essence de ces docu­ments sur une diapo­si­tive présentée au moment de leur présen­ta­tion lors d’une réunion scien­ti­fique. C’est une de leurs diapo­si­tives les plus impor­tantes, mais c’est aussi celle que la plupart des spec­ta­teurs ignorent. Et trop souvent, elle manque tota­le­ment.
  • Si le médi­ca­ment ou le dispo­sitif est approuvé, la FDA [Food and Drug Administration aux USA, lien:682h] est tenue de mettre ses analyses à la dispo­si­tion du public. Par consé­quent, il est possible de comparer les analyses d’une publi­ca­tion avec les analyses effec­tuées par la FDA. Pour toutes les analyses préspé­ci­fiées, celles‐ci doivent être très simi­laires les unes aux autres. Les analyses de la FDA sont parti­cu­liè­re­ment faciles d’accès si le médi­ca­ment ou le dispo­sitif a été examiné par un comité consul­tatif public, car ils sont affi­chés simul­ta­né­ment sur le site Web de la FDA.
  • Le plan statis­tique se concentre unique­ment sur les analyses permet­tant de démon­trer l’efficacité de l’intervention pour une indi­ca­tion spéci­fique. De nombreux articles secon­daires d’un essai clinique décrivent des analyses desti­nées à mieux connaître les autres effets de l’intervention ou la maladie elle‐même. Ces analyses ne font pas partie du processus d’approbation régle­men­taire et leurs résul­tats devraient toujours être consi­dérés dans le contexte de la tota­lité des preuves dans la litté­ra­ture médi­cale. Certains sont géné­ra­teurs d’hypothèses ; certains confirment des obser­va­tions simi­laires dans d’autres essais.

En bref, voici deux règles simples.

Premièrement, y a‐t‐il des données manquantes et ce défaut est‐il signi­fi­catif ?

Deuxièmement, les auteurs ont‐ils spécifié à l’avance un plan d’analyse valide et l’ont-ils respecté ?

Si ces deux règles simples n’ont pas été suivies, vous devriez vous poser des ques­tions et vous inquiéter. Le présen­ta­teur veut‐il que je me concentre sur A alors que je devrais regarder B ? Si les présen­ta­teurs veulent mal diriger le public, c’est une chose très simple à faire — en parti­cu­lier dans une présen­ta­tion qui ne dure que 10 à 15 minutes.

Pour être clair, ce ne sont pas les deux seules astuces que les gens peuvent utiliser avec les données d’un essai clinique. Mais elles couvrent beau­coup de terrain.

Voici mon point le plus impor­tant de tous. Les enquê­teurs qui se livrent à des erreurs de direc­tion peuvent ne pas réel­le­ment essayer consciem­ment d’induire les gens en erreur. Étonnamment, ce sont souvent eux qui sont induits en erreur. Trop souvent, les enquê­teurs sont suscep­tibles de se tromper eux‐mêmes — surtout s’ils ne connaissent pas les règles de la bonne analyse et s’ils sont enclins à trouver un moyen de prouver que l’intervention fonc­tionne (même si ce n’est pas le cas).

Les erreurs de direc­tion sont essen­tielles au succès des magi­ciens. Quand c’est fait avec perfec­tion, c’est un délice. Le public aime vrai­ment être dupé.

Mais lorsque nous écou­tons les premiers résul­tats d’un essai ou lisons la publi­ca­tion de ces résul­tats dans un journal, nous ne sommes pas inté­ressés par les diver­tis­se­ments ni par des vœux pieux. Nous sommes inté­ressés par des données et des analyses impar­tiales. C’est ce qui distingue la science de la magie.

Packer a récem­ment consulté pour Actavis, Akcea, Amgen, AstraZeneca, Boehringer Ingelheim, Cardiorentis, Daiichi Sankyo, Gilead, J & J, Novo Nordisk, Pfizer, Sanofi, Biologics Synthetic et Takeda. Il préside le comité exécutif d’EMPEROR pour les essais de l’empagliflozine dans le trai­te­ment de l’insuffisance cardiaque. Auparavant, il était co‐chercheur de l’essai PARADIGM‐HF et siégeait au comité direc­teur de l’essai PARAGON‐HF, mais n’a aucune rela­tion finan­cière avec Novartis.


12 recommandation(s)
comments icon Commenté 0 fois
0 commentaires
128 visites
bookmark icon

Écrire un commentaire...

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.