Comment détecter une manipulation de données ?

 -  -  2


Traduction de Want to Know If Someone Is Manipulating Data ? (Dr. Milton Packer)

MEDPAGE TODAY, 27 février 2019, lien:bwxr

Milton Packer explique com­ment dis­tin­guer la science de la magie.

Tout magi­cien est un maître de la trom­pe­rie et nous ado­rons être trom­pés. Comment les magi­ciens réalisent‐ils leurs illu­sions ? La clé de chaque tour de magie est la mau­vaise direc­tion. Si vous dites aux membres de l’auditoire de regar­der A, ils ne regar­de­ront pas B. Or c’est B qui fait fonc­tion­ner le truc.

C’est pour­quoi de nom­breux magi­ciens inter­disent les télé­phones por­tables lors de leurs repré­sen­ta­tions. Si vous pou­vez prendre une vidéo du numé­ro et la revoir à plu­sieurs reprises, vous pour­rez éven­tuel­le­ment savoir com­ment l’astuce fonc­tionne. Vous pour­rez conti­nuer à cher­cher B même si l’artiste fait tout pour que vous soyez concen­tré sur A.

Pourquoi est‐ce que je parle de magi­ciens sur un blog consa­cré à la méde­cine ?

Il y a deux semaines, j’ai écrit un article sur mes expé­riences en tant que cher­cheur prin­ci­pal dans des essais cli­niques à grande échelle. Plusieurs lec­teurs ont pen­sé que mes expé­riences per­son­nelles ne repré­sen­taient pas la norme. Beaucoup pen­saient que les don­nées des essais cli­niques étaient cou­ram­ment mani­pu­lées afin de les mettre en valeur de manière opti­male. J’ai dû recon­naître que leurs pré­oc­cu­pa­tions étaient rece­vables.

Un ami res­pec­té m’a sug­gé­ré de consa­crer un article à la des­crip­tion de la mani­pu­la­tion des don­nées dans le but de don­ner à un essai néga­tif une appa­rence posi­tive. Mon défi : com­ment la décrire dans un blog ?

Bientôt, la réponse devint évi­dente. La trom­pe­rie du public lors de la pré­sen­ta­tion d’un essai cli­nique est basée sur la même stra­té­gie de mau­vaise direc­tion que les magi­ciens uti­lisent pour que leurs numé­ros fonc­tionnent.

Croyez‐le ou non, il y a des dizaines de formes pos­sibles de mau­vaises direc­tions qui sont pos­sibles lors de la pré­sen­ta­tion des résul­tats d’un essai cli­nique. On pour­rait en rem­plir un livre entier. Mais aujourd’hui, je vais men­tion­ner les deux plus impor­tantes, que tout lec­teur ou audi­teur peut recher­cher.

Le truc du « manque » est le pre­mier et le plus impor­tant. Le meilleur moyen d’améliorer l’apparence des don­nées consiste à extraire celles que vous n’aimez pas ou de ne pas prendre la peine de les col­lec­ter. Si la pré­sen­ta­tion ne prend pas en compte les don­nées man­quantes, toutes sortes de mani­pu­la­tions sont pos­sibles.

Disons que vous avez ran­do­mi­sé 600 patients dans un essai. Selon le prin­cipe d’intention de trai­ter [inten­tion to treat, lien:r2l6] qui régit l’intégrité des essais cli­niques, vous devez four­nir des don­nées sur 600 patients. Mais sou­vent, les inves­ti­ga­teurs vous mon­tre­ront des don­nées sur 550 patients, après avoir exclu 50 patients de l’analyse.

Les inves­ti­ga­teurs cli­niques peuvent four­nir toutes sortes de rai­sons pour les­quelles ces 50 patients manquent. Ils peuvent dire que les patients ne sont jamais reve­nus pour un sui­vi ou qu’ils ont vio­lé le pro­to­cole et ont été reti­rés de l’analyse. Les enquê­teurs savent faire preuve de beau­coup de créa­ti­vi­té en éla­bo­rant des rai­sons qui semblent cré­dibles mais qui sont biai­sées. Ils peuvent même pré­tendre que leur absence est sans impor­tance si elle touche autant les deux groupes de trai­te­ment, même si ce n’est cer­tai­ne­ment pas vrai.

La véri­té : les man­que­ments ne sont jamais aléa­toires et, s’ils sont suf­fi­sam­ment impor­tants, ils consti­tuent tou­jours une source de biais. Le patient n’est-il pas reve­nu pour une nou­velle éva­lua­tion parce qu’il était décé­dé ou avait subi un effet indé­si­rable grave ? L’enquêteur pour­rait même ne pas le savoir. L’intégrité d’un essai cli­nique dépend de la capa­ci­té d’un inves­ti­ga­teur à décrire et à rendre compte de toutes les don­nées man­quantes. Un enquê­teur expé­ri­men­té s’inquiète des don­nées man­quantes ; un enquê­teur négligent ignore le pro­blème.

Quand le manque est‐il impor­tant ? Lorsque la quan­ti­té de don­nées man­quantes est une pro­por­tion signi­fi­ca­tive de la taille de l’effet du trai­te­ment. Exemple : si le groupe de trai­te­ment a eu 25 décès de moins que le groupe de contrôle, les don­nées man­quantes chez 15 patients sont signi­fi­ca­tives. Si le groupe de trai­te­ment a eu 200 décès de moins que le groupe de contrôle, il est très peu pro­bable que des don­nées man­quantes chez cinq patients soient per­ti­nentes.

Deuxièmement, il s’agit de ne pas mon­trer une ana­lyse pla­ni­fiée ou, alter­na­ti­ve­ment, de mon­trer une ana­lyse qui n’était pas pla­ni­fiée. Dans chaque essai cli­nique, les règles régis­sant l’analyse des don­nées on été préa­la­ble­ment défi­nies dans un pro­to­cole et un plan sta­tis­tique for­mel. Ces docu­ments four­nissent la preuve que les enquê­teurs envi­sagent de se pen­cher sur un cri­tère d’évaluation très spé­ci­fique, défi­ni d’une manière très spé­ci­fique et ana­ly­sé de manière très spé­ci­fique dans un ordre très spé­ci­fique. Ces règles sont défi­nies avant que qui­conque ait eu l’occasion de consul­ter les don­nées.

Comment savoir si les enquê­teurs ont sui­vi leurs règles pré‐spécifiées ? Vous devez lire le pro­to­cole et le plan sta­tis­tique. Et, si vous le pou­vez, vous devez regar­der les dates aux­quelles ces docu­ments ont été dépo­sés à l’avance auprès des orga­nismes de régle­men­ta­tion.

Ces docu­ments peuvent révé­ler que les enquê­teurs ont défi­ni quatre para­mètres de manière très spé­ci­fique et qu’ils avaient l’intention de les ana­ly­ser dans l’ordre sui­vant : A, D, C, B.

Alors, vous inquiéteriez‐vous si les enquê­teurs ne pré­sen­taient que les résul­tats de A et C ? Vous inquiéteriez‐vous s’ils chan­geaient la défi­ni­tion de A après coup ? Seriez‐vous inquiet s’ils ana­ly­saient C d’une manière qui n’était pas pla­ni­fiée ? Et vous inquiéteriez‐vous si le pré­sen­ta­teur vous deman­dait de concen­trer votre atten­tion sur un nou­veau cri­tère d’évaluation — appelons‐le E — qui n’a jamais été pla­ni­fié à l’avance ?

Vous devriez vous inquié­ter dans toutes ces cir­cons­tances.

Comment pouvez‐vous savoir si les enquê­teurs ont sui­vi leur plan fidè­le­ment ? Quelques revues de pre­mier plan exigent que les enquê­teurs four­nissent des fichiers de leur pro­to­cole et un plan sta­tis­tique au moment de la pre­mière éva­lua­tion par les pairs. Ils sont publiés en tant que sup­plé­ments en ligne à l’article pré­sen­tant les résul­tats prin­ci­paux de l’étude. Malheureusement, la plu­part des revues n’ont pas cette exi­gence. Et même lorsque ces docu­ments sont publiés, la plu­part des lec­teurs ne se donnent pas la peine de les consul­ter.

Il y a quatre points impor­tants à rete­nir de ces docu­ments.

  • Les enquê­teurs savent que ces docu­ments seront exa­mi­nés de près. Par consé­quent, cer­tains pour­raient être ten­tés de spé­ci­fier une ana­lyse inap­pro­priée à l’avance. Spécifier quelque chose de stu­pide dans le plan sta­tis­tique ne le rend pas valide.
  • Les enquê­teurs doivent résu­mer l’essence de ces docu­ments sur une dia­po­si­tive pré­sen­tée au moment de leur pré­sen­ta­tion lors d’une réunion scien­ti­fique. C’est une de leurs dia­po­si­tives les plus impor­tantes, mais c’est aus­si celle que la plu­part des spec­ta­teurs ignorent. Et trop sou­vent, elle manque tota­le­ment.
  • Si le médi­ca­ment ou le dis­po­si­tif est approu­vé, la FDA [Food and Drug Administration aux USA, lien:682h] est tenue de mettre ses ana­lyses à la dis­po­si­tion du public. Par consé­quent, il est pos­sible de com­pa­rer les ana­lyses d’une publi­ca­tion avec les ana­lyses effec­tuées par la FDA. Pour toutes les ana­lyses pré­spé­ci­fiées, celles‐ci doivent être très simi­laires les unes aux autres. Les ana­lyses de la FDA sont par­ti­cu­liè­re­ment faciles d’accès si le médi­ca­ment ou le dis­po­si­tif a été exa­mi­né par un comi­té consul­ta­tif public, car ils sont affi­chés simul­ta­né­ment sur le site Web de la FDA.
  • Le plan sta­tis­tique se concentre uni­que­ment sur les ana­lyses per­met­tant de démon­trer l’efficacité de l’intervention pour une indi­ca­tion spé­ci­fique. De nom­breux articles secon­daires d’un essai cli­nique décrivent des ana­lyses des­ti­nées à mieux connaître les autres effets de l’intervention ou la mala­die elle‐même. Ces ana­lyses ne font pas par­tie du pro­ces­sus d’approbation régle­men­taire et leurs résul­tats devraient tou­jours être consi­dé­rés dans le contexte de la tota­li­té des preuves dans la lit­té­ra­ture médi­cale. Certains sont géné­ra­teurs d’hypothèses ; cer­tains confirment des obser­va­tions simi­laires dans d’autres essais.

En bref, voi­ci deux règles simples.

Premièrement, y a‐t‐il des don­nées man­quantes et ce défaut est‐il signi­fi­ca­tif ?

Deuxièmement, les auteurs ont‐ils spé­ci­fié à l’avance un plan d’analyse valide et l’ont-ils res­pec­té ?

Si ces deux règles simples n’ont pas été sui­vies, vous devriez vous poser des ques­tions et vous inquié­ter. Le pré­sen­ta­teur veut‐il que je me concentre sur A alors que je devrais regar­der B ? Si les pré­sen­ta­teurs veulent mal diri­ger le public, c’est une chose très simple à faire — en par­ti­cu­lier dans une pré­sen­ta­tion qui ne dure que 10 à 15 minutes.

Pour être clair, ce ne sont pas les deux seules astuces que les gens peuvent uti­li­ser avec les don­nées d’un essai cli­nique. Mais elles couvrent beau­coup de ter­rain.

Voici mon point le plus impor­tant de tous. Les enquê­teurs qui se livrent à des erreurs de direc­tion peuvent ne pas réel­le­ment essayer consciem­ment d’induire les gens en erreur. Étonnamment, ce sont sou­vent eux qui sont induits en erreur. Trop sou­vent, les enquê­teurs sont sus­cep­tibles de se trom­per eux‐mêmes — sur­tout s’ils ne connaissent pas les règles de la bonne ana­lyse et s’ils sont enclins à trou­ver un moyen de prou­ver que l’intervention fonc­tionne (même si ce n’est pas le cas).

Les erreurs de direc­tion sont essen­tielles au suc­cès des magi­ciens. Quand c’est fait avec per­fec­tion, c’est un délice. Le public aime vrai­ment être dupé.

Mais lorsque nous écou­tons les pre­miers résul­tats d’un essai ou lisons la publi­ca­tion de ces résul­tats dans un jour­nal, nous ne sommes pas inté­res­sés par les diver­tis­se­ments ni par des vœux pieux. Nous sommes inté­res­sés par des don­nées et des ana­lyses impar­tiales. C’est ce qui dis­tingue la science de la magie.

Packer a récem­ment consul­té pour Actavis, Akcea, Amgen, AstraZeneca, Boehringer Ingelheim, Cardiorentis, Daiichi Sankyo, Gilead, J & J, Novo Nordisk, Pfizer, Sanofi, Biologics Synthetic et Takeda. Il pré­side le comi­té exé­cu­tif d’EMPEROR pour les essais de l’empagliflozine dans le trai­te­ment de l’insuffisance car­diaque. Auparavant, il était co‐chercheur de l’essai PARADIGM‐HF et sié­geait au comi­té direc­teur de l’essai PARAGON‐HF, mais n’a aucune rela­tion finan­cière avec Novartis.


2 recommandation(s)
comments icon Commenté 0 fois
0 commentaires
69 visites
bookmark icon

Écrire un commentaire...

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.