Comment détecter une manipulation de données ?

Traduction de Want to Know If Someone Is Manipulating Data ? (Dr. Milton Packer)

MedPage Today, 27 février 2019^N1

Milton Packer explique comment distin­guer la science de la magie.

⚪️ Tout magi­cien est un maître de la trom­pe­rie et nous adorons être trom­pés. Comment les magi­ciens réalisent-ils leurs illu­sions ? La clé de chaque tour de magie est la mauvaise direc­tion. Si vous dites aux membres de l’au­di­toire de regar­der A, ils ne regar­de­ront pas B. Or c’est B qui fait fonc­tion­ner le truc.

C’est pour­quoi de nombreux magi­ciens inter­disent les télé­phones portables lors de leurs repré­sen­ta­tions. Si vous pouvez prendre une vidéo du numéro et la revoir à plusieurs reprises, vous pour­rez éven­tuel­le­ment savoir comment l’as­tuce fonc­tionne. Vous pour­rez conti­nuer à cher­cher B même si l’artiste fait tout pour que vous soyez concen­tré sur A.

Pourquoi est-ce que je parle de magi­ciens sur un blog consa­cré à la médecine ?

Il y a deux semaines, j’ai écrit un article sur mes expé­riences en tant que cher­cheur prin­ci­pal dans des essais cliniques à grande échelle. Plusieurs lecteurs ont pensé que mes expé­riences person­nelles ne repré­sen­taient pas la norme. Beaucoup pensaient que les données des essais cliniques étaient couram­ment mani­pu­lées afin de les mettre en valeur de manière opti­male. J’ai dû recon­naître que leurs préoc­cu­pa­tions étaient recevables.

Un ami respecté m’a suggéré de consa­crer un article à la descrip­tion de la mani­pu­la­tion des données dans le but de donner à un essai néga­tif une appa­rence posi­tive. Mon défi : comment la décrire dans un blog ?

Bientôt, la réponse devint évidente. La trom­pe­rie du public lors de la présen­ta­tion d’un essai clinique est basée sur la même stra­té­gie de mauvaise direc­tion que les magi­ciens utilisent pour que leurs numé­ros fonctionnent.

Croyez-le ou non, il y a des dizaines de formes possibles de mauvaises direc­tions qui sont possibles lors de la présen­ta­tion des résul­tats d’un essai clinique. On pour­rait en remplir un livre entier. Mais aujourd’hui, je vais mention­ner les deux plus impor­tantes, que tout lecteur ou audi­teur peut rechercher.

Le truc du « manque » est le premier et le plus impor­tant. Le meilleur moyen d’amé­lio­rer l’ap­pa­rence des données consiste à extraire celles que vous n’ai­mez pas ou de ne pas prendre la peine de les collec­ter. Si la présen­ta­tion ne prend pas en compte les données manquantes, toutes sortes de mani­pu­la­tions sont possibles.

Disons que vous avez rando­misé 600 patients dans un essai. Selon le prin­cipe d’in­ten­tion de trai­ter [inten­tion to treat, N2] qui régit l’in­té­grité des essais cliniques, vous devez four­nir des données sur 600 patients. Mais souvent, les inves­ti­ga­teurs vous montre­ront des données sur 550 patients, après avoir exclu 50 patients de l’analyse.

Les inves­ti­ga­teurs cliniques peuvent four­nir toutes sortes de raisons pour lesquelles ces 50 patients manquent. Ils peuvent dire que les patients ne sont jamais reve­nus pour un suivi ou qu’ils ont violé le proto­cole et ont été reti­rés de l’ana­lyse. Les enquê­teurs savent faire preuve de beau­coup de créa­ti­vité en élabo­rant des raisons qui semblent crédibles mais qui sont biai­sées. Ils peuvent même prétendre que leur absence est sans impor­tance si elle touche autant les deux groupes de trai­te­ment, même si ce n’est certai­ne­ment pas vrai.

La vérité : les manque­ments ne sont jamais aléa­toires et, s’ils sont suffi­sam­ment impor­tants, ils consti­tuent toujours une source de biais. Le patient n’est-il pas revenu pour une nouvelle évalua­tion parce qu’il était décédé ou avait subi un effet indé­si­rable grave ? L’enquêteur pour­rait même ne pas le savoir. L’intégrité d’un essai clinique dépend de la capa­cité d’un inves­ti­ga­teur à décrire et à rendre compte de toutes les données manquantes. Un enquê­teur expé­ri­menté s’inquiète des données manquantes ; un enquê­teur négligent ignore le problème.

Quand le manque est-il impor­tant ? Lorsque la quan­tité de données manquantes est une propor­tion signi­fi­ca­tive de la taille de l’ef­fet du trai­te­ment. Exemple : si le groupe de trai­te­ment a eu 25 décès de moins que le groupe de contrôle, les données manquantes chez 15 patients sont signi­fi­ca­tives. Si le groupe de trai­te­ment a eu 200 décès de moins que le groupe de contrôle, il est très peu probable que des données manquantes chez cinq patients soient pertinentes.

Deuxièmement, il s’agit de ne pas montrer une analyse plani­fiée ou, alter­na­ti­ve­ment, de montrer une analyse qui n’était pas plani­fiée. Dans chaque essai clinique, les règles régis­sant l’ana­lyse des données on été préa­la­ble­ment défi­nies dans un proto­cole et un plan statis­tique formel. Ces docu­ments four­nissent la preuve que les enquê­teurs envi­sagent de se pencher sur un critère d’éva­lua­tion très spéci­fique, défini d’une manière très spéci­fique et analysé de manière très spéci­fique dans un ordre très spéci­fique. Ces règles sont défi­nies avant que quiconque ait eu l’oc­ca­sion de consul­ter les données.

Comment savoir si les enquê­teurs ont suivi leurs règles pré-spécifiées ? Vous devez lire le proto­cole et le plan statis­tique. Et, si vous le pouvez, vous devez regar­der les dates auxquelles ces docu­ments ont été dépo­sés à l’avance auprès des orga­nismes de réglementation.

Ces docu­ments peuvent révé­ler que les enquê­teurs ont défini quatre para­mètres de manière très spéci­fique et qu’ils avaient l’intention de les analy­ser dans l’ordre suivant : A, D, C, B.

Alors, vous inquiéteriez-vous si les enquê­teurs ne présen­taient que les résul­tats de A et C ? Vous inquiéteriez-vous s’ils chan­geaient la défi­ni­tion de A après coup ? Seriez-vous inquiet s’ils analy­saient C d’une manière qui n’était pas plani­fiée ? Et vous inquiéteriez-vous si le présen­ta­teur vous deman­dait de concen­trer votre atten­tion sur un nouveau critère d’éva­lua­tion — appelons-le E — qui n’a jamais été plani­fié à l’avance ?

Vous devriez vous inquié­ter dans toutes ces circonstances.

Comment pouvez-vous savoir si les enquê­teurs ont suivi leur plan fidè­le­ment ? Quelques revues de premier plan exigent que les enquê­teurs four­nissent des fichiers de leur proto­cole et un plan statis­tique au moment de la première évalua­tion par les pairs. Ils sont publiés en tant que supplé­ments en ligne à l’ar­ticle présen­tant les résul­tats prin­ci­paux de l’étude. Malheureusement, la plupart des revues n’ont pas cette exigence. Et même lorsque ces docu­ments sont publiés, la plupart des lecteurs ne se donnent pas la peine de les consulter.

Il y a quatre points impor­tants à rete­nir de ces documents.

• Les enquê­teurs savent que ces docu­ments seront exami­nés de près. Par consé­quent, certains pour­raient être tentés de spéci­fier une analyse inap­pro­priée à l’avance. Spécifier quelque chose de stupide dans le plan statis­tique ne le rend pas valide.
• Les enquê­teurs doivent résu­mer l’essence de ces docu­ments sur une diapo­si­tive présen­tée au moment de leur présen­ta­tion lors d’une réunion scien­ti­fique. C’est une de leurs diapo­si­tives les plus impor­tantes, mais c’est aussi celle que la plupart des spec­ta­teurs ignorent. Et trop souvent, elle manque totalement.
• Si le médi­ca­ment ou le dispo­si­tif est approuvé, la FDA [Food and Drug Administration^N3 aux USA] est tenue de mettre ses analyses à la dispo­si­tion du public. Par consé­quent, il est possible de compa­rer les analyses d’une publi­ca­tion avec les analyses effec­tuées par la FDA. Pour toutes les analyses préspé­ci­fiées, celles-ci doivent être très simi­laires les unes aux autres. Les analyses de la FDA sont parti­cu­liè­re­ment faciles d’accès si le médi­ca­ment ou le dispo­si­tif a été examiné par un comité consul­ta­tif public, car ils sont affi­chés simul­ta­né­ment sur le site Web de la FDA.
• Le plan statis­tique se concentre unique­ment sur les analyses permet­tant de démon­trer l’ef­fi­ca­cité de l’in­ter­ven­tion pour une indi­ca­tion spéci­fique. De nombreux articles secon­daires d’un essai clinique décrivent des analyses desti­nées à mieux connaître les autres effets de l’in­ter­ven­tion ou la mala­die elle-même. Ces analyses ne font pas partie du proces­sus d’ap­pro­ba­tion régle­men­taire et leurs résul­tats devraient toujours être consi­dé­rés dans le contexte de la tota­lité des preuves dans la litté­ra­ture médi­cale. Certains sont géné­ra­teurs d’hy­po­thèses ; certains confirment des obser­va­tions simi­laires dans d’autres essais.

En bref, voici deux règles simples.

Premièrement, y a‑t-il des données manquantes et ce défaut est-il significatif ?

Deuxièmement, les auteurs ont-ils spéci­fié à l’avance un plan d’ana­lyse valide et l’ont-ils respecté ?

Si ces deux règles simples n’ont pas été suivies, vous devriez vous poser des ques­tions et vous inquié­ter. Le présen­ta­teur veut-il que je me concentre sur A alors que je devrais regar­der B ? Si les présen­ta­teurs veulent mal diri­ger le public, c’est une chose très simple à faire — en parti­cu­lier dans une présen­ta­tion qui ne dure que 10 à 15 minutes.

Pour être clair, ce ne sont pas les deux seules astuces que les gens peuvent utili­ser avec les données d’un essai clinique. Mais elles couvrent beau­coup de terrain.

Voici mon point le plus impor­tant de tous. Les enquê­teurs qui se livrent à des erreurs de direc­tion peuvent ne pas réel­le­ment essayer consciem­ment d’induire les gens en erreur. Étonnamment, ce sont souvent eux qui sont induits en erreur. Trop souvent, les enquê­teurs sont suscep­tibles de se trom­per eux-mêmes — surtout s’ils ne connaissent pas les règles de la bonne analyse et s’ils sont enclins à trou­ver un moyen de prou­ver que l’intervention fonc­tionne (même si ce n’est pas le cas).

Les erreurs de direc­tion sont essen­tielles au succès des magi­ciens. Quand c’est fait avec perfec­tion, c’est un délice. Le public aime vrai­ment être dupé.

Mais lorsque nous écou­tons les premiers résul­tats d’un essai ou lisons la publi­ca­tion de ces résul­tats dans un jour­nal, nous ne sommes pas inté­res­sés par les diver­tis­se­ments ni par des vœux pieux. Nous sommes inté­res­sés par des données et des analyses impar­tiales. C’est ce qui distingue la science de la magie. ⚪️

🔵 Packer a récem­ment consulté pour Actavis, Akcea, Amgen, AstraZeneca, Boehringer Ingelheim, Cardiorentis, Daiichi Sankyo, Gilead, J & J, Novo Nordisk, Pfizer, Sanofi, Biologics Synthetic et Takeda. Il préside le comité exécu­tif d’EMPEROR pour les essais de l’empagliflozine dans le trai­te­ment de l’in­suf­fi­sance cardiaque. Auparavant, il était co-chercheur de l’es­sai PARADIGM-HF et siégeait au comité direc­teur de l’es­sai PARAGON-HF, mais n’a aucune rela­tion finan­cière avec Novartis.

▷ Liens

🔵 Notes pour la version papier :
- Les iden­ti­fiants de liens permettent d’atteindre faci­le­ment les pages web auxquelles ils font réfé­rence.
- Pour visi­ter « 0bim », entrer dans un navi­ga­teur l’adresse « https://​leti​.lt/0bim ».
- On peut aussi consul­ter le serveur de liens https://leti.lt/liens et la liste des pages cibles https://leti.lt/liste.

• N1 · bwxr · Want to Know If Someone Is Manipulating Data ?
• N2 · r2l6 · Intention-to-treat analy­sis – Wikipedia
• N3 · 682h · Food and Drug Administration – Wikipedia

Cet article contient 1942 mots.
Autrement dit 11651 signes.

Article créé le 28/02/2019 - modifié le 28/01/2023 à 22h56