Accueil > Articles non mis à jour > Ressources épistémologiques zététiques > Autodéfense intellectuelle. > Les faits > Comment analyser les données, résultats d’indicateurs, mesures, (...)

Comment analyser les données, résultats d’indicateurs, mesures, chiffres...[A+ le 14/02] [T++]

mercredi 22 août 2007, par omedoc

Pour répondre à cette question j’ai construit un modèle qui peut s’appliquer à toute donnée recherchée en vue d’une décision, d’une action ou simplement d’une réponse à une question(= donnée construite) :
Ce modèle concerne en définitive les actions (ou opinions, ou décisions en tant que préparation à l’action) qui dépendent d’une autre action. Selon le résultat de la première telle ou telle décision/action/opinion est prise/faite/adoptée. On a donc deux actions reliées (dont on peut d’ailleurs mesurer les résultats et les écarts par rapport aux objectifs).
Plus concrètement pour illustrer le modèle je prendrai : la mesure de l’HTA et son traitement puis la mesure de l’ostéporose et son traitement, le nombre d’ADF et ses éventuelles conséquences. On pourrait l’appliquer à la fibromyalgie, à l’EBM, aux résultats d’essais thérapeutiques, au taux de chômage, etc...

Application aux profils de prescription
Applications aux ADF
Applications au calcul des économies potentielles liées à un ADF


La structure générale est la suivante :
1) Le problème
2) Choix de la question/action
3) Choix de la mesure
4) Choix de l’appareil de mesure
5) Mesure proprement dite

On peut donc avoir :
5->4) une erreur au "mesurage"
4->3) une erreur dans le choix de l’appareil
3->2) une erreur dans le choix de la mesure
2->1) une erreur dans le choix de la question/action

Ce qui entraîne un problème non ou mal résolue


Je commence par l’HTA puisque le plus simple.

1° Quel est le problème ?

= La morbi mortalité cardiovasculaire

Question : est-ce réellement un problème ? : oui
Y a-t-il une réponse évidente ? : non
Sinon on passe au 2°

2° Quel est l’action à faire et donc les questions à se poser ?

= L’action : trt de l’HTA
= Les questions : faut-il traiter ? Qui ? Comment...

La solution passe par une action. Que décider comme action ? Pour cela il faut imaginer toutes les actions possibles. l’imagination est limité par la connaissance du sujet et par l’idéologie du chercheur. On peut s’aider par une étude permettant de lister toutes les actions possibles.

Il faut ensuite choisir une ou plusieurs actions. Là aussi les a priori sont importantes. Pour choisir il faudrait argumenter.

Le traitement de l’HTA est une des actions possibles.

Question : a-t-on choisi la bonne action pour résoudre le problème ?

3° quel est la mesure ?

= la mesure : pression artérielle
Comment dépister ces patients hypertendus chez lequel un traitement serait bénéfique ?
Question à partir de quel chiffre traiter ?

4° Quel outil de mesure ?

= l’appareil : le brassard

Avec quoi mesurer l’HTA ? Il s’agit d’un nouveau problème qui nécessite le choix d’un appareil de mesure. Il faut imaginer tous les instruments et choisir le bon instrument. Le choix se porte en général sur le brassard à tension.

5° réalité de la valeur de la « contre pression artérielle » mesurée

= La réalité : valeur de la "contre pression" mesurée par le brassard. A priori pas de problème. Voir cependant les autres exemples.
L’existence et la définition de l’objet peuvent être perçues comme des « conventions qui peuvent être discutées » [1] .« La tension entre ces deux points de vue, tenant les objets à décrire soit pour des choses réelles, soit pour le produit d’un travail conventionnel, est inscrite de longue date dans l’histoire des sciences humaines, de leurs usages sociaux et des débats à leurs propos. » [2]. L’objet mesuré peut être une construction qui ne correspond pas à une réalité, ou bien qui lui correspond mal. Si cette objet est construit il est nécessaire de vérifier qu’il soit bien défini. Par exemple, si la fibromyalgie ne correspond pas à une réalité (idem la spasmophilie), quelle valeur à sa mesure (= son diagnostic). Diagnostiquer une pathologie construite ne peut que déboucher sur une impasse. Tout progrès est impossible [3].

En remontant ensuite de la mesure effective à l’action effective.

Passage du 5° au 4° Est-ce qu’on a bien mesuré ce qu’on mesure ?

Faut-il faire une autre mesure ?

écart « contre pression réelle », chiffres mesurés

Concerne les erreurs de mesure, c’est à dire l’écart entre la valeur vraie et la valeur mesurée.( voir www.unice.fr/zetetique/polycop_methodo.pdf)

Il peut s’agir d’une erreur accidentelle (donc aléatoire, plutôt d’origine humaine) ou d’une erreur systématique (donc décalage, plutôt du fait de l’appareil de mesure).

L’erreur peut provenir soit de l’appareil utilisé soit du mode opératoire soit de l’expérimentateur

Concernant l’appareil utilisé, il peut s’agir d’une limitation de celui-ci (qualité métrologique de l’appareil)

L’erreur peut provenir d’un mauvais mode opératoire.

l’erreur peut enfin provenir de l’expérimentateur (erreur opérateur dépendante/erreur humaine) qui choisit un mauvais appareil, qui fait un mauvais calibrage, qui ne respecte pas le mode opératoire ou les préconisations, qui a une mauvaise qualité d’exécution de la mesure par maladresse ou manque d’expérience (fonction de la difficulté de la mesure), ou qui fait une erreur de saisie.

"L’incertitude sur une donnée, est aussi importante que la donnée elle même puisqu’elle décide de la fiabilité que l’on peut accorder à cette donnée et, par voir de conséquence, de la fiabilité à accorder à la théorie reposant sur ce résultat."(http://www.unice.fr/zetetique/polycop_methodo.pdf)

passage du 4° au 3° Est-ce que l’outil de mesure mesure bien ce que l’on veut mesurer ?

Faut-il choisir un autre appareil de mesure ?

= écart chiffres mesurés, HTA réelle

Là on suppose que la mesure a été parfaite et on s’interroge sur le choix de l’outil de mesure.
On aurait pu utiliser le Holter Tensionnel, ou un capteur artériel interne.

A l’écart dû à la mesure se rajoute donc un écart par rapport à la pression exacte telle qu’elle aurait été mesurée par un test ou un appareil qui servirait de Gold standart. Cet écart est mesuré par la spécificité et la sensibilité du test ou de l’appareil.

Passage du 3° au 2° Est-ce que ce qu’on mesure permet de répondre à la question posée ?

Faut-il choisir un autre type de mesure ? Le cholestérol ? une association de facteurs ?

écart HTA risque CV

Est-ce qu’on a fait le bon choix des données à recueillir pour pouvoir répondre la question posée ?
La on suppose qu’on a bien mesuré l’HTA et on s’interroge pour savoir si on peut en déduire qu’il s’agit d’un patient à risque cardio-vasculaire qui bénéficiera d’un traitement ? C’est le problème de la définition de l’HTA. On peut, en effet, avoir un traitement efficace sur l’HTA mais inefficace sur la survenue d’une morbidité CV. Il faut aussi tenir compte des effets secondaires du traitement.

Aux écarts précédents se rajoutent donc l’erreur dû à un mauvais modèle (il faut traiter toute les HTA supérieures à ...)

Passage du 2° au 1° : passage de la théorie à la pratique

Fallait-il se poser une autre question ?

écart efficacité théorique suite au trt HTA % efficacité réelle
Il s’agit de l’écart entre la théorie et la pratique ou la « vie réelle ». Oui, on a bien pris la TA au brassard, oui il s’agit de la pression exacte, oui son traitement serait utile, et pourtant, le traitement n’apporte pas les résultats escomptés. Pourquoi ?
Parce qu’on n’a pas agit comme il aurait fallut ?
Parce qu’on n’a pas choisi la bonne action par rapport au problème posé. On suppose qu’on traite bien les personnes hypertendues pouvant bénéficier d’un traitement : est-ce cela résout le problème = est-ce qu’il y aura moins de morbidité cardio-vasculaire ? Il peut s’agir d’effets pervers (mauvaise observance, prescriptions hors AMM..., événements exceptionnels (grosses chaleurs))

Voir la notion de validité externe :

http://clinicaltrials.plosjournals.org/perlserv/?request=get-document&doi=10.1371/journal.pctr.0010009

Autres exemples d’effets pervers :
 Effets secondaires systémiques : sélection des germes du fait de l’antibiothérapie.

 Trop bonne observance : "mais souvent, on ne sait pas quel est l’impact d’une observance rigoureuse. Et quand des traitements ont, chez certains patients ou dans certaines situations, une balance bénéfice risque nettement défavorable, la non-observance peut s’avérer salutaire." (Revue prescrire N° 279 page 61)

 Pour certains l’aide aux pays pauvres telle qu’elle fonctionne actuellement peut aggraver la pauvreté.



En ce qui concerne l’ostéoporose je m’appuierai sur le RAPPORT de l’ACADÉMIE NATIONALE DE MÉDECINE sur les
"Méthodes de mesure de la densité minérale osseuse (DMO) et examens biologiques dans la prise en charge de l’ostéoporose."
Claude DREUX et Charles Joël MENKÈS**

1° Quel est le problème ?

« L’ostéoporose constitue, à l’heure actuelle, un problème de santé publique considérable tant par la proportion croissante de femmes qui en est atteinte que par ses répercussions sur la qualité de vie des patients »

Question : est-ce réellement un problème ?

"On compte en France environ 150 000 cas par an de fracture vertébrale, qui est de ce fait la fracture la plus fréquente, et 72 000 fractures de l’ESF ont été dénombrées en 2001.
Les fractures ostéoporotiques entraînent une sur-mortalité, démontrée pour les fractures vertébrales cliniques et la fracture de ESF. Cette sur-mortalité est de l’ordre de 20 %.
En 1990, l’équivalent de 1 milliard d’euros a été consacré au traitement des fractures dues à l’ostéoporose, chez la femme surtout mais également chez l’homme (20 % des cas environ)."


Y a-t-il une réponse évidente ?

Sinon on passe au 2°

2° Quel est la question ?

Ici l’action envisagée est de dépister les personnes à risque d’ostéoporose et pouvant bénéficier d’un traitement. Cette action débouche sur une question : comment faire ?
Quels sont les grands groupes d’actions possibles
- Prévention primaire
- Prévention secondaire
- Dépistage systématique du risque d’ostéoporose
- Dépistage restreint à certaines personnes (Celles à risque, Celles susceptible d’un trt efficace)
- Prévention tertiaire
« Il convenait donc de s’interroger, à nouveau, sur les catégories de personnes à risque d’ostéoporose pour lesquels un dépistage précoce suivi d’un traitement s’avérait utile dans un but de prévention des fractures, surtout chez la femme, mais aussi chez l’homme. C’est l’objet du présent rapport. »

Question : a-t-on choisi la bonne action pour résoudre le problème ?

Autre exemple (Dr AVOUAC, journée CANAM) : "l’optimisation des pratiques ne se pose pas uniquement en terme de choix médicaux individuels ou collectifs. Optimiser ce n’est pas seulement assurer la qualité des soins, mais c’est aussi tenir compte des conséquences économiques des actes médicaux."

3° quel est la mesure ?

Comment dépister ces patients à risque chez lequel un traitement serait bénéfique ? On peut choisir pour sélectionner ces patient de rechercher certaines données associées à ce risque d’otéoporose curable. Il peut s’agir soit de données d’interrogatoire ou de l’examen clinique ou paraclinique. Ces données peuvent être qualitatives, ou quantitatives, discrètes ou mesurables.

Le choix sera fait de combiner les données : évaluer la masse osseuse + certains bilans biologiques + certains marqueurs osseux + interogatoire.

On aurait pu imaginer à la place faire un dépistage à partir d’un seul type de données.

Question :
A-t-on bien étudié toutes les possibilités de mesure ?
A-t-on bien choisi les bonnes mesures ?

4° Quel outil de mesure ?

Avec quoi mesurer la masse osseuse ? Il s’agit d’un nouveau problème qui nécessite le choix d’un appareil de mesure. Il faut imaginer tous les instruments et choisir le bon instrument.

« il apparaît que l’absorptiométrie biphotonique utilisant les Rayons X (Dual Energy X-ray Absorptiometry, DEXA) est la technique la plus sensible, la plus rapide et la plus précise permettant d’évaluer la masse osseuse, pour une irradiation très faible. »

on aurait pu aussi choisir la
«  Tomodensitométrie quantitative (quantitative computerized tomodensimetry ou QCT) »
Ou des
« Techniques utilisant les ultrasons »
Ou la biologie ? : «  ... la biologie ne participe pas au diagnostic d’ostéoporose.... les marqueurs du remodelage osseux évalués actuellement ne permettent pas d’affirmer un diagnostic d’ostéoporose.

« la meilleure méthode actuelle consiste à mesurer la densité minérale osseuse (DMO) par absorptiométrie biphotonique aux rayons X (DXA). Cependant l’intérêt clinique de cette détermination dépend de la fiabilité des mesures. Celle-ci nécessite l’application du système d’assurance de qualité, la formation satisfaisante des spécialistes effectuant les mesures et l’interprétation des résultats ; »

Cet outil de mesure va donc avec les conditions d’utilisation.

Question : a t-on bien choisi le bon outil de mesure ?

5° réalité de la masse osseuse mesurée

Pour être exhaustif : Question : Ce qu’on mesure a-t-il une réalité ? Est-ce que ce n’est pas un artefact créé par le mesure ? Exemple : EMG à la recherche d’une hyperexcitabilité due à la spasmophilie. Critères de diagnostic de la fibromyalgie. Enquêtes de prévalence des dépressions. Tout ce qui concerne les "Mongering desease".

En remontant ensuite de la mesure effective à l’action effective.

Passage du 5° au 4° Est-ce qu’on a bien mesuré ce qu’on mesure ?

Sachant qu’on a un appareil d’absorptiométrie biphotonique ayant les qualités telles que définies ci-dessus : Est-ce qu’on a bien mesuré "l’absorption biphotonique"

« La fiabilité des mesures dépend de deux paramètres :
la qualité métrologique de l’appareil. Un contrôle de qualité est désormais obligatoire en France, régi par une décision de l’AFSSAPS de juin 2005, qui a pour objet de vérifier l’exactitude et la reproductibilité des appareils d’absorptiométrie biphotonique à rayons-X.
la réalisation de l’examen, le respect des recommandations du constructeur, et la formation de l’utilisateur ; toutes les études montrent que c’est de ces facteurs opérateur-dépendants que proviennent la plupart des erreurs de mesure. Cela souligne la nécessité d’une formation reconnue des utilisateurs.
L’opérateur doit être parfaitement informé de ces conditions indispensables pour une bonne interprétation des résultats.
 »

« Il n’est pas prévu de préparation particulière du patient avant l’examen mais certaines conditions doivent être remplies :
aucun examen nécessitant l’administration d’un produit de contraste ne doit avoir lieu avant la mesure de DMO. Si un tel examen a été pratiqué, un délai de 2 à 3 jours doit être observé ; pour la scintigraphie, le délai nécessaire à l’élimination du marqueur est de même de 2 à 3 jours, mais peut être plus long pour certains radiopharmaceutiques ;
l’existence de certaines maladies, en particulier du squelette, ou interventions orthopédiques peut perturber l’examen : maladie de Paget, arthrose lombaire, scolioses importantes, calcifications aortiques, arthrodèses, prothèses.
 »

passage du 4° au 3° Est-ce que l’outil de mesure mesure bien ce que l’on veut mesurer ?

Là on suppose que la mesure a été parfaite et on s’interroge sur le choix de l’outil de mesure. Est-ce que la mesure de l’absorption biphotonique est bien liée à la masse osseuse.

L’outil de mesure est l’absorptiométrie biphotonique .L’opérateur n’a pas fait d’erreur. Le matériel est neuf. On veut mesurer la diminution de la masse osseuse. Est-ce que ce type d’appareil a été le bon choix (sensibilité et spécificité), même si dans le choix intervient d’autres facteurs (coût, facilité) ? n’aurait-il pas mieux valut utiliser les ultrasons ? . La réponse dépend de l’appareil. C’est sa précision qui est concernée.

A noter : "La mesure de la DMO par DEXA n’analyse en priorité que l’os ne se fracturant pas. Les caractéristiques de l’architecture trabéculaire ne sont pas évaluées par cette technique" (Revue Médecine fév 2007)

Passage du 3° au 2° Est-ce que ce qu’on mesure permet de répondre à la question posée ?

Est-ce qu’on a fait le bon choix des données à recueillir pour pouvoir répondre la question posée ?
La on suppose qu’on a bien mesuré la DMO et on s’interroge pour savoir si on peut en déduire qu’il s’agit d’un patient à risque d’ostéoporose qui bénéficiera d’un traitement ? On peut, en effet, avoir un traitement efficace sur la DMO mais inefficace sur la survenue de fractures. Il faut aussi tenir compte des effets secondaires du traitement.
On peut essayer d’améliorer l’efficacité du traitement en combinant les « mesures » : DMO + antécédents + marqueurs osseux + facteurs de risque = en limitant le dépistage à une certaine population.
« La mesure de la DMO par absorptiométrie biphotonique aux rayons X (DXA) est indiquée chez les personnes ayant un facteur de risque :... »
Voir aussi
Tableau 2. - Indications potentielles de la DMO et des marqueurs biologiques du remodelage osseux dans l’exploration des ostéoporoses

Argumentation :
"L’OMS a proposé de classer l’échelle des diminutions de la densité osseuse en quatre niveaux :
Niveau 1 : densité osseuse « normale », la DMO diffère de moins d’un écart-type de la moyenne de référence (T score supérieur à -1)
Niveau 2 : ostéopénie T score compris entre -1 et -2,5
Niveau 3 : ostéoporose, T score inférieur à -2,5
Niveau 4 : ostéoporose sévère : ostéoporose avec fracture.

La définition de ces seuils repose sur des bases théoriques et épidémiologiques. En effet, la probabilité pour une femme non ménopausée d’avoir une densité abaissée de plus de 2,5 écart-types par rapport à la moyenne est de 0,7 % ; par ailleurs, en utilisant un seuil de - 2,5, indépendant de l’âge, on retrouve environ 40 % des femmes ménopausées, ce qui correspond à la réalité de l’épidémiologie de la maladie.
L’ostéopénie n’est pas une maladie osseuse ; cependant chaque diminution d’un écart-type multiplie par deux le risque ultérieur de fracture.
Il faut souligner que ces valeurs diagnostiques ne sont pas des seuils de décision thérapeutique, mais que la découverte d’une densité osseuse basse doit obligatoirement conduire à une enquête étiologique,

Dans la prise en charge des patientes, la décision thérapeutique peut être prise dans la majorité des cas sur la base de l’analyse du résultat de la densité minérale osseuse, et des facteurs associés de risque de fractures, (âge, faible poids, troubles orthopédiques ou neurologiques des membres inférieurs, corticothérapie prolongée...). Dans les cas de décision difficile, l’usage des marqueurs biologiques est utile. »"

A noter :" il n’y a pas de parallélisme entre les données de l’ostéodensitométrie et l’efficacité thérapeutique" (Revue Médecine fév 2007)

Passage du 2° au 1°

Est-ce qu’on a choisi la bonne action par rapport au problème posé ?

On suppose qu’on traite bien les personnes à risque d’ostéoporose et qu’elles bénéficient du traitement. Là on s’interroge pour savoir si cela résout le problème = est-ce qu’il y aura moins de femmes atteintes d’ostéoporose handicapante ou de décés.

Peut être que dans les faits ce dépistage ne touchera des personnes qui de toute façon aurait consulté et a qui on aurait proposé un traitement ?

La prévention primaire aurait peut être été plus efficace ?

Effets pervers : souvent on "croit" bien faire, et puis le problème reste ou s’aggrave

Une possibilité de non résolution du problème peut provenir du fait que le traitement n’étant pas efficace à 100%, il se pourrait que le problème s’aggrave du fait par exemple de l’augmentation des femmes à risque d’ostéoporose. Cela peut être dû à l’avance en âge ou à des effets pervers. Par exemple sachant qu’il y a un traitement les femmes sont moins motivées à faire une activités physiques.

Argumentation :
« L’intérêt des mesures de la DMO et des marqueurs biochimiques du remaniement osseux a fait l’objet de nombreuses études en France et à l’étranger.
Aucun rapport ne préconise le dépistage systématique de l’ostéoporose sur la population générale et seulement un quart des rapports le recommande sur les femmes ménopausées. En revanche, un dépistage ciblé sur les femmes ménopausées présentant un ou plusieurs facteurs de risque de fracture est favorablement apprécié. Cette opinion rejoint les recommandations de l’OMS, de la Communauté européenne, du GRIO et de l’ANAES. »


1° problème : Croissance des IJ

2° question : La croissance des IJ est-elle due au Nb d’arrêts abusifs (action correspondante les diminuer)

3° mesure : mesure du nombre d’ADF

4° appareil de mesure : requête informatique

5° réalité du nombre d’ADF

Exemple de biais dans le passage du 5° au 4° : erreur dans la requête

Exemple de biais dans le passage du 4° au 3° :
Remplacer par un "comptage à la main." (voir ci-dessus)

Exemple de biais dans le passage du 3° au 2° :
Le chiffre absolu des arrêts abusifs ne permet pas de répondre à la question 2°. Évidemment tout arrêt abusif peut générer un ADF mais l’inverse n’est pas vrai. Voir ici

Exemple de biais dans le passage du 2° au 1° : Savoir que la croissance des IJ est due aux arrêts abusifs permet-il de décider d’une action pour résoudre le problème de la croissance des IJ ? La seule diminution du nb d’arrêts abusifs du fait des contrôles peut-elle faire diminuer la croissance des IJ ?
Voir ici

Autres questions :

Quels est le seuil de définition de la normalité ou de l’anormalité ?
Quel le nombre d’ADF considéré comme normal (ou comme anormal) ?
Comment sont fixés les objectifs : pourcentage minimum d’expertises gagnées.

La définition d’un seuil se fait en fonction de la relation entre la mesure et un critère à préciser.

Pour l’HTA la définition du seuil de normalité peut se faire à partir de la relation entre sa mesure et la courbe de distribution de cette mesure dans la population.

On peut aussi prendre la relation entre l’HTA et le risque cardiovasculaire ou avec l’efficacité du traitement sur la morbi-mortalité.

Pour le nombre d’ADF considéré comme normal (pour les exo, les IJ...) quel est le critère permettant de définir le seuil ?


Un article d’un quotidien récent rapporte les résultats d’une étude sur le traitement de la lombalgie chronique par l’acupression.

1° Le problème est
soit la difficulté de traitement de la lombalgie chronique,
soit l’efficacité des médecines alternatives type acupression ?
Autre...?

2° La question est : est-ce que l’acupression est efficace sur la lombalgie chronique ? ("Objective To evaluate the effectiveness of acupressure"

3° la mesure est : "Objective To evaluate.... in terms of disability, pain scores, and functional status."

4° L’outil de mesure est : Roland and Morris disability questionnaire

On peut rajouter un 5° qui est ’authenticité des réponses

A cette hiérarchie descendante correspond la hiérarchie ascendante qui correspond à l’interprétation des résultats.

Dans la vie courante on passe sans se poser trop de questions du 4° au 2° ou 1°

Dans notre exemple on passe du 4° :
"Results The mean total Roland and Morris disability questionnaire score after treatment was significantly lower in the acupressure group than in the physical therapy group regardless of the difference in absolute score (- 3.8, 95% confidence interval - 5.7 to - 1.9) or mean change from the baseline (- 4.64, - 6.39 to - 2.89)."

au 2°

"Conclusions Acupressure was effective in reducing low back pain in terms of disability, pain scores, and functional status."

L’idée cachée étant peut-être le 1° : l’acupression n’est pas de la placébothérapie.

On aurait pu aussi en déduire que l’acupression est bien une placébothérapie puisque efficace sur une pathologie éminemment placébosensible, ou que la lombalgie chronique a bien une composante psy puisque l’acupression (qui ne peut avoir d’effet que comme placébo) est efficace, ou que...


Il y a un écart entre la valeur vraie et la valeur mesurée (niveau exérimental), de même il y a une marge entre la théorie et la pratique (niveau du résultat). L’évaluation concerne la mesure ce ces écarts. Une mesure ou un résultat est dit de qualité si l’écart est minime. Dans tous les cas il y a donc trois choses à préciser : l’objectif à atteindre, ce qui est réellement atteint, comment mesurer l’écart.


[1Alain Desrosières ; la politique des grands nombres.

[2idem

[3On pourrait faire une analogie avec la pub, qui crée des besoins pour les satisfaires. De même l’industrie pharmaceutique crée des maladies pour pouvoir vendre ses médicaments. Y a t-il une avancée ?