Comment juger les
résultats : validité de l’étude
-
I. - Généralités
-
Ai-je procédé à une autocritique de mon étude pour
évaluer correctement les résultats ?
-
Ai-je vérifié : la validité des conclusions
statistiques, la validité interne, la validité de la validité de la
présomption des résultats et la validité externe (Portney LG et
Watkins MP, 2000) ?
-
II. - La validité des conclusions statistiques
-
Y a t’il une possibilité que j’ai utilisé de façon
inappropriée une procédure statistique pour analyser les résultats ?
-
Est-ce que cet éventuelle erreur a pu aboutir à des
fausses conclusions ?
-
Si l’hypothèse nulle est acceptée, (rejet de
l’hypothèse alternative) qu’en est-il de la puissance statistique de
mon étude ? A quel point puis-je réellement rejeter l’hypothèse ?
Est-ce que la taille de l’échantillon est suffisamment grande pour
me le permettre ?
-
Ai-je fait de mauvaises assomptions sur les données
(distribution normale, égalité des variances, etc.) qui faussent les
résultats statistiques ?
-
Ai-je évalué si la répétition d’une mesure augmente
le risque de trier de fausses conclusions (error rates) ?
-
Les données récoltées sont-elles fiables et la
variance de ces mesures est-elle réellement contrôlée (pour une
étude expérimentale) ?
-
III. - La validité interne
-
L’expérience antérieure des sujets pourrait-elle
avoir une influence sur les résultats ?
-
Existe-t-il un changement dû à la maturation
(processus se développant dans le temps et qui n'est pas lié aux
évènements de l’étude) ?
-
La répétition d’un examen (tests, questionnaire,
épreuve) pourrait-il modifier la réponse de ce qui est mesuré ?
-
La fiabilité et la validité des instruments
sont-elles vérifiées ? (l’appareil mesure-t-il avec consistance et
évalue-t-il réellement ce qu’on croit ?)
-
L’étude présente-t-elle une régression statistique
(étude de pré-test et de post-test) ? Ceci revient à se demander si
la distribution des valeurs mesurées intervient-elle dans
l’interprétation des données ? Exemple : Si l’on jette 3 dés et que
l’on prend celui avec le score le plus bas en notant ce dernier,
puis nous relançons ces dés et notons à nouveau le score,
inévitablement la deuxième série de mesure sera plus élevée que la
première.
-
Existe-t-il un biais dans la sélection des sujets ? Y
a-t-il eu un échantillonnage aléatoire ? Peut-on extrapoler les
données récoltées sur l’échantillon à la population ?
-
L’abandon ou le refus de participer de certains des
sujets influencent-t-ils les résultats ?
-
L’omission des données aberrantes introduit-elle un
biais ?
-
Qu’en est-il des interactions des facteurs précités ?
-
IV. - La validité de la
présomption des résultats
-
Si les résultats sont probants, à quelle construction
théorique peuvent-ils être généralisés ?
-
La validité de l’étude se limite aux conditions dans
laquelle elle a été réalisée. Quelles sont-ces conditions et comment
limitent-elles la généralisation ? Le milieu d’étude
influencera-t-il le patient de façon différente à ce qu’elle le
ferait hors du contexte de l’étude ? L’investigateur risque-t-il
d’avoir une attitude différente que celle décrite dans le protocole
étant donné qu’il effectue une étude ?
-
Est-ce que l’étude limite les interprétation dans le
temps ? (Étude de l’effet d’un traitement ostéopathique en évaluant
la douleur avant et après traitement chez des lombalgiques
chronique : on peut évaluer ce qui se passe dans l’heure qui suit le
traitement mais qu’en est-il une semaine après, un mois, une année,
dix ans…)
-
Existe-t-il des interaction entre les traitements
(étude expérimentale) ? La différence de résultats peut-elle être
distinguée entre le groupe de contrôle et le groupe expérimentale ?
-
A quel point les résultats ont-il été biaisés par
l’intention des sujets de faire de leur mieux vu qu’il participent à
une étude (effet de Hawthorne) ? Le patient se comportera-t-il de
manière différente parce qu’il participe à une étude ?
-
V. - La validité externe
-
Les sujets étudiés sont-ils homogènes à part pour la
variable indépendante (étude où l’on compare plusieurs groupes) ?
-
Les sujets étudiés possèdent-ils les caractéristiques
recherchées en proportion suffisante ?
-
Peut-on généraliser les résultats de l’étude
effectuée à un lieu sur certains patients à d’autres lieux et
conditions ? Lesquelles ? Pourquoi ?
-
Mes conclusions resteront-ils valable à travers le
temps ?
|
|
Polycopié proposé par Paul Vaucher, Ostéopathe FOH, assistant de
recherche à l’École Suisse d’Ostéopathie
Tél. : +41 (0)78 788 33 66 - Fax : +41 (0)32 841 65 19 - E-mail :
osteopathe@bluewin.ch
Merci à Paul Vaucher de nous autoriser à publier
l'ensemble de son polycopié |
