Milliseid uuringuid saate uskuda?
Igaüks, kes loeb Psühholoogia maailm regulaarselt teab probleemidest juba paljudes tööstuse rahastatud uuringutes. Kuid see artikkel viitab sellele, et eelretsenseeritud uurimistööga seotud probleemid ulatuvad palju sügavamale kui pelgalt kasumlikud eelarvamused. Teadlased on kallutatud mitmel, mitmel viisil (mitte ainult rahalise kasu saamiseks). Ja see kallutatus ilmneb paratamatult nende teostatavas töös - teaduslikes uuringutes.
See pole minu jaoks uus trumm, mida võita - olen rääkinud teadlaste kallutatusest 2007. aastal ja sellest, kuidas teadlased kavandavad uuringuid konkreetsete tulemuste leidmiseks (selles näites osalesid teadlased, kes leidsid enesetapumeetodeid otsides - oodake seda) "Google'is". Oleme märkinud, kuidas praktiliselt kõik uuringud sellistes ajakirjades nagu Psühholoogiline teadus tugineda õppeainetena peaaegu eranditult ühest ülikoolilinnakust kogutud üliõpilastele - oluline piirang, mida uuringutes endis harva mainitakse.
Siin on aga tõeline murettekitav aspekt - selliseid kallutatud uuringuid ilmub igasugustes ajakirjades. JAMA, NEJM ja BMJ ei ole kaitstud armetute ja puudulike meditsiini- ja psühholoogiaalaste uuringute avaldamise eest. Me mõtleme ajakirja "austusväärsusest" kui mingist märgist väravavahi rollist - et mainekamates ajakirjades ilmuvad uuringud peavad olema põhimõtteliselt usaldusväärsed.
Kuid see pole lihtsalt tõsi. Keiser pole mitte ainult alasti - tema alamad on oma karjääri edendamiseks oma riided peitnud.
Esialgselt avaldatud kallutatud uuringute küsimus jõudis esmakordselt tähelepanu keskpunkti 2004. aastal, kui GlaxoSmithKline kaebasid riigiprokurörid Paxili uurimisandmete varjamise eest kohtusse. Sellest ajast alates on päevavalgele tulnud kümneid uuringuid ja sellest ajast alates on avaldatud muid uuringuid, mis näitavad, kuidas farmaatsiaettevõtted näivad olevat asjakohaseid uurimisandmeid regulaarselt varjanud. Need andmed näitavad tavaliselt, et uuritav ravim ei olnud suhkrutablettidega võrreldes tõhus mis tahes häire raviks. (Blogides nagu kliiniline psühholoogia ja psühhiaatria: lähem pilk ja Carlati psühhiaatriablogi on nende uuringute kohta rohkem üksikasju.)
Aga mis saab muud liiki kallutatusest? Kas meid huvitavad ainult uuringud, kus kallutatus on nii ilmne, või kas me ei peaks muretsema mis tahes kallutatuse pärast, mis võib mõjutada tulemuste usaldusväärsust?
Vastus on muidugi see, et meid peaksid huvitama igasugused eelarvamused. Kõik, mis võib uuringu lõpptulemusi mõjutada, tähendab, et uuringu järeldused võivad olla küsitavad.
Ioannina ülikooli professor John Ioannidis tundis selle küsimuse vastu huvi meditsiiniuuringutes. Nii pani ta kokku uurijate ja statistikute eksperdirühma, et süveneda ja näha, kui hull probleem oli. See, mida ta leidis, teadlasi ei üllatanud, kuid enamiku võhikute jaoks on see üllatus -
Hämmingus hakkas ta otsima konkreetseid viise, kuidas uuringud valesti läksid. Pikka aega avastas ta, et eksitavate vigade hulk oli hämmastav: alates sellest, milliseid küsimusi teadlased esitasid, kuni uuringute korraldamiseni, milliste patsientideni nad uuringuteks värbasid, millistele mõõtmistele tegid ja kuidas andmeid analüüsisid , kuidas nad esitasid oma tulemusi, kuidas konkreetseid uuringuid hakati avaldama meditsiiniajakirjades. […]
"Õpingud olid kallutatud," ütleb ta. "Mõnikord oldi avalikult kallutatud. Vahel oli erapoolikust raske näha, aga see oli seal. ” Teadlased suundusid oma uuringutesse, soovides kindlaid tulemusi - ja ennäe, nad said neid. Me arvame, et teadusprotsess on objektiivne, range ja isegi halastamatu, et eraldada tõde sellest, mida me lihtsalt soovime tõsi olla, kuid tegelikult on tulemustega manipuleerimine lihtne, isegi tahtmatult või teadvustamata.
"Protsessi igal etapil on ruumi tulemuste moonutamiseks, viis tugevamate väidete esitamiseks või sõlmitava valimiseks," ütleb Ioannidis. "Tekib intellektuaalne huvide konflikt, mis survestab teadlasi leidma kõike, mis kõige tõenäolisemalt neid rahastaks."
Ioannadis koostas kõigi nende muutujate põhjal keeruka matemaatilise mudeli, mis ennustab, kui palju uuringuid võib olla puudulik. Tema mudel ennustas, et „80 protsenti randomiseerimata uuringutest (ülekaalukalt kõige tavalisem tüüp [- eriti psühholoogilistes uuringutes]) [osutub] valeks, nagu ka 25 protsenti väidetavalt kullastandardiga randomiseeritud uuringutest ja koguni 10 protsenti plaatinastandardiga suurtest randomiseeritud uuringutest. "
Seejärel pani ta selle mudeli proovile 49 uuringuga, mis olid viimase 13 aasta jooksul meditsiinilise uurimistöö kõige kõrgemalt hinnatud uurimistulemused. Need olid enim viidatud meditsiiniajakirjades ja olid ise enim tsiteeritud artiklid.
49 artiklist 45 väitis, et on paljastanud tõhusad sekkumised. Neist 34 väidet oli uuesti testitud ja neist 14 ehk 41 protsenti olid veenvalt osutunud valeks või märkimisväärselt liialdatuks. Kui kolmandiku ja poole kõige tunnustatumaid meditsiiniuuringuid osutus ebausaldusväärseks, olid probleemi ulatus ja mõju vaieldamatud. […]
Nendest 45 üli viidatud uuringust, millele Ioannidis keskendus, ei olnud 11 kunagi uuesti testitud. Võib-olla veelgi hullem, leidis Ioannidis, et isegi kui uurimisviga on välja jäetud, püsib see tavaliselt aastaid või isegi aastakümneid. Ta vaatas kolme silmapaistvat 1980. ja 1990. aastate terviseuuringut, mis kumbki hiljem korralikult ümber lükati, ja avastas, et teadlased tsiteerisid esialgseid tulemusi jätkuvalt õigemana kui valesti - ühel juhul vähemalt 12 aastat pärast tulemuste diskrediteerimist .
Nii palju siis, kui teadlased katsetavad teiste avaldatud tulemusi - ainus lõplik viis kallutatuse vastu võitlemiseks. Kuidas ei saaks kunagi viimase 25 aasta jooksul kõige enam viidatud meditsiiniuuringutest 25 protsenti uuesti testida? Hämmastav.
Enamiku jaoks on see, et kellelgi on peaaegu võimatu öelda, kas antud uurimistöö tõestab positiivseid, uudseid ja kindlaid tulemusi. Uuringu - ja kõigi uuringu eelkäijate - üksikasjalikku analüüsi laskumata on uute uuringute konteksti viimine pikk ja keeruline ülesanne. Lisaks viitab Ioannidise mudel, et valdav osa psühholoogilistest uuringutest - võib-olla isegi kuni 80 protsenti - on tõenäoliselt vale. Siin pole tegelikult hõbedast voodrit.
Välja arvatud võib-olla see, et tööl on sellised uurimisrühmad nagu Ioannidis, kes töötavad selle nimel, et näidata, kuidas erapoolikus võib tungida isegi „kuldstandardi” uuringutesse.
Siinsed muutused sõltuvad suuresti sellest, kui üksikud teadlased õpivad neid eelarvamusi tundma ja töötavad palju rohkem selle nimel, et tagada, et õpingud neist puuduvad. Kuid kui ükski väravavaht ei kontrollita uuringu ülesehitust ega statistilisi meetodeid, on muutuste tegemiseks vähe stiimuleid. Teadlaste rahalised ja karjäärilised stiimulid jätkata oma akadeemilise ja ametialase seisundi säilitamiseks avaldamise jätkamist, nagu neil tavapäraselt on, on endiselt lahutamatult tugevad.
Kogu artikkel on teie aega väärt: valed, neetud valed ja arstiteadus
Ehkki see pole ideaalne, on siin meie mõne aasta tagune aabits selle kohta, kuidas leida küsitavaid uuringuid - kas uurimistöö on hea?
