Las Andmed räägivad? Ei, mitte alati
Iowa ülikooli lugupeetud professor ja teadlane Frank L. Schmidt pidas laupäeval psühholoogiateaduste assotsiatsiooni 20. konverentsil kõne selle kohta, kuidas teaduslikud andmed võivad valetada. Jah, see on õige, empiirilised andmed - isegi need, mis on avaldatud lugupeetud eelretsenseeritud ajakirjades - ei räägi regulaarselt tõtt.
Schmidti jutust oli palju osa saanud Sheridoni hotelli ja torni ühes suurimas ballisaalis Chicagos, kus konventi peetakse. Ehkki esitlus oli ebaühtlane, tulid Schmidti peamised punktid kokku.
Üks neist on see, et mitme andmekogumi naiivne tõlgendamine on sageli kõige õigem - Occami habemenuga ("kõige lihtsam lahendus on tavaliselt parim vastus"). Schmidt väidab, et head uuringud leiavad keerukate andmete aluseks oleva lihtsa struktuuri.
Ta võttis kokku kaks peamist põhjust, miks andmed võivad teadusuuringutes "valetada" - valimivead ja mõõtmisvead.
Schmidti suurim kriitika oli suunatud psühholoogiateaduse fetišile koos olulisuse testimisega - nt statistilise olulisusega. Ta soovib, et psühholoogia läheks kaugele oma usaldamisest ja statistilise olulisuse vaimustusest, sest see on nõrk, erapoolik meede, mis põhimõtteliselt vähe räägib aluseks olevatest andmetest või hüpoteesist.
Schmidt kirjeldas kuut ümbritseva olulisuse testimise müüti. Üks müüt oli, et hea p-väärtus on olulisuse näitaja, kui see on tegelikult ainult uuringu võimsustaseme näitaja. Teine oli see, et kui mingit olulisust ei leitud, tähendab see, et muutujate vahel ei leitud seost (tegelikult võib see tähendada lihtsalt seda, et uuringul puudus piisav jõud).
Schmidti lahendused on lihtsad - esitage selle asemel efekti suurused (punktide hinnangud) ja usaldusvahemikud ning olulisuse testimine tuleb täielikult rõhutada.
Ta lõpetas psühholoogiliste uuringute metaanalüüside uue rõhuasetuse lammutamise, kutsudes spetsiaalselt välja ajakirja Psühholoogiline bülletään. Veel avaldamata uuringus uurisid ta ja teised teadlased kõiki ajakirjas avaldatud metaanalüüse Psühholoogiline bülletään aastatest 1978-2006 - kokku 199 õppetööd.
Teadlased leidsid, et 65% nendest uuritud uuringutest kasutasid oma metaanalüüsi jaoks "fikseeritud efekti" mudelit. Schmidt väitis, et fikseeritud efektide mudelites alahinnatakse andmesuhteid (tervelt 50%) ja teadlased hindavad nende täpsust üle (kui vähe viga selles hinnangus on). Selle asemel eelistab Schmidt “juhuslike efektide” mudeleid, mis arvestavad neid variatsioone paremini.
Ta märkis ka, et 90% uuritud uuringutest ei tehtud mõõtmisvigade osas parandusi - see on üks peamisi põhjusi, miks ta nimetab, et andmed võivad psühholoogilistes uuringutes "valetada".
Seda analüüsi arvestades soovitab Schmidt, et väga paljud eelretsenseeritud ajakirjades avaldatud metaanalüüsid jõuavad valede või vigaste järeldusteni.
Kahjuks ei muutu olukord tõenäoliselt niipea. Ehkki paljudes psühholoogilistes ajakirjades on uurimuste avaldamiseks vastu võetud rangemad standardid, mis vastavad paremini Schmidti ettepanekutele, pole paljudel siiski tahtmist muutuda.
See tähendab keskmise inimese jaoks seda, et te ei saa usaldada kõiki avaldatud uuringuid lihtsalt sellepärast, et need ilmuvad eelretsenseeritud ajakirjas, mis seejärel pressiteate vahendusel kogu meedias "faktina" avaldatakse. Sellised faktid on vormitavad, muutuvad ja vigased. Ainult selliste uuringute hoolika lugemise ja analüüsi kaudu saame aru nende esitatud andmete väärtusest.
