Mida tähendab reprodutseeritavuse puudumine psühholoogiauuringutes?

Eelmisel nädalal tulid maailma suurimate jõupingutuste tulemused psühholoogiauuringute tulemuste reprodutseerimiseks. Brian Noseki reprodutseeritavuse projekt vaatas 2008. aastal avaldatud 100 psühholoogiakatse tulemust kõigest kolmes suuremas psühholoogiaajakirjas. See üritas uuringut reprodutseerida, et näha, milliseid tulemusi nad saaksid.

Ideaalses maailmas võib arvata, et 75 või isegi 80 protsendi uuringute järjekorras peaks midagi sarnaseid tulemusi tooma, eks? Sest uued uuringud viidi teadlaste poolt, kes hoolikalt järgisid algseid teadlaste meetodeid, lihtsalt uuesti läbi erinevate populatsioonide kohta. Enamasti oli teadlastel ka algsete uurijate vahetu kontakt ja koostöö.

Kuid leiutas kedagi tosinat erinevat viisi, mis on avaldatud eelmisel nädalal Teadus ajakirja, ei jõudnud projekt 75 protsendi lähedale. Ainult 36 protsenti replikatsioonidest andis märkimisväärseid tulemusi - võrreldes 97 protsendiga esialgsest 100 uuringust.

Mida see psühholoogia jaoks tähendab?

Hoolimata sellest, et mõned üritasid seda avastust mitte nii ootamatu või "mitte nii halva kui oleks võinud olla", ei tõota see psühholoogiateaduse jaoks midagi head. Igal kuul avaldatakse sadu uusi psühholoogiauuringuid. Mida see leid lühidalt tähendab, on see, et enamikku nende uuringute tulemustest ei saa usaldada. Tegelikult on need valed.

Alates Atlandi ookean katvus:

"Edukus on madalam, kui oleksin osanud arvata," ütleb John Ioannidis Stanfordi ülikoolist, kelle klassikaline teoreetiline töö Miks enamik avaldatud uurimistulemusi on valed on olnud reprodutseeritavuse liikumise piksevarras.

"Mul on halb näha, et mõned minu ennustused on kinnitatud. Ma soovin, et nende vale oleks tõestatud. "

Uue uuringu teine ​​halb järeldus on see, et mõõdetud efekti suurused olid tavaliselt 50 protsenti väiksemad kui algsed teadlased. See tähendab, et isegi siis, kui uued teadlased tulemused uuesti avaldasid, ei olnud uuritavate muutujate mõju kaugeltki nii oluline kui algselt arvati.

Kehva reprodutseeritavuse põhjused psühholoogiauuringutes

Sellel kehval näitamisel on psühholoogiliste uuringute abil tosin erinevat põhjust. Kuid enne kui mõned neist üle vaatame, on see reaalse vee külm tilk, võttes arvesse ühe uuringu tulemusi ja neid üldistades. Või veelgi hullem - uskuda midagi on tõsi, kui seda ei pea tõestama veel rohkem kui üks uuring.

Kui uuring ei ole topeltpime - nagu enamik neist ei olnud -, võivad teadlaste enda eelarvamused mõjutada peenelt andmete kogumist või analüüsimist. Kui teadlane on lihtsalt kulutanud 8 või 18 kuud andmete kogumiseks ainult oluliste tulemuste leidmiseks, võib ta minna andmete püüdmise ekspeditsioonile, et leida mõni muu avaldatav andmesuhe. Teadlased muudavad seejärel oma esialgseid hüpoteese, et need sobiksid andmetega leitud (kuna enamik teadlasi ei registreeri endiselt oma uurimistöid jälgimisteenuses - ehkki see muutub aeglaselt).

Teised on väitnud, et ehk on üllatus veel üks seletus - ajakirjad keskenduvad tänapäeval üllatuslike leidude avaldamisele, kuna need on lugejatele populaarsemad ja huvitavamad. Kui lisate regressioonivõimaluse keskmisele - et muutujad võivad olla kõige ekstreemsemad esmakordsel mõõtmisel, kuid vähem äärmuslikud, kui mõõdetakse teist või kolmandat korda -, siis soovitatakse, et need kaks tegurit ühendaksid sisemiselt raskete uuringute avaldamise. paljunema.

Mida see psühholoogilise teaduse jaoks tähendab?

Inimloomus on lõpmata keeruline. Psühholoogiateadus üritab terviku paremaks mõistmiseks dekonstrueerida inimese käitumise ja emotsioonid väikesteks tükkideks. Kui uuringud ei suuda uuringute taga olevat teadust taastada, viitab see sellele, et suurt osa selle valdkonna igal aastal avaldatavast ei saa ka usaldada.

Kuid me ei tea ka enamiku teaduste reprodutseeritavuse statistikat, sest teistes valdkondades pole kunagi varem midagi sellist reprodutseeritavuse projekti katsetatud. Võib juhtuda, et see viga kannab enamus teadusi, või see võib olla viga, mis mõjutab sotsiaalteadusi rohkem kui teisi teadusi.

Kuid lühiajalises perspektiivis rõhutab see midagi, mida olen alati öelnud - psühholoogilise teaduse leid ei ole selline, millele saaksite mütsi riputada, kuni teine ​​teadlane on selle uuesti reprodutseerinud. Väidetavalt on reprodutseeritavad leiud "kindlad" ja seetõttu usaldusväärsed.

Uue uuringu põhjal uudisartiklite hindamisel või lugemisel otsige sellist teavet. Ehkki see pole nii seksikas kui uus, "üllatavad" leiud, on uuringud, mis kinnitavad või seavad kahtluse alla selle, mida me juba arvame teadvat, sama olulised.

Lisateabe saamiseks…

Atlandi ookean: kui usaldusväärsed on psühholoogia uuringud?

Guardian: Uuring annab psühholoogiliste katsete tulemuste kehtivuse kohta sünge otsuse

Mindhacks: ärge nimetage seda tagasitulekuks

Viide

Avatud teaduse koostöö. (2015). Psühholoogiateaduse reprodutseeritavuse hindamine. Teadus, 28.

Reprodutseeritavus: psühholoogia - algandmed

Märkused:

1. Muidu raisati kogu see aeg ja raha ära, sest vähesed teadlased saavad või tahavad nulltulemusi avaldada. [↩]
2. Ja see seab tõepoolest kahtluse alla autorite laialdased üldistused nende avastuste rakendatavuse kohta, mida leidub peaaegu igas hiljutiste psühholoogiauuringute arutelude osas. [↩]