Mehaaniline türklane psühholoogiauuringute päästmiseks?

Üks psühholoogiauuringute probleemidest - tõepoolest, kõigi meditsiiniliste uuringutega - on piisavalt õppimiseks sobivate ainete leidmine. Uurimistulemuste üldistamiseks tuleb uuringus osalejad hankida viisil, mis esindab kogu elanikkonda.

Mis on tõeline probleem, sest nagu ma juba 2010. aasta augustis märkisin, on sõna otseses mõttes tuhandeid psühholoogiaõpinguid, mis ei põhine muul kui kamp ülikoolis õppivaid üliõpilasi ühest USA ülikooli ülikoolilinnakust. Kuigi noored täiskasvanud, kes käivad ülikoolis, võivad aidake meil tõepoolest mõista inimese käitumise mõnda aspekti, te ei saa lihtsalt eeldada, et nendes uuringutes täheldatud käitumine kehtib ka 60-aastaste naiste ja meeste kohta.

Avage Amazon.comi teenus Mechanical Turk. Kas tehnoloogia võib aidata lahendada probleeme, mis on seotud piisavalt elanikkonda esindavate inimeste leidmisega, ja teha seda kulutõhusalt?

Alustuseks võib see aidata mõista, mis on mehaaniline türklane. See on veebiturg, mis võimaldab müüjatel osta inimtööjõudu väga odavate kuludega mingisuguse veebiülesande jaoks. "Saidil on suur ja mitmekesine tööjõud, kuhu kuulub üle 100 000 kasutaja üle 100 riigist, kes täidavad iga päev kümneid tuhandeid ülesandeid," märgivad teadlased. Nendele töötajatele makstakse iga ülesande eest osade kaupa palka, mõnikord isegi 1 senti. Ülesanded on erinevad ja need võivad teha kõike, alates vigade otsimise veebisaidi sirvimisest kuni küsitluste täitmiseni.

Ah jah, küsitluste täitmine. Paljud psühholoogilised uuringud põhinevad inimeste küsitluste täitmisel. Kas poleks tore, kui me saaksime inimesi - inimesi, kes ei olnud üliõpilased - tegema seda vähem kui 10 dollariga uuringu kohta ... Ütleme, 10 senti?

Buhrmester jt. (2011) otsustas välja selgitada, kas sellised mehaaniliste türklaste inimesed täidavad küsitlusi viisil, mis oleks kooskõlas inimestega, kellelt võiksite paluda näost näkku midagi sarnast teha.

Esiteks uurisid teadlased 3 006 Mechanical Turkist osavõtja demograafiat ja võrdlesid neid suure Interneti-valimiga, mida Mechanical Turk ei saanud. Nad leidsid, et mehaanilise turgi (MTurk) osalejad olid mitmekesisemad kui nii Interneti-valim kui ka kolledži üliõpilaste standardvalim.

Seejärel kontrollisid nad erinevaid hinnapunkte (2, 10 ja 50 senti), et täita erineva ajaga (5, 10 ja 30 minutit) kulunud küsitlusi. See, mida nad leidsid, ei tohiks olla üllatav kõigile, kes on MTurki kasutanud:

Need analüüsid viitavad sellele, et osalejaid saab värvata kiiresti ja odavalt. Osalemismäärad on tundlikud hüvitissummade ja ajaliste kohustuste suhtes, kuid meie leiud näitavad, et MTurki kaudu on võimalik koguda korraliku suurusega proove pelgalt dollarite eest. Isegi 30-minutilise ülesande eest vaid 2 senti pakkudes kogunes meile 25 osalejat (umbes 5 tunni postitusaja jooksul). Pealegi, suurendades hüvitist vaid veidi (nt 50 sendini), suutsime saada sama arvu osalejaid vähem kui 2 tunni postitusaja jooksul.

Mis kasu on siiski odavast tööjõust, kui see pole hea kvaliteediga ega vasta psühhomeetrilistele standarditele, mida psühholoogiauurijad vajavad?

Teadlased leidsid, et isegi madalaima 2-sendise hüvitustaseme korral ei näi maksete tasemed andmete kvaliteeti mõjutavat. Teadlased saavad küsitluste täitmise eest maksta sente ja saada usaldusväärselt hea kvaliteediga andmeid.

Teadlased arvutasid kuue Internetis hallatud isiksuse küsimustiku keskmised alfa-usaldusväärsuse skoorid kõigil hüvitustasemetel. Nad leidsid, et MTurki alfahinded jäid traditsioonilise valimi alfade punktist kahe sajandiku piiresse. Nad testisid ka testi-uuesti testimise usaldusväärsuse skoore ja leidsid keskmise r = 0,88 60-protsendilise kordustestimise määraga. Need kõik on väga head arvud ja neid saab traditsiooniliste meetoditega soodsalt võrrelda.

Selle uuringu ülevaade viitab sellele, et Mechanical Turk on usaldusväärne alternatiiv ülikoolipopulatsioonide kasutamisele uuringuandmete saamiseks - ja võib isegi olla parem alternatiiv kui traditsioonilised Interneti-uuringud. Ainult sentide eest täidavad inimesed oma projektides ja uuringutes teisi abistades isegi pikki küsimustikke. Kuigi nende leidude kinnitamiseks tuleb teha rohkem uuringuid, näib MTurk olevat turg, kuhu psühholoogia teadlased peaksid järgmise uuringu ettevalmistamisel arvestama.

Viide

Buhrmester, M., Kwang, T. ja Gosling, S.D. (2011). Amazoni mehaaniline turk: ​​uus odavate, kuid siiski kvaliteetsete andmete allikas? Perspektiivid psühholoogiateaduses, 6 (1), 3-5.

Selles artiklis on siduslingid saidile Amazon.com, kus raamatu ostmisel makstakse Psych Centralile väikest vahendustasu. Täname teid Psych Centrali toetuse eest!