Peokoolide edetabel on kallutatud, ennasttäitev ennustus?

Princetoni ülevaade avaldab iga-aastase kolledži nimekirja "Best of ...", mis põhineb nüüdsest veebipõhisel iga kolledži õpilaste uuringul. Nad kirjeldavad uuringuprotsessi järgmiselt:

Princetoni ülevaate uuring esitab õpilastele 80 küsimust oma kooli õppejõudude / administratsiooni, ülikoolilinnaku elu, üliõpilaskonna ja enda kohta. Selle väljaande edetabeli Tallies põhineb raamatu 366 koolis (mitte kõigis rahva koolides) aastatel 2006–2007 ja / või kahel eelneval õppeaastal 120 000 õpilase (umbes 325 ülikoolilinnaku kohta) küsitlusel.

Mis kõik kõlab hästi ja hästi, kuni loete peenet kirja:

Meie uuring on pigem kvalitatiivne ja anekdootlik kui kvantitatiivne. Konkreetsete kolledžite jaoks märkamatute kirjutiste koostamise vältimiseks saadame igas koolis oma administratiivkontaktile koopia profiilist, mille kavatseme avaldada, pakkudes palju võimalusi vastata paranduste, kommentaaride ja / või otsesõnu vastuväited. Igal juhul, kui me saame muudatuste taotlusi, võtame ettevaatusabinõusid, et vaadata kooli ettepanekud kokku meie kogutud õpilasuuringu andmete põhjal ja teha vajadusel asjakohaseid muudatusi.

Mis on meie jaoks kõige veenvam, kui esinduslikud on meie uuringu tulemused: palume õpilastel, kes küsitluse täidavad, vaadata üle teave, mille avaldasime nende kooli kohta eelmisel aastal, ja hinnake meid selle täpsuse ja kehtivus. Aasta-aastalt oleme saanud kõrgeid hindeid: sel aastal ütles 81 protsenti õpilastest, et meil on õigus.

Nii et põhimõtteliselt tunnistavad nad, et nende uuringuandmed on mõeldud subjektiivse, narratiivse pildi andmiseks kolledžitest - mitte asjadest, millest saate üldiseid üldistusi teha. Ja ometi on just see Princetoni ülevaade jätkub oma andmetega - ammutage oma uuringutest üldised üldistused ja reastage kolledžid kvantitatiivselt. Kolledžid ise võivad avaldada veel teadmata lisamõju sellele, kas nende kool kuulub mingisse nimekirja.Kui paremusjärjestus tundub olevat vähem läbipaistev ja varjatud saladuses, on see tahtlikult.

Kuidas saavad teadlased anekdootlikud andmed muuta kvantitatiivseteks andmeteks? Noh, teaduslikult ei saa (nt selleks pole uurimispõhist protseduuri, sest see on sõna otseses mõttes õunte või apelsinide võrdlus). Kui selline organisatsioon midagi sellist laadi teeb, võite esitada argumendi, et kõik sellised paremusjärjestused on ainult nimekirja kokku pannud inimeste arvamused, tuginedes teiste inimeste arvamusele koolis tegelikult käinud inimeste kohta.

Kõik see oleks hea, välja arvatud see, et Ülevaade paneb kogu selle kraami nimekirjadesse, mis viitab sellele, et neil on üldistatav tähendus, kui neil seda pole. "20 parimat peokooli" nimekiri pole midagi muud kui mõnede inimeste arvamus, mis põhineb "alkoholi ja narkootikumide kasutamist käsitlevate küsitlusküsimuste kombinatsioonil, iga päev õppetundidel ja Kreeka süsteemi populaarsusel". Nad oleksid võinud sama lihtsalt valida vaatamiseks teistsuguse vastuste komplekti, mis oleks koolide paremusjärjestust moonutanud.

Suuremad ja suuremate õpilaskondadega koolid tõenäoliselt ei erine oluliselt oma Kreeka süsteemi suuruse (suur) ning nende sotsiaalsete ja muude mitteakadeemiliste võimaluste poolest, mida nad oma õpilastele pakuvad (mille tulemuseks on iga päev vähem tunde) . Kas see muudab sellise kooli tõenäolisemaks „peokooliks“, kui vaadata koos sellega, mida õpilased räägivad, kui palju nad joovad? Muidugi mitte. See võib lihtsalt tähendada, et kool on suurepärane koht nii õppimiseks kui ka suhtlemiseks.

Eelmisel nädalavahetusel APS-is esitletud plakat pealkirjaga "Eneseteostavad ettekuulutused ja Princetoni ülevaade: kirjeldused või ettekirjutused ülikoolis joomiseks?" pange mulle pähe ettepanek, mis mõõdaks nagu Princetoni ülevaade on teatud küsitav kehtivus. Uurijad vaatasid New Yorgi lääneosas asuva ühe keskmise suurusega ülikooli tegelikke alkoholi tarvitamise andmeid kümne aasta jooksul ja võrdlesid neid erinevate seotud edetabelitega Princetoni ülevaade. Nad leidsid paremusjärjestuse Princetoni ülevaade puudub süstemaatiline seos ühegi uuritud alkoholi tarvitamise teabega. Mida nad leidsid, on see, et alkoholitarbimise andmed korreleerusid avaldatud edetabelitega pärast nende avaldamist, mis viitab eneseteostusele.

Teadlased märkisid, et kuna nende uuring viidi läbi ainult ühes ülikoolis, tuleb uuringuid enne teistest kolledžitest ja ülikoolidest korrata, enne kui järeldustest võiks üldistada. Kuid tähelepanekuid on sellest hoolimata huvitav märkida.

Viide:

Clark, C.D. jt. al. (2008). Enesetäituvad ennustused ja Princetoni ülevaade: kirjeldused või ettekirjutused ülikoolis joomiseks? Plakat esitati psühholoogiateaduste assotsiatsiooni 20. aastakonverentsil, Chicago IL, 24. mai.