Halb teadus: MyType iPad Research

Ma vihkan ajakirjandust avaldada „uurimisfirmale”, kes ei tea statistikat või põhimetoodikat käsitlevat aruannet kõigepealt oma uurimisaruandes. Vist nii juhtub, kui saad kokku hulga inimesi, kes on enamasti tehnoloogid, mitte statistikud ega sotsiaalteadlased.

Eelmisel nädalal avaldas Facebooki isiksuserakendus MyType, mis võtab teie andmed ja müüb seejärel teie viktoriinile antud vastuste põhjal koondaruandeid, iPadi kohta aruande. Nad pakkusid, et iPadi omanikud ja need, kes soovivad seda osta, olid "isekad eliidid", samas kui neid, kes olid iPadi kriitikud, iseloomustati kui "sõltumatuid geeks".

Võite juba öelda, et see ei ole täpselt teaduslik analüüs, eks?

Esiteks on MyType'i tulemuste kajastamine. Tegelikus aruandes ei sisaldu tegelikud kasutatud statistilised testid, statistiline olulisus (p-väärtused) ja katsealuste arv igas uuritud rühmas. Teate, milliseid põhitüüpe muud teadlased otsivad, et hinnata esitatud tulemusi. Ilma selle põhiteaveta pole selline uurimistöö parem kui psühholoogi klassi 101 bakalaureuseõppe paber.

John Halli nimeline inimene kutsus nad oma kommentaaride jaotises välja ja sel hetkel hakkasid nad esitama p-väärtuste kohta laialdasi avaldusi (kuid jällegi pole spetsiifikat, jagades iga analüüsi, mida võite turul või teaduses oodata uuringud). Dr F proovis MyType'i inimesi harida statistilise põhiteooria alal, kuna ilmselt ei tea nad palju, kuidas head uurimistööd kavandada.

Kommentaaride jaotisest selgub ka see, et keegi redigeerib kommentaare, et eemaldada asjad, mida nad hiljem kahetsesid. John Hall tsiteerib ilmselt Tim Koelkebecki, öeldes, et kuna tal on arvutiteaduste kraad (ilmselt bakalaureusekraad), kvalifitseerib see teda kuidagi nii teaduse kavandamise ja metoodika kui ka statistika alal. Kummaline.

Kuid suurim kingitus, et tegemist pole tõsise uurimusega, on kahe inimrühma kirjeldamiseks valitud omadussõnad. Nad võtsid iga rühma kirjeldamiseks mõned meelevaldsed isiksuseomadused. Nad oleksid võinud sama lihtsalt öelda, et mitte-iPadi omanikud on neurootilised, ebakindlad, uhked ja hoolimatud. Kas see on siiski mitte-iPadi omanike legitiimne iseloomustus? Muidugi mitte, seda näitab ainult nende väike, kallutatud andmekogum. Arvestades, et see ei läbi isegi lõhnatesti, oleks see pannud enamiku teadlaste pausi mõtlema, kas nad lähevad valele teele.

Enda andmetest lähtudes oleks nad võinud iseloomustada iPadi kriitikuid sallimatuse, heategevuse ja sõpruse vastu, agressiivsete ja küüniliste teismeliste suhtes. Vau, seal pole üllatust - peate kiusama, kas sugu või vanus neid tulemusi moonutavad (ja pakkuma märgitud omadustele alternatiivset selgitust). Uurijad oleksid võinud ka iPadi omanikke kirjeldada kui perekesksete, nutikate, kõrgete saavutustega täiskasvanuid, kes on nii fantaasiarikkad kui ka kogenud.

Kuid nad ei teinud seda. Nad üritasid koondada hulga erinevaid jooni meeldejäävateks turunduslauseteks, et teha uudiste pealkirju - fraase, mis ei olnud eriti täpsed ega teaduslikult eriti kehtivad. See ei takistanud kümneid seaduslikke peavoolu uudisteväljaandeid, nagu CNET, ZDNet ja isegi Wired, tulemustest aru andmast ilma teadusliku ranguse või meetodi puudumisest kulmu kergitamata.