Teaduse paremaks muutmine: TweetPsych

Sel nädalal käivitas Dan Zarrella nimeline veebiarendaja uus teenuse nimega TweetPsych. Zarrella on ka veebiturundusettevõtte HubSpot turundusjuht. Zarrella nimetab end "teadlaseks", sest see kõlab vist seksikamalt kui "veebiarendaja" või "turundusjuht", kuid ta ei loetle ühtegi akadeemilist volitust. (Ma ei mainiks teadlase ega volituste osa, välja arvatud see, et Zarrella esitab oma uue teenuse kohta konkreetseid teaduslikke väiteid.)

Uut huvitavat teenust turustatakse kui psühholoogilist profileerimist vastavalt sellele, mida te Twitterisse postitate. Kuid tegelikult on see lihtsalt sisuanalüüsi teenus, kasutades kahte psühholoogilist sõnastikku ja teie eelmist 1000 säutsu. Zarrella väidab, et see analüüs "loob inimese psühholoogilise profiili". Tõeline psühholoogiline profileerimine on teadus ja seda tehakse tavaliselt palju enama kui ainult ühe tükiga inimese elust (näiteks sellest, mida ta kirjutab mikroblogimise teenuses). Seejärel esitab TweetPsych vastuolulise väite, et see on mõeldud ainult meelelahutuslikel eesmärkidel. Kumb see on?

Probleeme on ühes sõnaraamatus, mida Zarrella ka analüüsis kasutab. Üks sõnastik - LIWC - on kehtiv psühholoogilise lingvistika andmebaas. Kuid teine, inglise regressiivsete piltide sõnastik (RID), on palju vähem. RID koosneb umbes 3200 sõnast ja juurest, mis on omistatud 43 mõtte- ja meeleolukategooriale. RID-i peamine probleem on see, et sellel puudub põhimõtteliselt teadustöö (hoolimata Zarrella veebisaidi tsiteerimisest, mis näib olevat justkui). Selle töötas välja üks professionaal, kes kirjutas seejärel hunniku raamatuid selle ja muude psühhoanalüütiliste protsesside kohta. Raamat ei ole sama kui eelretsenseeritud teadusajakirja artikkel (nagu teadlased teavad) ja RID-il puudub täielikult igasugune empiiriline toetus. See viitab sellele, et pool analüüsi on vale enne, kui me isegi alustame.

Teine sõnastik, keeleline uurimine ja sõnade arv (LIWC), põhineb peamiselt kirjutatud sõnal - inimeste kirjutistel - või öeldud sõnal - nagu teraapiaseanss või kahe inimese vestlus. Seda ei arendatud kunstlikult lühikeste 140-tähemärgiliste kirjete analüüsimiseks, näiteks Twitterist. Inimesed lühendavad tweetimisel sõnu tähemärgipiirangu tõttu ja pole selge, et lihtsa tuletamise abil analüüsitakse täpselt kõiki sõidu kohta, mis on kirjutatud lennult mittestandardsete lühenditega. Aga ka uuesti säutsud? Inimene, kes millegi ümber teeb, ei pruugi tingimata "rääkida", vaid on hoopis kellegi teise sõnade huuliku roll. Kas teenus eristab? Probleemi ulatust teadmata poleks teil õrna aimugi, kas teie analüüs on mingil moel kunstlikult kallutatud (kui te just seda tüüpi küsimusi spetsiaalselt ei uurinud). Need probleemid on adresseeritavad, kuid neid pole selles teenuses käsitletud.

Zarrella võime kiiresti analüüsida 1000 säutsu ja võrrelda kogu selles sisalduvat teksti mõne sekundi jooksul nende kahe sõnastikuga on keelelise programmeerimise imetlusväärne saavutus. Seejärel seisis silmitsi väljakutsega: "Kuidas ma saan analüüsi tulemusi esitada läbimõeldult, intuitiivselt ja teostatavalt?" See on osa, kus TweetPsych lihtsalt ei suuda toimetada.

Kuna Zarrellal on ilmselt vähe psühholoogilist tausta, on psühholoogilised tulemused üsna ebarahuldavad. Teile saadetakse loend (teie isikupära? Teie säutsumine?), Mis sisaldavad selliseid asju nagu "Okupatsioon ja töö". Selle kõrval on kasulik kirjeldus: "Sa räägid palju töödest ja oma tööst" ning tulemus.

Gee, aitäh hea ülevaate eest.

Teil pole aimugi, mida skoor tähendab, kuna sellel puudub kontekst. Kas töö 47,87 on hea või halb? Mis on keskmine? Muude funktsioonide hulka kuuluvad „olevikuvorm”, „ülespoole liikumine”, „positiivsed emotsioonid”, „negatiivsed emotsioonid” ja veel kolm tosinat kategooriat.

See LIWC-l põhineva analüüsi osa on samuti sama hea kui LIWC põhisõnastik. Ehkki sellised kategooriad nagu töö, saavutused ja vaba aeg on kõik praegused probleemid, mida LIWC suudab tuvastada, pole tal kategooriat, mis sarnaneks suhteprobleemidele. Kuid te ei teaks seda, kui te ei tunneks LIWC-d. See võib olla midagi, mida mainiksite inimestele, kes analüüsi võtavad. Muu populaarne aktuaalne sisu, mida regulaarselt tweetiti - nagu poliitika, tehnoloogia ja kuulsus - ei kuulu ka LIWC koosseisu. Nii et jällegi ei kuvata neid analüüsis kunagi, isegi kui see on kõik, millest räägite. Nii et teave, mida LIWC - ja laiemalt ka TweetPsych - saab pakkuda, on piiratud. (Kohandatud sõnaraamatu kasutamine lahendab mõned neist probleemidest, kuid see pole sõnastik, mida TweetPsych pakub.)

RID-i „ürgne, kontseptuaalne ja emotsionaalne sisu” ei sisalda absoluutselt kirjeldusi ja jällegi pole midagi, mis paneks teie hindeid mis tahes tüüpi konteksti või arusaama. Kuid kuna see pole alustuseks teaduslik sõnaraamat, võite hindeid nagunii üsna palju eirata. Need oleks saanud välja töötada juhuslikult ja anda sama palju kasulikku teavet.

Praeguse analüüsi viimane osa on „Teised nagu sina“, mis on iga suhtlusvõrgustiku teenuse tavaline komponent. Kummalisel kombel puudus see komponent selle tööriista esimesest versioonist. Ainult selle põhjal, mida te säutsute, väidab see „Mõned inimesed, kes mõtlevad nagu sina”, ja esitab seejärel loendi teistest inimestest, kes on käinud TweetPsychis ja sisestanud oma kasutajanime analüüsimiseks.

Muidugi on mitte inimesed, kes mõtlevad nagu sina - just sina piiksuvad inimesed. See on oluline erinevus. Teenus, mis analüüsib väikest osa sellest, mida iga päev kirjutate, ja tuginedes analüüsile, mis võib olla vigane kasutajate laialdase lühendite kasutamise tõttu, ei saa kindlasti väita, et analüüsite teie mõtle.

Kui usaldusväärne on TweetPsych? Noh, täna seda artiklit kirjutades märkasin, et kõik Dan Zarrella enda hinded muutusid ühe säutsu tõttu (ta on täna ainult ühe korra säutsunud). Tema „amet ja töö“ skoor langes 20% ja „praeguse aja“ skoor tõusis 16%. Tema abstraktse mõtte skoor langes 16%. Kuidas see kõik ainult ühe säutsuga juhtuda sai? Üks säuts - võrreldes tema 999 muu säutsuga - ei tohiks olla võimeline oma hindeid nii palju mõjutama. Kui just midagi muud ei toimu.(Võrrelge alltoodud ekraanipilti, mis on tehtud kell 14.55 ET, ülaltooduga, mis on tehtud täna kell 9.00 ET.)

Minu enda tulemused Zarrella varasemate 1000 säutsu analüüsimisel LIWC2007 programmis näitavad midagi hoopis muud. Ma ei tea Zarrella metoodikat (kuna ta seda ei jaganud), kuid võtsin tema viimase 1000 säutsu teksti ja töötlesin neid LIWC kaudu kahes vormis - varrega ja "nagu on". Kumbki toodetud ei anna midagi lähedast sellele, mis ilmub TweetPsychis. Selle põhjuseks võib olla tema sõnaraamatu vanema versiooni kasutamine või mingi transformatsioonimuutuja, mille ta lisab TweetPsychile, mida ta ei avaldanud. Selle LIWC2007 analüüsi tulemusi saate vaadata siit. (Olen kollaste asjadega esile toonud, mida TweetPsych on esile tõstnud, ja rohelistel muudel aladel, mida TweetPsych enam esile ei tõsta; pange tähele märkimisväärset erinevust punktisummades.) See paneb siiski mõtlema, mis täpselt teenusega toimub. Kui selle psühhomeetriline usaldusväärsus ja kehtivus on küsitavad, siis kui kasulik see on?

TweetPsych saab palju positiivset ajakirjandust, sisse on visatud vaid mõningane skepsis. CNeti juht Josh Lowensohn kirjutas teenuse kohta ja märkis vaid möödaminnes: „See muudab selle vähem psühholoogiast ja rohkem teie isiklikust leksikonist, kuid tulemused on siiski üsna lõbus. " Jah, lõbus! Ben Patterson üle Yahoo! Tech ütles: "Kahjuks ei ole psühholoogilised profiilid, mida TweetPsych väljastab, sidus ja narratiivne variatsioon, mida võite psühhiaatri residentilt kuulata teemal" Seadus ja kord: kriminaalne kavatsus "." Ja ometi pole sidus narratiiv palju kasulikum kui mõned kirjeldamatud kategooriad? Ükski reporteritest ega Mashable'i originaalartikkel (kus üllatus !, Zarrella on kaastöötaja) ei pane tähele psühholoogilise tausta puudumist, mille Zarrella lauale toob. Keegi ei ühendanud punkte, miks tulemused nende tõlgendustes nii ebarahuldavad. Ilmselt oskavad tehnikaajakirjanikud oma positiivseid pressiteateid ümber jagada, kuid mitte nii suurepärased, kui tegelikud ajakirjanikud, kes uurivad sellise teenuse väidetavat teadust.

Muidugi tunnistab Zarrella ise, et ei mõelnud teenistusse palju, nagu ta ütles NY Post"" Inimesed armastavad lihtsalt võrrelda end teiste inimestega ja proovida teiste inimeste peas "sisse saada", "ütleb Zarrella. "See on nagu teraapiaseansil kärbes seina peal." "Teraapiaseanss? Kas tõesti on nii mõistlik leida keegi, kes räägib "ülespoole liikumisest"? Kiirustades teenuse võrku viimist, ei esitanud Zarrella ilmselt kunagi küsimust: "Kas mõni sellest teabest on tegelikult kasulik?" Teenus, nagu see praegu on, on lõpetamata mõte, mida vähesed uuesti külastavad.

Vaatamata piirangutele on TweetPsych avanud ukse tulevastele teenustele, mis pakuvad tegelikult kasutatavat, kasulikku ja hõlpsasti kasutatavat teavet, millel oleks tõenäoliselt suurem kehtivus. Kujutage ette, et võtate mitte ainult inimese säutsu, vaid ka teavet, mis sisaldub tema Facebooki profiilis, ajaveebis jms, ja laske see kõik koondada ühte tohutusse analüüsimootorisse ... Sellisel mootoril oleks siis võime pakkuda tõelist psühholoogilist ülevaadet üksikisiku kohta mida nad veebis räägivad.

Kuni selle ajani on meil olnud esmakursuslased, nagu näiteks TweetPsych, mida tegelikult peaks nimetama „TweetFun!” Sest kuigi sellega on tõepoolest tore mängida, annab see kellegi suhtes vähe psühholoogilist ülevaadet - välja arvatud kõige madalamad.

(Siit saate lugeda täiendavaid Tyler Hayesi TweetPsychi probleeme.)