Secondo sguardo agli esperimenti di psicologia offre rassicurazione

Brian Nosek

Le grandi collaborazioni di ricerca sono diventate comuni - pensa Human Genome Project, Mars rover, la nuova iniziativa BRAIN - ma sono quasi sconosciute in psicologia. La maggior parte degli esperimenti psicologici viene svolta da un singolo gruppo di laboratorio, spesso solo da pochi ricercatori. Recentemente si sono formate diverse collaborazioni che abbracciano dozzine di laboratori di psicologia in tutto il mondo. Il loro obiettivo non è altro che testare la riproducibilità della scienza psicologica. Il primo risultato significativo di una di quelle alleanze è stato pubblicato questa settimana e gli psicologi stanno tirando un sospiro di sollievo che il loro campo sia venuto fuori con imperfezioni relativamente minori - 10 dei 13 risultati sperimentali sono stati replicati.

La riproducibilità è un mantra nella scienza. Per la maggior parte dei tipi di ricerca, se un risultato sperimentale non può essere riprodotto da un altro laboratorio, allora la sua credibilità è compromessa. Impossibile riprodurre in più laboratori e il risultato originale viene eliminato. Testare la riproducibilità degli esperimenti è fondamentale per eliminare errori scientifici, influenza e frodi. Ma la scienza non funziona come un servizio di pulizia efficiente come potrebbe. I ricercatori non ricevono quasi alcun incentivo professionale a ripetere il lavoro degli altri, e tanto meno riportano i fallimenti nel ripetere i propri esperimenti.

Ora, motivato da diverse recenti truffe di alto profilo e una preoccupazione generale che molti dei loro risultati sul campo non siano affidabili, alcuni psicologi sperimentali stanno facendo un audit. Quello annunciato questa settimana è iniziato con un trio: Brian Nosek all'Università della Virginia a Charlottesville, Kate Ratliff all'Università della Florida a Gainesville e il Ph.D. di Ratliff. lo studente Rick Klein. Nosek è stato in prima linea negli sforzi per ripulire il suo campo: lui e più di 175 collaboratori siamo ripetendo un campione casuale delle centinaia di studi pubblicati nel 2008 in tre importanti riviste di psicologia - e lui e Ratliff ne fanno parte entrambi Progetto implicito , una collaborazione di lunga data che fornisce anche software gratuito per l'esecuzione di esperimenti comportamentali con metodi standardizzati. Nosek voleva usare il software per vedere quanto sono riproducibili gli esperimenti psicologici classici. "Ho chiesto [a Klein e Ratliff] se fossero interessati a cercare di portare avanti questa idea e reclutare altri laboratori per essere coinvolti." Erano d'accordo.

Quindi il team ha reso pubbliche le proprie intenzioni preregistrando il proprio studio e presentando l'idea a a numero speciale di Psicologia sociale incentrato sulla replica sperimentale prevista per la primavera del 2014. (Nosek è un editore di quel numero, quindi la sua sottomissione è stata gestita dal suo co-editore.) Scienza membro All'inizio di quest'anno Nosek ha intervistato il progetto e le sue ambizioni di rendere la ricerca scientifica più aperta e responsabile .

"A quel punto non sapevamo davvero quanti altri laboratori sarebbero stati coinvolti", dice Nosek Scienza Insider in una e-mail. "Ma quando abbiamo inviato gli inviti per i contributori a febbraio e poi di nuovo a luglio ... molti colleghi sono saliti a bordo." In definitiva la partnership, che si è soprannominata la Progetto di replica di molti laboratori , consisteva di 36 laboratori-25 con sede negli Stati Uniti e 11 in altri paesi. Gli esperimenti, che hanno coinvolto brevi attività interattive su computer, sono stati eseguiti in un totale di sette lingue. "Rick Klein ha svolto un ruolo eroico nel coordinamento di tutti i team", afferma Nosek. Il gruppo ha scelto una serie di 13 esperimenti pubblicati da replicare. Alcuni sono classici, come uno che ha rivelato il effetto di ancoraggio , un pregiudizio su come le persone usano le informazioni per prendere decisioni. Altri sono stati pubblicati più di recente, come ad esempio flag priming , un risultato che ha attratto attenzione mediatica significativa . Il team ha eseguito questi esperimenti su un totale di 6344 soggetti. Non solo ogni esperimento è stato testato in diversi laboratori in tutto il mondo, ma nove dei collaboratori hanno anche condotto gli esperimenti su Internet piuttosto che vivere in laboratorio. Quindi, se un esperimento non è riuscito a replicare, sarebbe possibile scoprire se l'errore era dovuto alla popolazione sottoposta a test, all'ambiente di test o solo all'esperimento stesso.

I risultati sono buone notizie per la psicologia. Dieci dei 13 esperimenti sono stati replicati e per cinque di essi l'effetto statistico era più forte di quanto osservato in origine. I tre che hanno fallito - due drammaticamente e uno marginalmente - sono stati tutti pubblicati negli ultimi 3 anni. L'esperimento di innescare la bandiera era tra i fallimenti. E non importava se gli esperimenti fossero eseguiti dal vivo in un laboratorio o online, o con soggetti americani o internazionali. I tre fallimenti da replicare sembrano dovuti agli stessi esperimenti: gli effetti potrebbero non essere reali. L'intero studio, dalla proposta originale ai dati, è ora disponibile online .

Per Nosek, i risultati specifici sono meno importanti della collaborazione stessa. "La scienza di crowd-sourcing può essere efficiente ed efficace", dice. "Siamo riusciti a completare la raccolta di dati da tutti i siti entro 4 mesi.Il costo totale? $ 2000 per il coordinamento del progetto, e poi ogni laboratorio ha donato il proprio tempo e le risorse per le proprie raccolte di dati." Spera che gli psicologi saranno ispirati a seguire la guida del progetto.

Le reazioni di psicologi non direttamente coinvolti nella collaborazione sono state ampiamente positive. "Lo considero uno sforzo eroico che vale la pena di riconoscere e lodare", dice Anthony Greenwald, psicologo dell'Università di Washington, Seattle, ma "è difficile dire che questo modello sarà ampiamente adottato, è un processo abbastanza impegnativo. i risultati potrebbero essere insufficienti per lo sforzo e resta da vedere se le riviste sono ricettive a pubblicare articoli come questo più che occasionalmente ". Diversi ricercatori contattati da Scienza L'insider ha riecheggiato quel dubbio. "Speriamo di vedere qualche altro studio multilab come questo di volta in volta", dice Hal Pashler, uno psicologo dell'Università della California, a San Diego, "ma non sarà possibile farlo su una base di routine. "

Ma altri lo vedono come il futuro della ricerca. I risultati "aprono la strada alle repliche per entrare nel nuovo modo normale di fare ricerca", dice Uri Simonsohn, psicologo presso l'Università della Pennsylvania. "Se vale la pena pubblicare un nuovo studio originale, vale la pena replicarlo".

Loading ..

Recent Posts

Loading ..