A meta-analytical answer to the crisis of confidence of psychology

Abstract

El meta-análisis es una metodología firmemente establecida y una parte integral del proceso de generación de conocimiento en las cien- cias empíricas. El meta-análisis también se ha centrado en la metodología y se ha convertido en uno de los principales críticos de las deficiencias me- todológicas. Destacamos varios puntos problemáticos sobre cómo investi- gamos en psicología: exceso de heterogeneidad en los resultados y dificul- tades para la replicación, sesgo de publicación, calidad metodológica sub- óptima y prácticas cuestionables de los investigadores. Estos y otros pro- blemas condujeron a una "crisis de confianza" en psicología. Discutimos cómo la perspectiva meta-analítica y sus procedimientos pueden ayudar a afrontar la crisis. Una perspectiva más cooperativa, en lugar de competiti- va, puede ayudar a cambiar para que consideremos la replicación como una contribución más valiosa. El conocimiento no puede basarse en estudios aislados. Dada la naturaleza del objeto de estudio de la psicología la unidad natural para generar conocimiento debe ser la distribución estimada del tamaño del efecto, no la decisión dicotómica sobre la significación estadís- tica en estudios específicos. Se ofrecen algunas sugerencias sobre cómo re- dirigir la investigación y las prácticas de los investigadores, de modo que sus intereses personales y los de la ciencia en sí estén más alineados.

Meta-analysis is a firmly established methodology and an inte- gral part of the process of generating knowledge across the empirical sci- ences. Meta-analysis has also focused on methodology and has become a dominant critic of methodological shortcomings. We highlight several problematic issues on how we research in psychology: excess of heteroge- neity in the results and difficulties for replication, publication bias, subop- timal methodological quality, and questionable practices of the researchers. These and other problems led to a “crisis of confidence” in psychology. We discuss how the meta-analytical perspective and its procedures can help to overcome the crisis. A more cooperative perspective, instead of a competitive one, can shift to consider replication as a more valuable con- tribution. Knowledge cannot be based in isolated studies. Given the nature of the object of study of psychology, the natural unit to generate knowledge must be the estimated distribution of the effect sizes, not the dichotomous decision on statistical significance in specific studies. We make some suggestions on how to redirect the research and the research- ers' practices, so that their personal interests and those of science as such are better aligned.